Skip to content

Latest commit

 

History

History
75 lines (64 loc) · 4.2 KB

README.md

File metadata and controls

75 lines (64 loc) · 4.2 KB

level2_dataannotation_nlp-level2-nlp-03

Reports

Project Summary

  • '법률'을 주제로 RE(Relation Extraction) 데이터셋 제작
  • relation은 KLUE를 참고하여 9개로 구분
  • 완성된 데이터셋을 모델에 적용, 성능 검증

Members

김근형 김찬 유선종 이헌득
Github Github Github Github

Roles

Member Role
김근형 Data annotation, Fine-Tuning
김찬 Data annotation, 가이드라인 작성
유선종 Data annotation, IAA 계산
이헌득 Data annotation, Relation map 작성

Data Overview

  • Data split ratio : Train(0.7), Validation(0.15), Test(0.15)
  • Train data : 813
  • Validation data : 174
  • Test data : 175
  • Number of entity : 6 
    'PER', 'EVENT', 'ORG', 'DATE', 'LAW', 'THEORY'
  • Number of relation : 9 
    'no_relation', 'per:theory', 'per:event', 'org:naming', 'org:members_of',
'org:event', 'law:subordinate', 'law:definition','date:event'

Entity

Type Description
PER person의 약자로 사람(개인)을 의미합니다. 개인을 뜻할 수 있는 모든 단어들과 특정 인물 등이 여기에 포함됩니다.
EVENT 사건을 의미합니다. 사람(개인) 또는 조직(단체)과 관련될 수 있습니다.
ORG organization의 약자로 조직(단체)을 뜻합니다. person과 대비되는 Entity입니다.
DATE 날짜를 의미합니다. 특정 사건이 발생한 날짜나 시기를 뜻하게 됩니다.
LAW 법률을 의미합니다. 법률과 관련된 단어들이 여기에 포함됩니다.
THEORY 이론 또는 주장을 의미합니다.

Relation

id class_name (ko) class_name (en) direction (sub, obj) description
1 관계_없음 no_relation (*,*) 관계를 유추할 수 없음.
2 개인:사건 per:event (PER,EVENT) Object는 Subject가 일으킨 / 속한 사건
3 개인:이론 per:theory (PER,THEORY) Object는 Subject가 주장하는 / 공표한 이론
4 단체:명명_관계 org:naming (ORG,ORG) Object는 Subject의 또다른 표현
5 단체:사건 org:event (ORG, EVENT) Object는 Subject가 일으킨 / 속한 사건
6 단체:구성원 org:members_of (ORG,ORG) Object는 Subject에 속한 단체 / 인물
7 날짜:사건 date:event (DATE,EVENT) Object는 Subject에 발생한 사건
8 법:정의 law:definition (LAW, LAW) Object는 Subject의 정의 / 정의 구문
9 법:하위_법 law:subordinate (LAW, LAW) Object는 Subject에 종속한 법

Results (KLUE/BERT-base, lr=1e-5)

  • Fleiss' Kappa : 0.798
  • Micro F1 : 89.9598
  • AUPRC : 91.7236

License

본 데이터셋은 한국어 위키피디아를 사용하여 제작되었으며, CC BY-SA 3.0 라이선스 하에 공개되어 있습니다.