[Feat] 위키피디아 문서 크롤링과 KoBEST 데이터셋을 활용한 데이터 증강

[gsgh3016]

📝 Summary

데이터 증강 관련 실험 모듈화

✅ Checklist

• 관련 이슈가 명시되어 있습니다.
• 테스트가 완료되었습니다.
• 문서 업데이트가 포함되었습니다.
• 코드 리뷰를 위한 사전 검토를 완료했습니다.

📄 Description

파일 별로 설명하도록 하겠습니다.

1. langchain_manager.py

• 프롬프트 템플릿 정보와 출력 형식을 받아 체인을 관리하는 객체입니다.
• 각 모듈 별 체인을 용이하게 관리하기 위해 만들었습니다.
• 출력 형식을 str, bool, json으로 고정하였습니다.

2. base_processor.py

• 데이터 처리 모듈을 추상 클래스로 모듈화하였습니다.
• 새로운 데이터 처리 모듈 추가 시 본 클래스를 상속받아 process 함수를 구현하시면 됩니다.

3. kobest_augment.py, question_choices_generation.txt, validation.txt

• BaseProcessor를 상속받아 구현된 데이터 처리 모듈과 프롬프트입니다.
• KoBEST 데이터셋의 'paragraph' 데이터를 기반으로 'question', 'choices', 'answer'를 생성합니다.
• 이후 생성된 데이터의 자체 유효성 검사와 출제 오류를 감지하여 'is_valid'에 저장합니다.

4. kobest_augmentation.ipynb

• KoBEST 데이터셋을 사용한 증강 모듈 예시 파일입니다.
• kobest_augment.sample_data(10) 에서 숫자 10을 바꿔 랜덤으로 선택되는 데이터의 숫자를 조정할 수 있습니다.

5. reasoning.py, reasoning.txt

• BaseProcessor를 상속받아 구현된 데이터 처리 클래스입니다.
• 문제와 정답이 주어지면, 풀이 과정을 추론하고 'reasoning' 칼럼을 생성하여 저장합니다.

6. classification.py, information_source_with_reasoning.txt

• BaseProcessor를 상속받아 구현된 데이터 처리 클래스입니다.
• 문제와 정답, 'reasoning' 이 주어지면, 외부 지식이 필요한 문제인지 구분하여 이유와 함께 출력합니다.
• 외부 지식이 필요한 문제인 경우 '외적 추론', 외부 지식이 필요 없는 경우 '내적 추론'으로 구분됩니다.
• 분류 결과와 이유을 각각 'category', 'analysis' 칼럼으로 저장합니다.

7. keywords_extractor.py, wikipedia_search_keyword_with_reasoning.txt

• BaseProcessor를 상속받아 구현된 데이터 처리 클래스입니다.
• 외부 지식이 필요한 '외적 추론' 문제에서 동작합니다.
• 문제와 정답, 'reasoning'을 입력받아 문제 풀이에 필요한 키워드를 추출합니다.
• 총 5개의 키워드를 추출하여 keyword_{i} 칼럼에 저장합니다.

8. text_crawler.py

• wikipediaapi 모듈을 사용해 만든 위키피디아 문서 크롤링 클래스입니다.
• KeywordExtractor로 추출한 5개 키워드에서 위키피디아 문서를 가져옵니다.
• 문서 내용, 문서 존재 여부를 각각 keyword_{i}_page, keyword_{i}_exists으로 저장합니다.

9. summarizer.py, document_summarization.txt,

• BaseProcessor를 상속받아 구현된 데이터 처리 클래스입니다.
• 크롤링한 위키피디아 문서와 키워드 5개를 입력으로 받아 요약합니다.
• 요약문은 'keyword_{i}_summary'에 저장됩니다.

10. paragraph_generator.py, generation_from_wiki.txt

• BaseProcessor를 상속받아 구현된 데이터 처리 클래스입니다.
• 키워드 별 요약문 5개를 하나의 지문으로 취합합니다.
• 취합한 지문은 'raw_paragraph'로 저장됩니다.

11. paragraph_trimmer.py, trimming_paragraph.txt

• BaseProcessor를 상속받아 구현된 데이터 처리 클래스입니다.
• 하나로 취합한 지문을 수능 비문학 국어 지문과 같은 문체로 다듬습니다.
• 생성된 지문은 'paragraph'에 새로 저장됩니다. 기존 'paragraph' 데이터는 'question_plus'에 저장됩니다. 만약 'question_plus'가 존재하는 경우, 두 데이터를 합쳐서 저장합니다.

12. data_version_manager.py

• 버전 관리의 자유도를 높였습니다. 기존에는 Major 버전만 지정할 수 있었던 기능을 Minor 버전도 지정 가능하도록 변경했습니다.
• 코드 동작을 단순화했습니다. 유지 보수에 용이하도록 코드를 수정했습니다.
• 더 이상 data_version.yaml에 의존하지 않기 때문에 data_version.yaml 파일을 삭제했습니다.

13. .gitignore

• 본 기능은 macOS 환경에서 개발되었습니다. macOS에서 작업 시 생성되는 .DS_Store를 git 추적에서 제외했습니다.
• 이전에 데이터 버저닝 컨벤션 [DISC] 데이터 관련 실험 및 중간 결과 이름 컨벤션 #35 에 따라 data/experiments/ 디렉토리를 생성했습니다.

💡 Notice (Optional)

해당 모듈은 augments/train_augmentation.ipynb와 augments/kobest_augmentation.ipynb에 사용 예시가 있습니다.

🔗 Related Issue(s)

close #29 , #53 , #61