[FEAT] 풀이 과정에 기반한 키워드 추출 시험

[gsgh3016]

⚠️ Please check for similar feature requests

• 이전에 제안된 기능 요청 중 중복되는 것이 없습니다.

💡 기능 요약

문제 풀이에서 가장 중요한 키워드는 풀이 과정에서 나옵니다. 본 실험은 모델의 풀이 추론 과정과 키워드 추출 실험을 2단계로 분리해 진행합니다.

📄 기능 설명

TODO

1. 문제 풀이 과정 추론(이하 reasoning) 실험

• [FEAT] COT Reasoning 을 통한 최종 정답 도출 #46 의 reasoning 프롬프트를 바탕으로 현재 테스크에 맞도록 프롬프트 보완.
• 데이터 샘플링으로 외부 추론 유형에 대해 랜덤 테스트
• 유의미한 결과가 나오는 경우, 외부 추론 유형에 대해 전체 데이터로 확대.

2. 풀이 과정에서 키워드 추출 실험

• [DISC] 문제 풀이에 필요한 키워드 추출 #49 의 키워드 추출 실험을 기반으로 reasoning, 문제를 사용한 키워드 추출
• 데이터 샘플링으로 외부 추론 유형에 대해 랜덤 테스트
• 유의미한 결과가 나오는 경우, 외부 추론 유형에 대해 전체 데이터로 확대.

🎯 기능 도입의 이점

• [DISC] 문제 풀이에 필요한 키워드 추출 #49 이후 진행된 [FEAT] 위키피디아 크롤링으로 지문 생성 #53 작업의 세부 작업을 바로 잡을 수 있습니다. 세부 작업은 다음과 같습니다.
  • 유형 분류([FEAT] LLM을 활용한 문제 유형 분석 #17 참고) 데이터와 키워드 추출([DISC] 문제 풀이에 필요한 키워드 추출 #49) 데이터를 통합: category 칼럼과 keyword_{i}, keyword_{i}_exists 칼럼을 pd.concat로 통합합니다.
  • 위키피디아 텍스트 크롤링: keyword_{i}_exists 칼럼 정보를 기반으로 텍스트 크롤링 기능을 추가합니다.
  • gpt 4o mini를 활용한 지문 생성: 크롤링한 텍스트를 기반으로 지문을 생성합니다.

각 작업은 실험과 모듈화가 완료되었습니다. 따라서 해당 작업이 완료되면 수십 분 내에 완료되는 작업입니다.(각 작업 당 평균 10분 내외로 소요됩니다.)

⚠️ 잠재적 문제

• 실험 결과 평가가 수동으로 이루어저야 합니다. 자동인 경우, llm-as-judge를 활용한 평가 메트릭을 도입해야 합니다.

🔗 관련 이슈

• 이전 작업: [FEAT] LLM을 활용한 문제 유형 분석 #17 [DISC] 문제 풀이에 필요한 키워드 추출 #49
• 상위 작업: [FEAT] 외부 지식을 활용한 문제에 지문을 추가하여 데이터 증강 #29
• 이후 작업: [FEAT] 위키피디아 크롤링으로 지문 생성 #53