[Feat] 위키피디아 문서 크롤링과 KoBEST 데이터셋을 활용한 데이터 증강

.gitignore

@@ -3,6 +3,8 @@
 __pycache__/
 *.py[cod]
 *$py.class
+.DS_Store/
+*.DS_Store
 
 # C extensions
 *.so
@@ -175,8 +177,9 @@ pyrightconfig.json
 
 # End of https://www.toptal.com/developers/gitignore/api/python
 
-data/*
+data/*.csv
 !data/.gitkeep
+!data/experiments/.gitkeep
 
 *.csv
 output*/

augments/__init__.py

@@ -0,0 +1 @@
+from .modules import *

augments/kobest_augmentation.ipynb

@@ -0,0 +1,178 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "/Users/chan/boostcamp-project/level2-nlp-generationfornlp-nlp-06-lv3\n"
+     ]
+    },
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "/Users/chan/boostcamp-project/level2-nlp-generationfornlp-nlp-06-lv3/.venv/lib/python3.11/site-packages/IPython/core/magics/osm.py:417: UserWarning: This is now an optional IPython functionality, setting dhist requires you to install the `pickleshare` library.\n",
+      "  self.shell.db['dhist'] = compress_dhist(dhist)[-100:]\n"
+     ]
+    }
+   ],
+   "source": [
+    "%cd .."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "/Users/chan/boostcamp-project/level2-nlp-generationfornlp-nlp-06-lv3/.venv/lib/python3.11/site-packages/tqdm/auto.py:21: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html\n",
+      "  from .autonotebook import tqdm as notebook_tqdm\n"
+     ]
+    }
+   ],
+   "source": [
+    "from augments import KoBESTAugment"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 3,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "100%|██████████| 10/10 [00:39<00:00,  3.91s/it]\n",
+      "100%|██████████| 10/10 [00:06<00:00,  1.53it/s]\n"
+     ]
+    },
+    {
+     "data": {
+      "text/html": [
+       "<div>\n",
+       "<style scoped>\n",
+       "    .dataframe tbody tr th:only-of-type {\n",
+       "        vertical-align: middle;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe tbody tr th {\n",
+       "        vertical-align: top;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe thead th {\n",
+       "        text-align: right;\n",
+       "    }\n",
+       "</style>\n",
+       "<table border=\"1\" class=\"dataframe\">\n",
+       "  <thead>\n",
+       "    <tr style=\"text-align: right;\">\n",
+       "      <th></th>\n",
+       "      <th>paragraph</th>\n",
+       "      <th>question</th>\n",
+       "      <th>choices</th>\n",
+       "      <th>answer</th>\n",
+       "      <th>is_valid</th>\n",
+       "    </tr>\n",
+       "  </thead>\n",
+       "  <tbody>\n",
+       "    <tr>\n",
+       "      <th>728</th>\n",
+       "      <td>DNA는 뉴클레오타이드의 중합체인 두 개의 긴 가닥이 서로 꼬여있는 이중나선 구조로...</td>\n",
+       "      <td>지문에 따르면, DNA의 주요 기능 중 하나는 무엇인가?</td>\n",
+       "      <td>[DNA는 세포의 에너지를 생성하는 역할을 한다., DNA는 유전정보를 통해 유전자...</td>\n",
+       "      <td>2</td>\n",
+       "      <td>True</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>296</th>\n",
+       "      <td>브루나이 음식은 종종 매운 맛이 나며, 일반적으로 쌀이나 국수와 함께 먹는다. 브루...</td>\n",
+       "      <td>지문에 따르면, 브루나이 음식의 특징으로 옳은 것은?</td>\n",
+       "      <td>[브루나이 음식은 일반적으로 매운 맛이 나며, 쌀이나 국수와 함께 제공된다., 브루...</td>\n",
+       "      <td>1</td>\n",
+       "      <td>True</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>35</th>\n",
+       "      <td>티탄은 그리스 신화에 등장하는 거대하고 강력한 신의 종족으로 다음 세대인 올림포스 ...</td>\n",
+       "      <td>지문에 따르면, 티탄이 그리스 신화에서 차지하는 역할은 무엇인가?</td>\n",
+       "      <td>[티탄은 올림포스 신들이 세상을 지배하기 전의 황금 시대를 다스린 신의 종족이다.,...</td>\n",
+       "      <td>1</td>\n",
+       "      <td>True</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>622</th>\n",
+       "      <td>버섯 구름(mushroom cloud)은 응축된 수증기나 먼지로 구성된 버섯 형상의...</td>\n",
+       "      <td>지문에 따르면, 버섯 구름이 생성되는 주된 원인은 무엇인가?</td>\n",
+       "      <td>[핵폭발과 같은 매우 큰 폭발의 결과로 형성된다., 주로 화산 폭발로 인해 자연적으...</td>\n",
+       "      <td>1</td>\n",
+       "      <td>True</td>\n",
+       "    </tr>\n",
+       "  </tbody>\n",
+       "</table>\n",
+       "</div>"
+      ],
+      "text/plain": [
+       "                                             paragraph  \\\n",
+       "728  DNA는 뉴클레오타이드의 중합체인 두 개의 긴 가닥이 서로 꼬여있는 이중나선 구조로...   \n",
+       "296  브루나이 음식은 종종 매운 맛이 나며, 일반적으로 쌀이나 국수와 함께 먹는다. 브루...   \n",
+       "35   티탄은 그리스 신화에 등장하는 거대하고 강력한 신의 종족으로 다음 세대인 올림포스 ...   \n",
+       "622  버섯 구름(mushroom cloud)은 응축된 수증기나 먼지로 구성된 버섯 형상의...   \n",
+       "\n",
+       "                                 question  \\\n",
+       "728       지문에 따르면, DNA의 주요 기능 중 하나는 무엇인가?   \n",
+       "296         지문에 따르면, 브루나이 음식의 특징으로 옳은 것은?   \n",
+       "35   지문에 따르면, 티탄이 그리스 신화에서 차지하는 역할은 무엇인가?   \n",
+       "622     지문에 따르면, 버섯 구름이 생성되는 주된 원인은 무엇인가?   \n",
+       "\n",
+       "                                               choices  answer  is_valid  \n",
+       "728  [DNA는 세포의 에너지를 생성하는 역할을 한다., DNA는 유전정보를 통해 유전자...       2      True  \n",
+       "296  [브루나이 음식은 일반적으로 매운 맛이 나며, 쌀이나 국수와 함께 제공된다., 브루...       1      True  \n",
+       "35   [티탄은 올림포스 신들이 세상을 지배하기 전의 황금 시대를 다스린 신의 종족이다.,...       1      True  \n",
+       "622  [핵폭발과 같은 매우 큰 폭발의 결과로 형성된다., 주로 화산 폭발로 인해 자연적으...       1      True  "
+      ]
+     },
+     "execution_count": 3,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "kobest_augment = KoBESTAugment()\n",
+    "kobest_augment.sample_data(10)  # 10개 샘플로 생성\n",
+    "kobest_augment.process()\n",
+    "kobest_augment.data"
+   ]
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": ".venv",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.11.0"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}

augments/modules/__init__.py

@@ -0,0 +1,11 @@
+from .base_processor import *
+from .classification import *
+from .constants import *
+from .keywords_extractor import *
+from .kobest_augment import *
+from .langchain_manager import *
+from .paragraph_generator import *
+from .paragraph_trimmer import *
+from .reasoning import *
+from .summarizer import *
+from .text_crawler import *

augments/modules/base_processor.py

@@ -0,0 +1,65 @@
+from abc import ABC, abstractmethod
+
+import pandas as pd
+
+from utils import DataVersionManager
+
+
+class BaseProcessor(ABC):
+    """
+    데이터 처리를 위한 기본 추상 클래스.
+
+    이 클래스는 데이터를 처리하는 공통 기능과 데이터 버전 관리를 제공하며,
+    구체적인 데이터 처리 방식은 서브클래스에서 구현해야 합니다.
+    """
+
+    def __init__(
+        self, data_path: str = "data/", experiment_data_path: str = "data/experiments/", data: pd.DataFrame = None
+    ):
+        """
+        BaseProcessor 초기화 함수.
+
+        Args:
+            data_path (str): 기본 데이터 경로. 기본값은 "data/".
+            experiment_data_path (str): 실험 데이터 저장 경로. 기본값은 "data/experiments/".
+            data (pd.DataFrame, optional): 데이터프레임 초기 값. 기본값은 None.
+
+        Attributes:
+            data_version_manager (DataVersionManager): 데이터 버전 관리를 위한 유틸리티 클래스.
+            source_data (pd.DataFrame): 데이터 소스. 초기화 시 전달된 데이터를 저장.
+        """
+        self.data_version_manager = DataVersionManager(data_path=data_path, experiment_data_path=experiment_data_path)
+        self.source_data: pd.DataFrame = data
+
+    @property
+    def data(self) -> pd.DataFrame:
+        """
+        데이터프레임 반환 프로퍼티.
+
+        Returns:
+            pd.DataFrame: 현재 소스 데이터프레임.
+        """
+        return self.source_data
+
+    @abstractmethod
+    def process(self) -> None:
+        """
+        데이터 처리 로직을 정의하는 추상 메서드.
+
+        NOTE: 이 메서드는 서브클래스에서 반드시 구현해야 합니다.
+        """
+        pass
+
+    def sample_data(self, n: int, seed: int = 1004):
+        """
+        데이터를 랜덤 샘플링하여 갱신하는 함수.
+
+        Args:
+            n (int): 샘플링할 데이터 개수.
+            seed (int, optional): 랜덤 시드 값. 기본값은 1004.
+
+        Example:
+            processor = SomeProcessor(data=pd.DataFrame({"col1": [1, 2, 3]}))
+            processor.sample_data(n=2)
+        """
+        self.source_data = self.source_data.sample(n=n, random_state=seed)

augments/modules/classification.py

@@ -0,0 +1,67 @@
+import pandas as pd
+from tqdm import tqdm
+
+from .base_processor import BaseProcessor
+from .constants import ANALYSIS, CATEGORY
+from .langchain_manager import LangchainManager
+
+
+class Classification(BaseProcessor):
+    """
+    데이터 분류 작업을 수행하는 클래스.
+
+    LangchainManager를 활용하여 입력 데이터를 처리하고,
+    분석 및 분류 결과를 데이터프레임에 추가합니다.
+    """
+
+    def __init__(self, data_path="data/", experiment_data_path="data/experiments/", data: pd.DataFrame = None):
+        """
+        Classification 클래스 초기화 함수.
+
+        Args:
+            data_path (str): 기본 데이터 경로. 기본값은 "data/".
+            experiment_data_path (str): 실험 데이터 저장 경로. 기본값은 "data/experiments/".
+            data (pd.DataFrame, optional): 입력 데이터프레임. 기본값은 None.
+
+        Raises:
+            TypeError: 데이터가 pandas.DataFrame 형식이 아닌 경우 예외를 발생시킴.
+
+        Attributes:
+            langchain_manager (LangchainManager): LangChain 기반 데이터 처리 매니저.
+        """
+        super().__init__(data_path, experiment_data_path)
+
+        if isinstance(data, pd.DataFrame):
+            self.source_data = data
+        elif data is not None and not isinstance(data, pd.DataFrame):
+            raise TypeError("data는 pandas.DataFrame 형식이어야 합니다.")
+
+        # LangChainManager 설정 - 프롬프트와 출력 형식 지정
+        self.langchain_manager = LangchainManager(
+            prompt_type="data_classification", prompt_source="information_source_with_reasoning.txt", output_type="json"
+        )
+
+    def process(self):
+        """
+        데이터 처리 함수.
+
+        LangChain을 활용하여 데이터를 처리한 후, 분석 결과와 분류 결과를 데이터프레임에 추가합니다.
+
+        Notes:
+            - tqdm의 progress_apply를 활용하여 처리 상태를 시각적으로 표시.
+            - 처리 결과는 source_data의 analysis 및 category 열에 저장됩니다.
+
+        Example:
+            classification = Classification(data=pd.DataFrame({"text": ["sample data"]}))
+            classification.process()
+        """
+        tqdm.pandas()  # 진행 상황 표시를 위한 tqdm 적용
+        # LangChainManager를 활용한 데이터 처리
+        result = self.source_data.progress_apply(lambda row: self.langchain_manager.invoke(row), axis=1)
+        # 처리 결과를 Series로 분리
+        result_df = result.apply(pd.Series)
+        # 결과를 source_data의 ANALYSIS, CATEGORY 열에 저장
+        self.source_data[[ANALYSIS, CATEGORY]] = result_df
+
+        # 결과 저장
+        self.source_data.to_csv("data/experiments/classification.csv", index=False)

augments/modules/constants.py

@@ -0,0 +1,28 @@
+# pd.DataFrame의 column 이름으로 사용되는 상수입니다.
+PARAGRAPH = "paragraph"
+QUESTION = "question"
+CHOICES = "choices"
+ANSWER = "answer"
+QUESTION_PLUS = "question_plus"
+DEFAULT_COLUMNS = ["paragraph", "question", "choices", "answer", "question_plus"]
+
+
+REASONING = "reasoning"
+ANALYSIS = "analysis"
+CATEGORY = "category"
+VALID = "is_valid"
+
+# 조합하여 column 이름으로 사용되는 상수입니다. ex) keyword_1_exists
+KEYWORD_PREFIX = "keyword_"
+EXISTS_SUFFIX = "_exists"
+PAGE_SUFFIX = "_page"
+SUMMARY_SUFFIX = "_summary"
+
+# 프롬프트에 사용되는 변수 명입니다.
+KEYWORDS = "keywords"
+DOCUMENT = "document"
+CRAWLED_TEXT = "crawled_text"
+RAW_PARAGRAPH = "raw_paragraph"
+
+# 카테고리 명
+NEED_KNOWLEDGE = "외적 추론"