[1022] 열두 번째 회의록(D-2)

[SooMiiii]

📕회의 요약

📗회의 내용

✔️ 오전

• 하이퍼파라미터 튜닝 및 모듈화 [048] 하이퍼파라미터 튜닝 및 앙상블 모듈화 #48
• 변수 선택 [047] 변수 선택 / 변수 중요도 #47
• MLP 왜 같은 값이 나오지?

✔️ 오후

• 로그 변환 / 스케일링 테스트 [049] 데이터 변환 테스트 #49

• 윤혜 언니가 추가해준 변수 기존 데이터 셋이랑 합치기

• 변수 추가
  target mean encoding - 전반적인 전셋값 추세
  최신 거래 데이터 반영 -> 아파트별로 가장 최근 거래 데이터 변수 추가
  (직전 전세가)
  없으면 -999
  -> 몇 개 더 넣어볼듯

• 딥러닝 모델
  지역이랑 시간 임베딩 나눠 -> 임베딩 한 거 합침 -> 트렌스 포머
  => 정보를 잘 못 담아서 FT 트렌스 포머 사용(논문 참고)
  스케줄러 써봄
  좀좀따리 성능 좋아지는 중

• 파라미터 튜닝 중

• 앙상블 시도

✔️ 코드 모듈화 & 문서화 ㄱㄱ

✔️ 발표하자!

발표는 도걸 오빠가 ㅎ

0. 홍보
1. 협업 방식
   깃허브
   DB 사용
2. 프로젝트 진행 방식
   모듈화 코드 사용
   다양한 시도(최종에 사용하지 못한)
   (시계열, GNN, 검색모델, 변수 선택, 변수 변환 등)
3. 최종
   데이터 셋(어떻게 만들어졌는지)
   모델은 어떤 모델 사용?
   그 결과
4. 마무리

📘할 일

• 2일 남음!!!!!!!!!!!!

[seoo2001]

딥러닝 모델 여러가지 실험

직접 구현

자기상관성이 있는 데이터를 Transformer 구조로 학습하는 것이 목표
-> 시간, 공간에 따른 경향성 정보를 trend에서 학습하고, 집 평수, 층, 건물 나이 등의 데이터로 trend 값을 조정해주는 형태를 목표로 했음.

1. 시간, 공간 데이터를 embedding 후, Transformer layer로 전달, 최종 출력을 Trend 값으로 뽑음.
2. 나머지 feature를 통해 MLP에서 잔차 값을 뽑고, 최종 layer에 trend와 잔차를 input으로 넣음.

self.location_embedding = nn.Linear(location_feat_size, location_emb_size) 
self.time_embedding = nn.Linear(time_feat_size, time_emb_size)
self.encoder_layer = nn.TransformerEncoderLayer(d_model=(location_emb_size + time_emb_size), nhead=num_heads)

# 시간 + 위치 정보를 이용한 trend
self.fc_trend = nn.Sequential(
    nn.BatchNorm1d(location_emb_size + time_emb_size),
    nn.TransformerEncoder(self.encoder_layer, 2),
    nn.Linear(location_emb_size + time_emb_size, 1)
)

# 전체 feature를 이용한 residual
self.fc_residual = nn.Sequential( 
    nn.BatchNorm1d(input_size),
    nn.Linear(input_size, 256),
    nn.ReLU(),
    nn.Linear(256, 64),
    nn.ReLU(),
    nn.Linear(64, 8),
    nn.ReLU(),
    nn.Linear(8, 1)
)
self.out_layer = nn.Linear(2, 1)

MAE값이 4900정도에서 수렴하는 양상을 보임.(목표는 3000대) -> 차원을 키워서 학습을 진행해도 loss가 줄지 않음. 구조상의 문제라고 판단.

모든 feature를 embedding하는 것이 transformer 구조에 적합하다는 것을 파악함.

이러한 형태의 모델이 이미 존재하였음. FT-transformer

FT-Transformer

실험 내용

• feature 선택
• category embedding: 제외 / 추가
• split type: random / time
• 주요 파라미터 변경(learning rate, batch size, head num, embedding size, transformer layer depth)

주요 파라미터 논문 참고
https://arxiv.org/pdf/2106.11959v2
https://arxiv.org/pdf/2311.11694
https://arxiv.org/pdf/2203.05556
https://arxiv.org/pdf/2012.06678

코드 참고
https://github.com/lucidrains/tab-transformer-pytorch

[yunhyechoi]

변수 추가

• 아파트별로 직전 거래가를 변수로 생성
• target mean은 과거부터 현재까지의 전체적인 아파트 전세가 수준을 나타내는 반면, 직전 거래가는 최신성을 반영
• NaN 처리
  • -999로 처리하는 것보다 그냥 Nan으로 두고 모델이 알아서 처리하도록 하는게 성능이 더 좋음
• 우선 shift(1) 변수만 추가했을 때,
  • validation : 3967.7479
  • 리더보드 : 3750.5175

-> shift 몇까지 추가하면 성능이 더 좋아질지 테스트 예정