[BoostCamp AI Tech / P Stage 2] Day58 - Project Day 18

P Stage 2 : Project Day 18

---

Day 18 list

1. 모델 앙상블

---

모델 앙상블

EASE + VAE

• 대회 막바지에 다다른 만큼 이제 슬슬 모델 앙상블을 진행할 때
• 가장 괜찮은 아이디어는 VASP 논문에서 제시한 EASE모델과 VAE계열의 Hadamard product를 진행하는 것
• 기본적인 원리는 EASE가 linear 특성을 학습하고 VAE 계열 모델이 non-linear 특성을 학습하여 linear 특성을 가중치로 non-linear 결과에 앙상블하는 것
• 실제로 기존 모델의 결과보다 약 100개 정도 더 잘 맞추는 것으로 파악됨

Semi-Bagging

• 정확하게 Bagging이라고 보긴 어려울 거 같지만 일종의 배깅 원리를 사용했기 때문에 Semi-Bagging이라고 했음
• 모델의 seed를 고정하고 학습을 진행했는데, 이 과정에서 seed 모델별로 학습 결과가 달라질 것이라고 생각했음
• 그래서 RecVAE 모델의 seed를 변경해서 예측 결과를 모두 더하여 예측에 활용하는 방식을 사용함

---

최종

• 두 앙상블 방식을 모두 사용해서 기존 0.1601에서 0.1632까지 올렸음
• 현재 0.18대의 점수가 존재하는데 도저히 뭘 사용했는지 감이 안 옴….