P Stage 1 : Project Day 9
Day 9 list
- K-Fold 원본 이미지 학습
- K-Fold 원본을 400, 200 resize
원본 이미지 400 x 200 - resize
1번 모델 학습 진행하는데 너무 오랜시간이 걸려서 2번 모델을 겨우겨우 하루 지나기전에 처리했는데 확실히 성능향상이 있었습니다.
근데 저게 뭔 말이냐….
간단히 설명하면 저희에게 주어진 이미지가 불필요한 배경도 포함하고 있다보니 모델 학습에 영향을 주는 것으로 판단했습니다. 따라서 주변 환경을 최대한 배제하는 방향으로 이미지를 CenterCrop했습니다. 그리고 CenterCrop이전에 이미지 비율을 절반으로 줄여서 진행하였습니다.
그리고 learning rate를 기존에는 0.001(1e-3) ~ 0.0001(1e-4)로 진행했던 것을 좀 더 낮춰보자는 의견이 있어서 1e-5로 수행하였습니다.
또한 Clova에서 개발한 AdamP를 활용해서 optimizer 수정을 진행하였습니다.
다행히도 이전 제출 0.6693에서 0.6869로 점수 향상이 있었습니다.
현재 진행하고 있는것은 이미지를 원본비율로 조정해서 위 방식을 도입하는 것으로 실험을 진행 중이며 wandb를 통해 확인되는 것은 전반적인 앙상블(fold)에서 높은 validataion f1 score와 낮은 validation loss가 관찰되고 있습니다. 이전 모델들에서는 첫번째 fold에서 모델이 좋지 못한 성능을 내고 있었는데 이번에는 첫번째 폴드부터 좋은 성능을 보이고 있습니다.
다음 진행할 것은 ImbalancedDatasetSampler로 샘플링을 좀 조정할 생각입니다. 문제는 이걸 적용하려면 여러가지 수정을 해야하는데…. 잘 적용될지 모르겠습니다 ㅠㅠ
Comments powered by Disqus.