PyTorch : Hyper-parameter Tuning Introduction 모델 성능을 좋게 만드는 방법은 크게 3가지가 있다. 모델 변경 data check hyperparameter tuning 모델을 변경하는 것은 사실 요즘 좋은 backbone 모델이 있어서 큰 의미는...

PyTorch : Multi-GPU 학습 Introduction Single GPU란 GPU가 1개가 존재하는 것이고 Multi GPU란 1개의 컴퓨터에 여러개의 GPU가 존재하는 것을 의미한다. 일반적으로 Node라고 표현하면 1대의 컴퓨터를 의미한다. 요즘 많은 컴퓨터는 Single Node Multi GPU 방...

들어가며… 오늘부터 본격적으로 ElasticSearch와 Kibana, Logstash를 활용한 Bigdata processing과 visualization을 설명하겠습니다. 블로그 메인에도 있고 전체적인 포스팅의 분포를 보시면 알 수 있듯이 저는 Bigdata와 DataScience에 관심이 많습니다. 그래서 관련 공부도 많이 하고 있죠. 상당히 ...

Day8 Review 당신은 오늘 하루 어떻게 살았나요? PyTorch Day3 nn.Module 일부 분석 오늘의 피어세션 코드리뷰에서 Parameter변수에 있는 data attribute를 직접 연산하면 왜 autograd가 적용되지 않을까? 오늘 하지 못한 것들 심화과제 내일은 어떤 것을 할까? ...

PyTorch : Monitoring tools for PyTorch Machine Learning Monitoring Tools 머신러닝 모델 학습의 모니터링 툴은 다양하게 존재한다. 대표적인 것이 Tensorboard와 weight & biases이다. Tensorboard 원래는 TensorFlow의 프로젝트...

PyTorch : 모델 불러오기 Introduction 최근 추세는 pre-trained 모델을 데이터에 맞추는 fine-tuning을 진행한다. 또한 모델의 학습 결과를 공유하고 저장할 필요가 있다. 모델 저장 및 불러오기 1. model.save 학습의 결과를 저장하기 위한 함수이다. 모델과 파라미터를 저장한다. ...

Day7 Review 당신은 오늘 하루 어떻게 살았나요? PyTorch Day2 Day7 내용 블로그 정리 기본과제 all clear 오늘의 피어세션 팀원들과 스터디 내용 결정 매주 주제를 정하고 심화 포스팅 오늘 하지 못한 것들 없음~ all clear 내일은 어떤 ...

PyTorch : Datasets & Dataloaders PyTorch Data 구조 1. Data 데이터는 데이터 그 자체를 의미한다. 정제되거나 전처리, 누적이 이미 다 되어 들어오는 경우도 많지만 아닌 경우도 있다. 보통 데이터 엔지니어 통해서 데이터가 정리가 되어 오는 경우가 많다. 2. Dataset Da...

PyTorch : AutoGrad & Optimizer Introduction 다양한 논문들이 제공하고 있는 모델들은 레이어들의 연속체이다. 이런 레이어들은 일종의 블록이랑 같다고 생각하면 편하다. ResNet이나 transformer처럼 여러개의 레이어를 합쳐서 큰 규모의 레이어를 구성할 수도 있다. 이렇게...

PyTorch : PyTorch 프로젝트 구조 이해하기 Introduction 많이들 Jupyter notebook을 통해 ML/DL 입문을 하고 코드를 접한다. 하지만 Jupyter notebook에는 한계가 존재한다. 배포 및 공유의 어려움 $\rightarrow$ 재현의 어려움과 실행순서의 꼬임 ...