Week2

📝 이번 주 목표

실험관리 문제
- 실험에 대한 리포트
- 논문, 실험결과 재현
- 가장 성능 좋은 모델
- 하이퍼파라미터 최적화
Weight and Biases 솔루션 개요
- 머신러닝 프로젝트의 실험관리 솔루션
- 재현가능한 모델, GPU 사용률, 실시간 퍼포먼스 디버깅
Weight and Biases 사용법
- Weight and Biases 홈페이지
- Quick Start
- framework independent : 파이토치, 텐서플로, 사이킷런에서 모두 사용가능
  - tensorflow에서는 callbacks 이용

HPO(Hyperparameter Optimization)
- AutoML : 기본적인 반복 업무(HPO) 자동화
- 머신러닝 프로젝트에서 생산성을 높이는 것이 다 머신러닝 파이프라인에 포함
W&B Sweeps 솔루션 개요
- 하이퍼파라미터의 importance 확인 가능
- 다양한 실험 후 쉽게 보고서 작성 가능
W&B Sweeps 사용법
- 튜토리얼 (github)
- 튜토리얼 (colab)
- grid search, random search, … 등
- train.py 만 만들면 agent로 실행가능
- Parallel coordinates : 실험에 대한 좋은 시각화 방법
- Create Repost - dashboard

실험 관리 경험 공유
- tensorboard 는 모델을 돌리고 있는 그 서버에서 실행하기 때문에 무거워진다.
- 데이터셋 버저닝 : 데이터셋 버전별로 새로 탐색해야 한다.
- 랜덤서치로 어떤게 중요한지 캐치한 후 그리드서치로 디테일한 값 찾으면 좋을 것 같다.
관련 자료 공유