5회차 -> ai 딥러닝 공부2, 알고리즘 특강 복습
오늘은 그리드서치와 랜덤서치에 대해 공부했다
모델의 성능을 최적화하기 위해서는 하이퍼파라미터 튜닝이 매우 중요하다.
하이퍼파라미터는 모델 학습 과정에서 수동으로 설정해야 하는 값들로, 각기 다른 설정이 모델 성능에 크게 영향을 미칠 수 있다. 이를 위해, Grid Search와 Random Search라는 두 가지 대표적인 방법이 자주 사용된다.
1. 그리드 서치
Grid Search는 가능한 모든 하이퍼파라미터 조합을 체계적으로 탐색하여 최적의 조합을 찾는 방법
주요 특징:
- 조합 탐색: 사용자가 설정한 각 하이퍼파라미터의 가능한 값을 모두 조합하여 모델을 학습시키고, 성능을 평가한다.
- 전수 조사 방식: 가능한 모든 경우의 수를 탐색하므로, 하이퍼파라미터 공간을 완벽하게 탐색한다.
- BUT 그에 따라 연산비용도 매우 높고, 파라미터 개수에 따라 조합 수가 기하급수적으로 증가해 시간이 많이 들고 비효율적일 수 있다. - 불필요한 조합까지 테스트
2. 랜덤 서치
Random Search는 Grid Search와 달리 무작위로 하이퍼파라미터 조합을 선택하여 최적의 조합을 찾는 방법
주요 특징:
- 랜덤 탐색: 사용자가 설정한 하이퍼파라미터 공간에서 무작위로 일부 조합을 선택해 탐색한다.
- 부분 탐색 방식: Grid Search와 달리, 하이퍼파라미터 공간 전체를 탐색하지 않고 일부만 무작위로 선택해 평가한다.
- 연산비용이 낮고 빠른 탐색이 가능하지만, BUT 최적의 조합을 놓칠 수 있으며 무작위로 선택된 조합에 따라 결과가 달라지므로 불확실한 결과이다.