강의노트에서
학습률(learning_rate) 하이퍼파라미터는 그레이디언트 부스팅으로 훈련할 때 각 기본 예측기의 예측값이 최종 예측값에 얼마나 기여할지를 결정한다.
학습률이 작을수록 각 예측기의 기여도는 줄어든다.
제가 이해한 내용은 learning_rate를 크게 설정하면 적은 수의 트리로 빠르게 학습할 수 있지만, 각 트리의 영향이 커져 과적합 가능성이 있습니다.
반대로 learning_rate를 작게 설정하면 학습 속도는 느려지지만, 모델이 점진적으로 수정되기 때문에 강의노트에 나온 예시와 같이 더 안정적인 일반화 성능을 기대할 수 있습니다.
이 부분에서 궁금한 점이 있습니다.
실제로 부스팅 모델(GradientBoostingClassifier, GradientBoostingRegressor, XGBoost)을 사용할 때 learning_rate와 n_estimators 하이퍼파라미터는 어떤 순서로 조정하는 것이 좋은지 궁금합니다.
예를 들어 처음부터 learning_rate를 작게 설정하고 n_estimators를 크게 둔 뒤, GradientBoostingRegressor의 n_iter_no_change나 XGBoost의 early_stopping_rounds와 같은 조기 종료를 사용하는 방식이 안정적인 방법인지 궁금합니다.
강의노트에서
제가 이해한 내용은
learning_rate를 크게 설정하면 적은 수의 트리로 빠르게 학습할 수 있지만, 각 트리의 영향이 커져 과적합 가능성이 있습니다.반대로
learning_rate를 작게 설정하면 학습 속도는 느려지지만, 모델이 점진적으로 수정되기 때문에 강의노트에 나온 예시와 같이 더 안정적인 일반화 성능을 기대할 수 있습니다.이 부분에서 궁금한 점이 있습니다.
실제로 부스팅 모델(GradientBoostingClassifier, GradientBoostingRegressor, XGBoost)을 사용할 때
learning_rate와n_estimators하이퍼파라미터는 어떤 순서로 조정하는 것이 좋은지 궁금합니다.예를 들어 처음부터
learning_rate를 작게 설정하고n_estimators를 크게 둔 뒤, GradientBoostingRegressor의n_iter_no_change나 XGBoost의early_stopping_rounds와 같은 조기 종료를 사용하는 방식이 안정적인 방법인지 궁금합니다.