(장*우) (강의노트 5장) 불균형 데이터 결정 트리 학습

[glok1d]

결정 트리는 지니 불순도나 엔트로피를 낮추는 방향으로 데이터를 분할하며 학습한다고 배웠습니다. 그런데 만약 훈련 세트에서 특정 클래스의 샘플 수가 다른 클래스에 비해 압도적으로 많은 경우(데이터가 한쪽으로 쏠려 있는 경우), 모델이 불순도를 낮추기 위해 단순히 샘플이 많은 클래스 위주로만 노드를 분할하게 될 위험은 없는지 궁금합니다.

이런 현상이 모델의 결정 경계를 왜곡하거나 과대적합을 유발하여, 실제 테스트 세트에서의 일반화 성능을 떨어뜨리지는 않는지, 그리고 교재에 나온 하이퍼파라미터 조절만으로도 이런 쏠림 현상을 충분히 제어할 수 있는 것인지 알고 싶습니다.

[liganega]

구체적인 사례로 직접 실험을 한 다음에 결과를 알려주세요.

[glok1d]

(장*우)
AI를 사용하여 기본 결정 트리와 클래스 가중치를 적용한 경우를 비교하였습니다.

ㅡ

기본 결정 트리는 실제 소수 클래스 34개 중 56%만 찾아냈습니다. (불순도만 낮추려다 보니 소수 클래스를 놓치는 '쏠림 현상' 발생)
가중치 적용 트리는 이 비율을 62%로 끌어올렸습니다. 모델에게 "Class 1을 틀리면 페널티가 더 크다"라고 알려준 덕분에, 모델이 소수 클래스를 찾아내는 데 더 집중하게 된 것입니다.

데이터가 한쪽으로 쏠려 있을 때 결정 트리는 불순도를 쉽게 낮추기 위해 다수 클래스 위주로 분할하려는 경향이 존재함을 확인하였습니다.
단순한 하이퍼파라미터 조절이나 기본 학습만으로는 이 문제를 잡기 어려우며, 위 코드에서 진행한 class_weight='balanced'와 같이 알고리즘이 소수 클래스의 중요도를 인지할 수 있도록 강제하는 기법이 필요하다는 결과를 얻었습니다.

[liganega]

왜 그럴까요?

[glok1d]

만약 데이터가 95:5로 섞여 있다면 결정 트리의 알고리즘은 복잡하게 소수 클래스를 찾는 것보다 다수 클래스 위주로 크게 잘라내는 게 전체 불순도를 낮추는 데 유리하다 판단하기 때문입니다. 예를 들어 소수 클래스 5개를 완벽하게 분류하는 것보다, 다수 클래스 95개 중 10개를 더 정확하게 맞추는 게 전체 수치상으로는 더 이득으로 보이는 것과 같습니다.

[liganega]

지금까지의 모든 질문과 답변은 데이터의 특성을 고려하지 않고 있어요. 붓꽃 데이터셋의 경우 세토사의 비중이 1/3에 불과하지만 다른 특성들과 너무나도 명확한 차이(꽃잎 너비 기준)를 보여서 세토사 여부를 묻는 이진 분류기를 훈련시키면 분류 정확성이 100% 나옵니다.