(김*현) (강의노트 5장) 결정트리의 화이트박스 모델 한계

[KimGangHyun0202]

강의노트에 결정트리는 화이트박스 모델이라 부른다고 설명이 되어 있었는데, 강의노트의 결정트리 시각화 예시를 보니 깊이가 조금만 증가해도 분기 규칙과 노드가 빠르게 복잡해지는 것 같았습니다.

그래서 이론적으로는 내부 과정을 볼 수 있다고 하더라도, 실제로 사람이 전체 흐름을 이해할 수 있는 수준에는 한계가 있지 않을까 하는 생각이 들었습니다.
만약 트리가 과대적합되어 지나치게 복잡해진 경우에도 여전히 해석 가능하다라고 볼 수 있는지 궁금합니다.

[Joungbae-Jung]

(정*배)

화이트박스 모델이라고 해서 사람들이 항상 트리의 전체 흐름을 완벽하게 이해할 수 있는 것은 아닙니다.
수백, 수천 개의 노드가 생길 정도로 트리가 과대적합되어 복잡해진다면, 그 전체 구조를 한눈에 파악하고 해석하는 것은 인간의 인지 능력을 벗어나게 됩니다.

다만, 국소적인 관점에서 보면 전체 흐름은 알 수 없더라도 특정한 하나의 데이터가 어떤 조건과 경로를 거쳐 최종 결과에 도달했는지 논리적인 과정을 역추적하는 것은 가능합니다.

비유하자면 화이트박스 모델은 아주 두꺼운 백과사전과 같습니다. 내용이 너무 많아 사람이 전체를 다 외우고 파악하는 것은 불가능하지만, 특정 규칙을 찾아보면 그 문장 자체는 인간의 언어로 쓰여 있어 명확히 이해할 수 있습니다.

반면 딥러닝과 같은 블랙박스 모델은 외계어 문서와 같습니다. 수백만 개의 가중치들이 거미줄처럼 얽혀 복잡하게 연산되기 때문에, 특정 데이터가 왜 그런 결과를 냈는지 그 논리적인 경로조차 추적하기가 어렵습니다.

요약하자면, "트리 구조가 복잡해진 경우에도 해석이 가능한가?"라는 질문자님의 핵심 논점에 대한 답은 "수많은 노드로 이루어진 전체 흐름을 파악하는 것은 불가능에 가깝지만, 특정 데이터가 어떤 경로를 타고 내려갔는지 개별적인 인과관계를 파악하는 것은 가능하다"입니다.

바로 이러한 한계(과도한 복잡성으로 인한 해석력 저하 및 일반화 성능 하락)를 막기 위해, 금일 수업 시간에 배웠듯이 트리의 최대 깊이를 지정해주거나 규제 하이퍼파라미터를 이용하여 과대적합을 최소화하는 것입니다.

[sawon-0418]

(박*원)
저는 이를 돋보기와 비슷하다고 생각했습니다.
돋보기는 작은 글씨를 크게 보여 주어 내용을 더 쉽게 확인할 수 있도록 만들어졌습니다
하지만 배율이 지나치게 커지면 글자의 일부만 보이게 되어, 오히려 전체 글자나 문맥을 파악하기 어려워질 수 있습니다.
그럼에도 불구하고 돋보기의 본래 목적이 글씨를 확대해 보여 주는 것이라는 점은 변하지 않습니다.
결정트리 역시 적절한 깊이에서는 의사결정 과정을 쉽게 해석할 수 있지만, 지나치게 복잡해지면 전체적인 판단 흐름을 이해하기 어려워질 수 있습니다. 그러나 내부 구조와 규칙을 직접 확인할 수 있다는 점에서 여전히 화이트박스 모델의 특징은 유지된다고 생각합니다.