클로드 섀넌 다이버전스(Kullback-Leibler Divergence, KL Divergence)는 확률 분포 간의 차이를 측정하는 지표로, 정보 이론과 통계학에서 중요한 역할을 합니다. 두 확률 분포가 얼마나 다른지를 나타내는 KL 다이버전스는 두 분포 간의 상대적인 정보 양을 측정합니다. 1. 정의: KL 다이버전스는 주로 두 확률 분포 P와 Q 사이의 차이를 측정합니다. P와 Q가 동일한 분포라면 KL 다이버전스는 0이 되며, 값이 […]