[딥러닝]Wasserstein distance 에 관하여

WGAN에서 Wasserstein distance라는 거리를 측정하는 것이 나오는데,

이게 어마어마하게 낯설고 겁이나는 개념이다.

그래서 한번 정리가 필요하다고 생각이 되어서,

용기를 내어 공부를 시작을 하였다.

시작을 하기전에 한국어 자료로 이렇게 엄청난 자료를 만들어주신 임성빈님에게 정말 감사하다. (자료: https://www.slideshare.net/ssuser7e10e4/wasserstein-gan-i )

 

 

 

GAN에서 discriminator가 학습 도중에 잘 죽는 현상이 나타나느데, 이를 해결하고자 하는 것이 이 논문의 내용이다. 그 해결법은 wasserstein distance라는 개념을 가져다가 사용을 한다. wasserstein distance가 뭐냐??

 

 

 

위의 내용이 Wasserstein distance의 정의다.

여기에서 는 두 확률분포 , P,Q의 결합확률분포(joint distribution)들을 모은 집합이고, 그 중에 

 

는 그 중 하나입니다. 즉 모든 결합확률분포  중에서 d(x,y)의 기댓값을 가장 작게 추정한 값을 의미합니다.

즉 두 확률분포의 연관성을 측정하여 그 거리의 기대값이 가장 작을때의 distance를 wasserstein distance라고 얘기를 합니다.

 

 

 

 

논문에 나와있는 Wasserstein distance의 정의는 다음과 같다.

위의 내용과 거의 흡사하다.

 

논문에서는 여러 가지의 distance들을 비교를 하는데, Z~U[0,1]인 것을 예를들어서 설명을 한다.

진짜 뭔말인지 모르겠었는데,

임성빈님의 슬라이드에서 정말 자세히 나와 있어서 다행이다.

결합 확률분포는 두 분포가 동시에 일어날 때의 사건에 대한 확률분포를 말한다.

이렇게 동시에 일어나는 확률에 대해서 우리가 그 각각의 거리가 최소가 될 때를 wasserstein distance라고 한다.

아래는 임성빈님의 슬라이드다. 한번 참고를 해보자.

 

 

Wasserstein GAN은 이 Wasserstein distance를 이용해서 GAN의 문제를 푸는 것을 특징으로 한다.