Nips 2017년도에 발표
바로 이해가 안돼서 나중에 다시 읽고 채워 넣어야겠다.
Preliminaries가 왜 이렇게 길어...
1) GAN학습이 불안정한 이유는 Concave-Concave optimization이기 때문
- max를 찾는 D 함수는 concave고, min을 찾는 G에 관한 함수는 convex여야 optimization이 쉬운데
- 양쪽 다 Concave 꼴이기 때문에 어렵다
2) 어떤 가정을 만족하는 상황에서 GAN은 locally stable 하여 수렴한다
- 이거 이해가 아직 어렵다... 해석학을 들으면 좀 나아지려나?
- 이해하면 추가하겠음. (틀릴 수 있음)
(i) D는 parameter theta_D에 대해 linear하며, 어떤 equalibrium point 에서든지 D(x) = 0이다 (x는 either Fake or Data)
(ii) 함수 f는 0에서 concave하다
(iii)
(iv)
3) Regularization 기법 제안 : generator 업데이트 시 discriminator의 업데이트에 대한 generator 파라미터 기여도를 고려해서 업데이트 함 -> k-rolled GAN (k=1)과 밀접한 영향이 있음