日記(7/23) - 進捗だめです

想定以上に簡単だった気がする．特に非線形工学で履修した事柄はなんか他のことにも役立てそうではある．

実際にSpectral Norm GANでも行列の $L_2$ ノルムを操作し，Lipschitz制約を満たすようにDiscriminatorの重みを変更している．

どうやら $L_2$ ノルムは行列を作用素と見たときに自然に定義されるノルムらしく(詳しくはわからない)，重みを逐一 $||W||_2$ で割ってやることでDiscriminator全体が1-Lipschitzを満たすことができるようだ．

こう考えるとスペクトルノルムの導入はなかなか自然な感じがする．

前に殴り書きした論文のまとめです．

Kerasではいまいち動的にレイヤのパラメータ自体を操作させる方法が分からなかったので，どうにか調べていたらPytorchでの実装を発見した．

PytorchはChainer(この論文を書いたPFNが開発している！)同様，Define-by-Runが特徴のNNライブラリらしい．(というよりChainer経験者なら4時間くらいで凡そ理解できそうなくらい似てると思う)

今回は上のソースをほぼ写経したうえ, $128\times128$ の $88860$ 枚のアニメの顔画像をバッチサイズ $32$ ，潜在次元数 $256$ で学習を実行させた．

1エポックに大体5時間半掛かり，5エポック終わらせるのにおおよそ1日要した．

その結果，以下のようになった．なお潜在変数は固定した．その方がなんか学習してる感が出やすいと思ったので．

しかしこれだと既存のGANと比べてどうすごいのかいまいちわかんないなあ．

夏休みに入ったら学習結果の評価手法とかの論文も読み漁ってみたい所存