日記(3/29)
3/29
機械学習交流会を行っていたので見に行った。
ハイレベルすぎて件の宇宙ネコみたいな顔だった。
1.GoodfellowのGAN論文10本ノック
1.1 Progressive GANs
背景
高画質画像の生成が困難。
手法
低解像度の画像生成から始める。層を足していき高解像度画像を生成する。 従来のGANに比べて背景がぼやけない
1.2 Spectral Normalization
背景
多クラス画像の生成は困難。
手法
新しいWeight Normである、Spectral Normを導入。Discriminatorのリプシッツ連続性の制御を行うため、weight自体の値に基づき正則化を行う。 従来では入力ごとに正則化を行っていたので、Generatorの分布に依存していたが、この手法によりDiscriminator全体が正則化される。
1.3 Projection Discriminator
背景
従来のConditional GANでは条件を単純に入力にConcatされていた。
手法
生成データの条件付きラベルと正解のラベルを特徴量空間で比較する。 Loss項が1つであり( c )のように片方に偏って学習される懸念がない
1.4 pix2pixHD
すごい!!!
SegMapから高解像度画像を生成する
1.5 Are GANs created equal?
背景
GANの改良手法どれがいいの?
結果
チューニングしてFIDという手法を用いて判別したところ 然程、差がない。
1.6 Improved Training og WGANs
背景
WGANでも学習が失敗することがある。
手法
リプシッツ条件を満たすためWeightをクリップしていたが、Wasserstein距離を用いる。 最適解では$p'(x) = 1 a.e.$となる
1.7 StackGAN++
高画質画像の生成
1.8 Privacy-preserving
プライバシーの観点より公開できないデータに対して、個人を特定できないような制約を加え、GANを学習することで公開できるようにする。 学習時の勾配のノルムをクリッピングし、ガウシアンノイズを加えることで実現する。
1.9 GANs with encoders
背景
GANとVAEを組み合わせた手法も多々あったが理論的根拠がかけていた。
成果
VAEのように仮定を置く必要がない。
1.10 theory of GAN convergence
背景
GANの収束の理論的解析はあまりなされていなかった。
成果
力学系の理論に基づき、現実的仮定のもとでGANの収束は良い平衡点の近くで局所的に安定することを証明した。
2.汎用人工知能
意識とは?
考察->内部状態の観測
知覚感情、状態の遷移を俯瞰し、観測する機能こそが意識という概念を生んだのではなかろうか?
One model to learn them all
3.基礎からやる確率過程
機械学習と確率過程
深層学習の数学
確率変数$X$とは
実数?
ではなく可測空間から可測空間への写像、すなわち$\Omega_{2}$-値可測関数のうち、確率測度$\mu$が定まっているときの物を指す。
4. 論文略説
情報幾何学に対して確率熱力学的解釈を与えた。
5. Differentiable Neural Computer
https://qiita.com/yos1up/items/599ff75c876f6f94d249
後半力尽きてますやんか。
始めたばかりのぺーぺーには些か早すぎた。
おわり。