Notebook

日記(3/29)

3/29

機械学習交流会を行っていたので見に行った。

ハイレベルすぎて件の宇宙ネコみたいな顔だった。

1.GoodfellowのGAN論文10本ノック

1.1 Progressive GANs

背景

高画質画像の生成が困難。

手法

低解像度の画像生成から始める。層を足していき高解像度画像を生成する。 従来のGANに比べて背景がぼやけない

1.2 Spectral Normalization

背景

多クラス画像の生成は困難。

手法

新しいWeight Normである、Spectral Normを導入。Discriminatorのリプシッツ連続性の制御を行うため、weight自体の値に基づき正則化を行う。 従来では入力ごとに正則化を行っていたので、Generatorの分布に依存していたが、この手法によりDiscriminator全体が正則化される。

1.3 Projection Discriminator

背景

従来のConditional GANでは条件を単純に入力にConcatされていた。

手法

生成データの条件付きラベルと正解のラベルを特徴量空間で比較する。 Loss項が1つであり( c )のように片方に偏って学習される懸念がない

1.4 pix2pixHD

すごい!!!

SegMapから高解像度画像を生成する

1.5 Are GANs created equal?

背景

GANの改良手法どれがいいの?

結果

チューニングしてFIDという手法を用いて判別したところ 然程、差がない。

1.6 Improved Training og WGANs

背景

WGANでも学習が失敗することがある。

手法

リプシッツ条件を満たすためWeightをクリップしていたが、Wasserstein距離を用いる。 最適解では$p'(x) = 1 a.e.$となる

1.7 StackGAN++

高画質画像の生成

1.8 Privacy-preserving

プライバシーの観点より公開できないデータに対して、個人を特定できないような制約を加え、GANを学習することで公開できるようにする。 学習時の勾配のノルムをクリッピングし、ガウシアンノイズを加えることで実現する。

1.9 GANs with encoders

背景

GANとVAEを組み合わせた手法も多々あったが理論的根拠がかけていた。

成果

VAEのように仮定を置く必要がない。

1.10 theory of GAN convergence

背景

GANの収束の理論的解析はあまりなされていなかった。

成果

力学系の理論に基づき、現実的仮定のもとでGANの収束は良い平衡点の近くで局所的に安定することを証明した。


2.汎用人工知能

意識とは?

考察->内部状態の観測

知覚感情、状態の遷移を俯瞰し、観測する機能こそが意識という概念を生んだのではなかろうか?

One model to learn them all


3.基礎からやる確率過程

機械学習と確率過程

深層学習の数学

  1. 統計学
  2. 多様体
  3. 測度論
  4. 集合論

確率変数$X$とは

実数?

ではなく可測空間から可測空間への写像、すなわち$\Omega_{2}$-値可測関数のうち、確率測度$\mu$が定まっているときの物を指す。


4. 論文略説

情報幾何学に対して確率熱力学的解釈を与えた。


5. Differentiable Neural Computer

https://qiita.com/yos1up/items/599ff75c876f6f94d249

 

後半力尽きてますやんか。

始めたばかりのぺーぺーには些か早すぎた。

 

おわり。