日記(3/31)
3/31
深層学習はいままでなぜうまく学習できるのか、どうして複雑な問題をうまく解決できるのかの理論的根拠に欠けていたが、どうやらそれがちゃんとした理論のもとに数学的に解明できるという論文があった。
https://arxiv.org/pdf/2018.00401.pdf
かなりすごい発見だったと思う。
あと、副業として加工師のアルバイトをはじめました。
https://www.baitoru.com/kanto/jlist/kanagawa/yokohamashiigai/a2p0r1i8l0f4o0o1l
時給制ではなく歩合制なのでまだ最初のうちは慣れず、一日あたり2000円程度でしたが、コツを掴んできて、大体平均して16000円は稼げるようになりました。
3/31
起床時間は10:00なので、まあいい時間だと思う。そろそろ体内時計を大学仕様にしないとツラいが、これがなかなかうまくいかない。
CycleGANをKerasで実装した。Kerasをそれなりに理解できるようになったんじゃないかなーと思う。
問題点は未だ学習中(しかも部室のPCを拝借)なので結果が朝を迎えないとわからないという点です。
ひとえにすごいGPUが欲しい。そんな気分です。
新歓用の動画編集が終了した。肩の荷が下りた気分だ。ちかれた。
機械学習輪講会はGANのオススメ論文10個知れただけでも収穫が大きかった。
TODO
- お花畑
- Coursera
ここ3日くらい論文読んでいたのでやれていなかった。英語読めないのでネイティブの8101919倍くらい理解に時間かかる。
論文を読むと面白そうな参考文献に出会えていい感じですね。でもあれこれ集めていくとねずみ講的に読みたい量が爆発してしまう。
時間を遅らせる能力か、一瞬で何でも理解できる能力が欲しい
生成モデルの理論むつかしい。
*1:そうだったらいいのにね
日記(3/30)
3/30
諸種の方々、諸々おめでとうございます
朝、起床10:00。まあまあ早い。
新歓のポスターを貼った。
帰宅が18:30頃であった。
courseraの方で薦められてるGANとしてCycleGANなるものを発見したので、原著論文を読んでいる。
https://arxiv.org/abs/1703.10593
訓練用データとして、対となるようなデータが要らないことが特徴のようだ。
GeneratorとDiscriminatorを2対用意し、Genをグルっと回って得られる画像ともとの画像との損失を加えることで馬をシマウマにしたりできるらしい。
それなりに話題になった(のかな?)、写真をモネの絵や浮世絵に変換することもできるようだ。すごい！！
とりあえずKerasで実装を試みたい。
日記(3/29)
3/29
機械学習交流会を行っていたので見に行った。
ハイレベルすぎて件の宇宙ネコみたいな顔だった。
1.GoodfellowのGAN論文10本ノック
1.1 Progressive GANs
背景
高画質画像の生成が困難。
手法
低解像度の画像生成から始める。層を足していき高解像度画像を生成する。 従来のGANに比べて背景がぼやけない
1.2 Spectral Normalization
背景
多クラス画像の生成は困難。
手法
新しいWeight Normである、Spectral Normを導入。Discriminatorのリプシッツ連続性の制御を行うため、weight自体の値に基づき正則化を行う。 従来では入力ごとに正則化を行っていたので、Generatorの分布に依存していたが、この手法によりDiscriminator全体が正則化される。
1.3 Projection Discriminator
背景
従来のConditional GANでは条件を単純に入力にConcatされていた。
手法
生成データの条件付きラベルと正解のラベルを特徴量空間で比較する。 Loss項が1つであり( c )のように片方に偏って学習される懸念がない
1.4 pix2pixHD
すごい！！！
SegMapから高解像度画像を生成する
1.5 Are GANs created equal?
背景
GANの改良手法どれがいいの？
結果
チューニングしてFIDという手法を用いて判別したところ 然程、差がない。
1.6 Improved Training og WGANs
背景
WGANでも学習が失敗することがある。
手法
リプシッツ条件を満たすためWeightをクリップしていたが、Wasserstein距離を用いる。 最適解では$p'(x) = 1 a.e.$となる
1.7 StackGAN++
高画質画像の生成
1.8 Privacy-preserving
プライバシーの観点より公開できないデータに対して、個人を特定できないような制約を加え、GANを学習することで公開できるようにする。 学習時の勾配のノルムをクリッピングし、ガウシアンノイズを加えることで実現する。
1.9 GANs with encoders
背景
GANとVAEを組み合わせた手法も多々あったが理論的根拠がかけていた。
成果
VAEのように仮定を置く必要がない。
1.10 theory of GAN convergence
背景
GANの収束の理論的解析はあまりなされていなかった。
成果
力学系の理論に基づき、現実的仮定のもとでGANの収束は良い平衡点の近くで局所的に安定することを証明した。
2.汎用人工知能
意識とは？
考察->内部状態の観測
知覚感情、状態の遷移を俯瞰し、観測する機能こそが意識という概念を生んだのではなかろうか？
One model to learn them all
3.基礎からやる確率過程
機械学習と確率過程
深層学習の数学
確率変数$X$とは
実数？
ではなく可測空間から可測空間への写像、すなわち$\Omega_{2}$-値可測関数のうち、確率測度$\mu$が定まっているときの物を指す。
4. 論文略説
情報幾何学に対して確率熱力学的解釈を与えた。
5. Differentiable Neural Computer
https://qiita.com/yos1up/items/599ff75c876f6f94d249
後半力尽きてますやんか。
始めたばかりのぺーぺーには些か早すぎた。
おわり。
日記(3/27)
3/27
| 8:30 | 起床 |
| 9:30 | 学科ガイダンス |
| 13:00 | 動画作成 |
| 15:00 | Coursera |
| 19:00 | 夕食 |
| 20:00 | お花畑 |
| 21:30 | Twitter(ずっと) |
久々の大学だった。矢上は日吉よりかは坂が辛くないので良いと思う。
CourseraはWord EnbeddingとGenerative Adversarial Networkをやった。自然言語処理はまじで何も分からんという気持ちなので終始唸っていた。うーん
GANは名前だけ知ってておもしろそーだなという気はしてたので期待通り面白かった。生成器と識別器のいたちごっこなる説明も学んでみるとなるほどなーという説明だった。
学習におよそ5時間かかったのですがどうも赤みが強くなってしまった。なんで？めっちゃグロテスクなんだが…
30000Epoch目までは生きている人間の顔だったけど終わりに近づくに従って赤みがまして行った。これが人類の行く末か
やっぱりめっちゃ早く計算してくれるGPUが欲しい。
動画作成はやります。ちゃんとやります…
課題
- 動画作成
- 論文読む
GANの手法をイチから見てみたいのでGenerative Adversarial Nets - Goodfellow[2014]
をとりあえず読んでみることにしたい。
日記(3/26)
3/26
| 9:00 | 起床 |
| 10:30 | 外出(イオンモール) |
| 14:00 | coursera |
| 17:00 | 多変量解析 |
| 19:00 | 帰宅開始 |
| 22:00 | 帰宅終了 |
| 24:00 | おやすみ |
イオンモールの件のツイート見た直後だったのでなっるほどなあといった感じ。たしかに他の商店が潰れるのも納得。周りなにもないけど。
30分位で実家に帰りたい。
CourseraはKerasでオートエンコーダを実装するなどの行為をした。なかなかすげーやつだった。
生成モデル関連の話の理論はなんかよく理解しがたいような感じだったのでじっくりと理解する必要があると感じた。
次の講義はWord Embeddingらしい。NLP勘弁してくれ～～
上には載ってないけどちまちま某映像を作った。メモリが全くたりず、ツラい
TODO
- 動画
- 基本情報技術者
- Coursera
- お花畑
欲しい物
- メモリ32GB
- GTX 1080
日記(3/24-3/25)
またやってしまった
疲労とやる気の問題でまた書きそびれた
3/24
- 終始やる気がなく家で
- ゴロゴロしていた
たまにはこういった休暇も重要だと思う。という理由付けで正当化することにする。。。
3/25
| 10:00 | 起床 |
| 10:30 | 朝(?)食 |
| 11:00 | 基本情報技術者対策 |
| 13:00 | 昼食 |
| 14:00 | Coursera |
| 17:00 | イカ |
| 19:00 | オデッセイ |
| 20:00 | 深層学習お花畑 |
| 21:00 | 夕食 |
| 22:00 | お花畑(予定) |
起きたら朝食が用意されているとかいうVIP待遇はほんとうにありがたい。
CourseraはWeek 3が終わった。
転移学習とファインチューニングを学んだ。便利そう。
というわけでWeek 4に突入します。
教師なし学習すらいろいろ曖昧なのにオートエンコーダなるものに邂逅して、わからなくてうずくまっていた。
並行して、お花畑は該当する14章近辺を読むことにする。単調に頭から読破するより刺激が出てやる気が出るんじゃないかなーーと思う。
ビラを入稿した。一仕事を済ませた気分。
課題
- 日記をさぼらない
日記(3/23)
タイムライン
| 10:00 | 起床 |
| 11:00 | 深層学習お花畑 |
| 13:00 | 移動… |
| 16:00 | 到着… |
| 17:00 | DeNAとのワークショップ |
| 20:00 | 晩餐 |
| 21:30 | 移動…… |
| 24:00 | 到着………… |
| 26:00 | Coursera(予定) |
5時間掛けて4時間の交流をするなかなか不釣り合いなことをした。ワークショップは有意義だった。また、久々に同期といろいろ話をした。これも有意義だった。
とん三田で晩餐を催した。現1,3年生といろいろ話した。かなり有意義だった。
移動さえなければ非常に有意義だった。
お花畑頑張っていきたい
明日やりたいこと
- Coursera Week 3
- ビラの入稿
- 新歓動画のレンダ→コンポジット
そろそろ入稿しないときついなぁ。
新歓関連は来年こそは他部員が取り組んでほしいものだなぁ。
日記(3/22)
タイムライン
| 13:00 | 起床 |
| 14:00 | Coursera |
| 16:00 | ビラづくり |
| 18:30 | Coursera |
| 19:00 | なし |
| 21:00 | Python(回帰) |
| 22:00 | ビラづくり |
案外ビラづくりが手間取った。
デザインセンスが良くないのをどうにかしたい。
Courseraはkerasだった。めちゃくちゃ楽やん！とか言いながら実装した。
Week2がHonor(やってもやらなくてもいいやつ)以外完了したので本腰入れてCNNに突入します。Honor課題は気が向いたらやってみることにします。
Week4にGANについての話題があるので先取りして見てみたい気分です。
Pythonは回帰の章を読み終えた。残すところ8-9,11章のみだ。スパートかけていきたい。
あとやってる途中に上の本の第二版が出て悲しみに沈んでいる。
晩飯はマックだった。ビックマックの具2倍は流石に結構腹に来た。
課題
- お花畑読めてないじゃん
- 基本情報技術者やばいじゃん
- 起床時間やばいじゃん
日記(3/20-21)
やってしまった
一日すっぽかした。一日前のことを想起するのは厳しいのでやっただろうことを箇条書きしてみる。
進捗(3/20)
ノートに取らないと理解できないタイプな人間なので、無限に進捗に時間を取りがちである。かといって全く取らないと2時間で記憶から抹消されてしまうのでツラい。
進捗(3/21)
| 7:00 | 起床 |
| 9:00 | 散髪 |
| 12:00 | 帰宅 |
| 12:30 | 深層学習 |
| 15:00 | Coursera |
| 19:00 | Python(回帰) |
| 22:00 | Coursera |
TensorflowによるMLPの実装をした。テストセットの正解率が98.5%をなかなか超えずに苦戦しています。
ミニバッチ数とか隠れ層のデカさとかの調整が面倒。どうやればいいんだ。
活性化関数やオプティマイザーもReLUとソフトプラスの何が違うのか、AdamかMomentumのどっちがいいのかなども分からん。
でも、CNNでの実装はまだ先な感じなのでとりあえずMLPで実装しましたが案外高い正解率となったのはびっくり。
深層学習(お花畑)は4-6章途中までを読み進めました。6-12章は理論の確立された感じの深層学習をやるっぽいので楽しみ。
明日の課題
- Couseraをやる(Kerasまで)
- 基礎体力をつけるためなんかしたい
- 論文を読み始める(CNN関連)
