Notebook

日記(4/12)

日記

4/12

7:00に起床*1，2-4限が講義，18:30からAI班活動．

実験レポートをTeXで書く試み，レイアウトを考慮しなくて良い分，文を考えるのに専念出来て，よい．ただ，表組みが非常に面倒．慣れればどうってことないだろうけど，後で見た時に煩雑な見た目になってしまう．マクロを作るにも要素数が不定なので作り方がわからない．

初めてのTeXレポートなので右往左往してたが，結果までは書き終えた．日曜日に泣きながら徹夜しなくて済みそう*2.

2限　ヒューマンインタフェース

J科の授業だが潜った*3．15分程度のイントロダクションだった．イントロダクションは全部これくらいでいいと思う．面白そうなので取ってみようと思う．5月病にならないことを祈る．

3限　マルチメディアデザイン

西研の内容が気になっていたので西教授の講義を聞くことにした．4年向けの内容だったがあたりを見渡す限り，ほとんど3年だった気がする．

内容はだいたい既知だった．IoT！IoT！

4限　線形制御理論

制御系の授業はやりごたえがあり面白い．月3の非線形工学を取ろうか迷っている．

システムの分類がいまいち理解できてない気がする．

ダイナミカル・スタティックシステム

動的なシステムとは，現在時間の出力が過去の入力に対しても依存する系のことを指す．

  y(t) = \int_{0}^{t} 4u\left( \tau \right)~\mathrm{d}\tau

静的なシステムとは，現在時間の出力がその現時刻の入力にのみ依存する系を指す．

  y(t) = 4t~u(t)

因果・非因果システム

因果システムとは，現時刻の出力が現時刻より前の入力により決定される系を指す．

因果システムの例

  y(t)=\int_{t-4}^{t} \sin{\tau}u(\tau)~\mathrm{d}\tau

非因果システムの例

  y(t)=\int_{t+4}^{t} \sin{\tau}u(\tau)~\mathrm{d}\tau

線形・非線形システム

線形システムとは，重ね合わせの理が適用可能である系を指す．

例えば，伝達関数 G(u) = 7uの場合，

G(a_1\cdot u_1 + a_2 \cdot u_2 )

=7(a_1\cdot u_1 + a_2 \cdot u_2 )

=a_1 \cdot 7u_1+a_2 \cdot 7u_2

=a_1 G(u_1)+a_2 G(u_2)

より，線形システムである．

時不変・時変システム

T秒間入力をずらした際の出力が，ずらす前と不変であるシステムを時不変システムという．

時不変システム

y(t)=\int_{0}^{t}u(\tau)\mathrm{d}\tau

時変システム

y(t)=4\sin{2t}\int_{0}^{t}u(\tau)\mathrm{d}\tau

 

紛らわしい物が多い．

 

非線形を線形にするには系の各々の平衡点周りでテイラー級数展開し1次の項で打ち切れば線形システムとして近似的に扱える．

 

AI班，人多すぎてビビる．だいぶ分かりやすく講義なされてたが，全く右も左もわからない状態では本質がなかなか伝わらないと感じた．

 

Blenderが起動しなくなった．辛い．

TODO

  • 履修申告

*1:1限ない日に限り超健康的な時間帯に起きるのはよくあるはず

*2:済んだ試しがない．

*3:杉浦先生の講義を聞いてみたいから取ったという気持ちもある

日記(4/9,4/10)

日記

4/9

大学が始まった。

4/10

一日中実験してた。と思ったら5時間程度だった。

せっかくだからtexでレポートを書こうと思ってる。思ったより環境構築がスッっといってよかった。

 

執筆作業もTexでいいような気がする。

 

某サークルの新歓総会を行った。30人近くいて意外と多くてびっくり。

2016: 30→12人

2017: 32→7人

という凄まじい生存率だったけど、今年は頑張りをしてほしい…(責任放棄)

実験が始まるとその他のやりたいことの頑張りをする時間が全然取れなくなる。

つらい

日記(4/8)

日記

4/8

相変わらず風邪気味でつらい。

 

CourseraのWeek6の課題を終わらせた。あとはピアレビューすりゃおわり。

こんな感じにそれっぽいキャプションを生成してくれるのを作った。

f:id:Fgjiutx:20180408222616p:plain

実装後、理解を深めるためにはソースを見直す必要がある。

特にRNN,LSTMあたりの知識が微妙すぎるので花畑とか利用してやっていきをしたいです。

 

Vtuberにハマった。助けて

日記(4/7)

日記

4/7

なんか気分悪くて一日中寝込み気味だった。

夕頃、回復してきて某バーチャルライバーのアーカイブを見て某委員長の生放送を見てた。ハマりそう。電脳麻薬感がありそうだからハマるとやばいなと思いあまり見なかったんですけど、ハマったら抜け出せない沼じゃないかと思う。

 

進捗は0でしたwwwwwww

日記(4/6)

日記

4/6

新歓をした。食事をした。美味しかった。

 

グッドフェローさんのお花畑ムズイ。赤いオライリーのあれだと専門的なことが疎い。程よい書籍を選びたいのじゃ。

新歓食事会はなんというか熱意がすごかった。圧倒された。

 

春休み最後の土日なので満喫したい。

 

TODO

  • Coursera Week6
  • OHANABATAKE

RNNのところはなんとなく理解した。第Ⅲ部がむつかしい。上り坂すぎる。もはや崖。

周りの圧、熱気、その他諸々がすごくて潰れそう。

 

VTuberいい…。VRChatも興味が湧いてきたけど人型モデル製作能力がしばらくやってないので皆無状態なのでつらい。マルチコアで動きたい。

 

NHKがんばって

日記(4/5)

日記

4/5

新歓をした。25人近く来たのは意外だった。と思ったが昨年も理工かぶってないときは30人近く来てた。

18時からAI講習会をした。初参加だった。

今年度、強いメンバーが消失するようなので無限のツラミが某氏に降り掛かってた。

笑えないよ！

 

自動微分、面白そうだった。遺伝的アルゴリズムも興味が湧いてきた。

単眼カメラでの深度測定は論文読んでみたみが湧いてきた。

 

とりあえずCourseraをやりたかったけど気付いたら合宿して3時間くらいずっとぷよぷよやってた。

完。

日記(4/4)

日記

4/4

新歓をした。疲れた。

新入生向けにPythonをどう教えるべきかを迷う。AI講習会の方々は忙しくてそれどころじゃないと思うので、できる限りはこちらでサポートする必要があるだろう。

 

というわけで、組版をどうしようかと2時間位迷ってたら去年Re:VIEW使ったじゃんということになり、急ピッチで作業を進めている。

 

でも終わりそうにないんだなこれが。

日記(4/3)

日記

4/3

8:00起床、10:00再起床…

12:30に日吉のインド系のカレー屋で飯を食う。美味しい。

14:00から東京駅の八重洲の本屋へ繰り出た。品揃えは良かったが横浜で事足りるなーという感じだった。

 

体がなまってたので適当に色んな所を歩き回っていた。

 

20:00に帰宅し、Courseraを始めた。Week 5が終わった！

LSTMはいまいちどういう仕組みか理解できてなくKerasすごい！！完！みたいな状況なので、手元のお花畑を利用するなどして、深い理解を図ろうと思う。

 

酒が回っている。ストロングゼロは大脳新皮質をヘニャヘニャにするので日本語が話せない。

明日はどうやら新歓が始まるっぽい。とりわけやること無いけどこの時期の大学が一番楽しいと思う。

やりたいこと

いよいよ最終週、イメージキャプションなので非常に楽しみ。

このコースが終わったら次に何を受けるか迷っている。

順当に次のコースに行くとKaggleマスターになろうぜ的なことをやるっぽいがその次のベイジアンにも興味がある。

 

迷う。

日記(4/2)

日記

4/2

11時起床、12時に昼食、18時に焼き肉、21時までぷよぷよ。

7億年ぶりくらいに焼肉を食ったがやっぱりうまい。

 

13-17時は多分起きてたんでしょうけど、何をやっていたのか全く思い出せない。

何をするにもやる気のおきない一日だった。

 

こんなときストレス発散とかできる場所ないですかね。

 

TODO

  • Coursera

明日か明後日にはWeek 5 を終わらせたい

日記(4/1)

日記

4/1

春休み、もう一ヶ月くらい欲しかった

起床は8:30だった。この調子で維持していきたい。

起床後大学の部室に学習結果を見に行ったのですが、多分電気を落とされたのか、進捗が葬り去られてしまった。毎日電気落としてるのか？たまたま年度末だったから？まあいいか。

なので、また今日も部室PCで走らせている。

総会でGTX1080買いますムーヴを起こしたい。パソコンサークルなんですから強いGPUを持っているのは当たり前でしょう！！！

 

久々にお花畑と黄色いやつ(Python 機械学習プログラミング第一版)を読んだ。

お花畑は14章を読み終えたが全く分からん…

お花畑14章

自己符号化器

自己符号化器とは入力のコピーを出力するように学習させたNNを指す。

といっても、完全なコピーを学習しても特に有用というわけではないので完全な学習を行わないように設計されることが多い。

自己符号化器の符号を記述する隠れ層を$h$、復号化された入力の模倣を$r$とし、符号化器関数と復号化器関数を$h = f \left( x \right) , r = g \left( h \right)$とする。

有用な特徴量を得るためには次の制約が加えられる

不完備性

符号の次元が入力の次元よりも小さい自己符号化器は不完備な自己符号化器と呼ばれる。

$$\rm{dim}~~\it{h} < \rm{dim}~~\it{x}$$

次元を減らすことで、訓練データの最も顕著な特徴量を学習することができる。

復号化器が線形かつ損失関数がMSEであるとき、AEはPCAで張られる部分空間を学習する。

$f,g$が非線形関数ならば、非線形汎化されたPCAの空間を学習することに等しい。

 

非常に強力な非線形符号化器を用いると符号が1次元だったとしてもたった1つの符号で訓練事例を学習するという危険性を孕んでいる。実際には、このようなことは起こりえないが、あまりにAEの「能力」*1 が高いと重要な性質を学習できなくなってしまう可能性がある。

そこで、以下のような正則化を行うことでモデルが能力過多になることを防ぐ。

さらに各正則化にある特有の性質損失関数を加えることで、符号が入力のコピーとなる性質以外に、様々な性質を付加することが可能となる。

スパース自己符号化器

普通のAEの損失関数に、疎性のあるペナルティ項を加えたものである。

$$\it{L}\it \left(x,g\left(f\left(x\right)\right)\right) + \Omega \left( x \right)$$

スパース自己符号化器は、入力の潜在因子を推定する生成モデルの最尤学習の近似を行っていると言える。

雑音除去自己符号化器

入力にノイズを加えたものをAEに通し、もとの入力との損失関数をとったものを雑音除去自己符号化器(DAE)という。

 

【スコアマッチングと多様体学習のところは読んでも全然わからんかった。】

 

縮小自己符号化器

ペナルティ項として、$$\lambda \left| \left| \frac{\partial f \left(x\right)}{\partial x} \right|\right|_{F}^{2}$$を加えたAEを縮小自己符号化器(CAE)という。

ただし$||~~||_{F}$はフロベニウスノルム(行列の各要素の自乗和の平方根)である。

微分項が加算されたことにより、局所的に特徴空間が縮まる。すなわち、とある入力に対する近傍は出力後、更に近傍に位置するようになる。

この項が大きく変化する方向は、言い換えれば多様体の接平面方向となるため、CAEはデータの多様体構造が学習されるモデルと言える。

 

(メモ終わり)

CourseraのWeek 5に手を付けた。RNNも聞いたことはあったが実装したことがなかったのでいい機会だった。

自然言語処理はなぜかわかんないけど画像処理とかよりやる気が起きにくい。なんでだろ

 

ヘッドホンを買い替えたいのでおすすめを教えてくれると嬉しいです。

 

TODO

  • 早寝早起き*2

 

*1:お花畑では容量となっていたがcapacity=「能力」の方がしっくり来た

*2:早寝のノルマもう未達成じゃん