謎の勉強疲れ
引き続きfast.aiで勉強中も、妙に疲れるこれ
いや、英語のせいだってわかってるんですが
2時間も聞いているとフラフラしてしまうという英語力のなさ。
しかし、まだまだ続けるのだった。暇ですし
現代思想の316冊、読み終わりました
とはいえ、これが読みたい!というものも特になく。
強いて言えばこの本が読みたいけど4104円って高いしkindle無いしで、最後の頼みは図書館だなあ。
最近雨ばかりで憂鬱ですね。一日会社サボって遊びに行きたいなあ(ダメ人間)
そして残念ながら図書館にはなかった。絶望した
スマホでブログを書き始めたら勉強した内容とか書けなくなった件
出社時間を有効?に使えて良いなあと思ってたのですが、kindleからのコピペやプログラムが貼り付けられなくてふわっとした内容しか書けなくなるという罠がありますね。
今日ブログを読み直してたら昔みたいに本で学んだことをまとめるとか無理だなあと。
朝にざっくりとしたブログを書いて、夜に何を学んだかを付け加えていくとかだろうか。
いや、学んだことをその都度そのタイミングでまとめ上げるという方法もあるのか
ということで、家に帰ってから再度書くというのを試してみています。
やっぱりリンクがちゃんと貼れるのは便利ですね。
cource.fast.aiで勉強しています。
PyTorchのラッパーであるfast.aiライブラリでの講義なので応用が聞くか若干不安になっています。例えば lr_find() という適切なlearning rateを探す関数を使っています。便利だと思うのですが、fast.aiにしか無い関数なので他のライブラリに変更した時に対応できるのだろうか、と。
[1608.03983] SGDR: Stochastic Gradient Descent with Warm Restarts
最初のレッスンは以下の手順で world-class 、つまり超高精度な画像分析をするというものになっています。
- Enable data augmentation, and precompute=True
- Use
lr_find()
to find highest learning rate where loss is still clearly improving - Train last layer from precomputed activations for 1-2 epochs
- Train last layer with data augmentation (i.e. precompute=False) for 2-3 epochs with cycle_len=1
- Unfreeze all layers
- Set earlier layers to 3x-10x lower learning rate than next higher layer
- Use
lr_find()
again - Train full network with cycle_mult=2 until over-fitting
最終レイヤを学習させてから全てのレイヤーを学習させるとか、learning_rateをレイヤーごとに3~10倍にしていくとかいろいろコツがあるみたいですが、何故なのかはイマイチわからなかったりします。まあ機械学習なんて凡才には言われた通りやるしかないんですが。
かなり実用に寄っているので、理論書も合わせて読んだほうがいいのかも(全然読んでいない)