久しぶりの仕事 / やっぱり仕事以外にする余裕はない
夏休み明けひさしぶりの仕事でした
仕事はあまり忙しくない時期なので楽だったんですけど、休み中は毎日5時間くらいは勉強したり本を読んだりしていたので、それに比べるとやはり仕事がある日は使えて1時間くらい。
仕事の合間合間に Optimize C++を読んだりしていたのですが、やはり集中するのがむずかしく、実装したりコードレビューしたりして時間を使ってしまいました。
Optimized C++ ―最適化、高速化のためのプログラミングテクニック
- 作者: Kurt Guntheroth,島敏博,黒川利明
- 出版社/メーカー: オライリージャパン
- 発売日: 2017/02/22
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (1件) を見る
18:00くらいには大体仕事が終わったのですが、レビューで気になった部分の仕様調査で結局ズルズルと仕事をしていました。
仕事そのものは進んだのですが、何か得たかというと目の前の仕事を片付けただけなので、これを繰り返すのはエンジニアとしての成長を考えるとよろしくないなあと。
特にコードレビューやビルド待ち時間は時間がかかるわりにはあまり勉強になることもなくしかも、細切れ時間なので使いようがないという。
仕事を早めに終わらせて機械学習の勉強をしたかったのですが、なかなかそういうわけにもいかず、明日はうまく時間を切りたい。
帰りにジムによったんですが、やはり疲れていてそれ程頑張れず
1時間だらだら運動して帰ってきました。。。
こちらも疲れていてロクに運動できませんでした。正確には集中力が切れていました。
オリガ・モリソヴナの反語法読書中
積ん読解消中です
とはいえまだ25%くらいしか読んでない
最初は主人公の学生時代のおおよそありふれた描写が続いていたのですが、ようやくオリガ・モリソヴナの過去の話も出てきて、ちょっと面白くなってきたところ。
ディープラーニングの続き勉強中
学習における問題のところを勉強しています。
過学習によるオーバーフィッティングや、誤差逆伝播法がシグモイド関数の微分の積であることから小さくなりすぎてしまう勾配消失問題について勉強しています。
が、数式が多くてわかったようなわからんような。
勾配消失問題の対策としてはシグモイド関数よりも勾配のある活性化関数を使えばよく、これは例えばtanhやReLU(LeakyReLUやParametric ReLU)で計算すれば良いらしく、オーバーフィッティングの対策としてはランダムにニューロンをドロップアウトする(ネットワークから除外する)ことによって、より汎化されたニューラルネットワークができるらしい。
この辺以前も別の本で読んだ記憶はあるものの、やっぱり触らないと忘れるなあ
