2014年を個人的にふりかえります。

Deep Learning

今年は、Deep Learning を追い続ける一年でした。 画像認識の Deep Learning は、テクニックとしてはだいぶ成熟してきた感じがします。 今年は特に検出の性能が大幅に上がりました（GoogLeNet + MultiBox など）。 自然言語処理の Deep Learning もスピード感が出てきました。 それ以外にも、RNN がまともに学習できるようになってきて、面白いタスクが続々出てきました。

教師なし学習は相変わらず、着々と進みつつもまだブレイクスルーはない印象です。 深い有向確率モデルの研究が今年は盛んでした。 一方、RBM ベースの手法は成熟してきて、モデルをいじって応用する段階にあるようです。

理論的にはあまり進展がありませんでした。 Dropout の解析や応用は進んでいる印象があります。 今はどちらかというと、実験を通じて現象論的に何が起きているかを説明するアプローチのほうが、得られるものが多いようです。

今年は Google の論文に遭遇する回数がとても増えた気がします。

対外発表

今年はいろいろなところで Deep Learning の話をさせていただきました。

NIPS2013読み会 DeViSE: A Deep Visual-Semantic Embedding Model from Seiya Tokui

NIPS 読み会（1月23日、まとめ）では、DeViSE（およびConSE）というマルチモーダル埋め込みの手法を紹介しました。 これらは ConvNet の出力をラベル単語の word2vec 表現に合わせるというものです。

Deep Learning技術の今 from Seiya Tokui

全脳アーキテクチャ勉強会（1月30日、僕のまとめ）では、Deep Learning の様々な手法を展覧会的に紹介しました。 ちょっと五月雨式にやりすぎた感があります。 DeepMind の買収に触れてますが、まだ1年経っていないことがおどろきです。

また、上の NIPS 読み会と合わせて、ワイドサイズのスライドに挑戦しました。 スライド自体はスペースが広く感じられ、とても作りやすかったですが、その後スライドを 4:3 のフォーマットに移植しづらくて苦労しました。 そういうわけで、4:3 のプロジェクターが一般的なうちは、要請されない限り 4:3 で作ったほうが良いと思いました。

原財団セミナー（2月4日）では、機械学習の概要を解説しました。

情報処理学会セミナー（6月9日）では、教師あり学習の問題設定から Deep Learning の基礎までを話しました。 予測がテーマだったので、レコメンデーションへの応用に触れました。

Deep learning実装の基礎と実践 from Seiya Tokui

神経回路学会セミナー（8月26日）では、Deep Learning を実装・利用面から解説しました。 4 月に社内で Caffe のソースコード解説をしたことがあり、それを汎用化して話しました。 実装の話だけでは使えないので、利用するときの注意点もまとめました。

Recurrent Neural Networks from Seiya Tokui

PFIセミナー（10月30日、録画あり）では、Recurrent Net をまとめました。 メインは Long Short-Term Memory (LSTM) の解説で、後半にいくつか刺激的な応用・発展形を挙げています。 LSTM RNN はまだうまくいき始めたところで、画像認識でいうと 2011〜2012 年くらいの地点にいるのかなと思います。

仕事

ブログに書けないことも多いですが、今年は仕事面でもいろいろ変化がありました。 特に、所属が PFI から PFN に移りました。

今年も夏季インターンを行い、僕は松元さんのメンターを務めました（インターン最終発表の録画）。 Deep Q Network の拡張がテーマで、面白い議論をたくさんさせていただきました。

また、今年は会社の先輩方と共同でオンライン学習の本を書いていました。 IBIS チュートリアルでこっそり宣伝があったようです。 本はまだ完成していませんが、来年出る予定です。 ちなみに、執筆に関しては今思うと反省点が山のようにあります。 今後に生きると良いのですが。

US への出張は 4 月に一回ありました。

旅行

今年は旅行に 3 回も行きました（福岡、サイパン、函館）。

サイパンは、新婚旅行以来はじめての海外旅行でした。 海がきれいでとても気持ちよかったです。 雨季だったためにほとんど曇っていたのが心残りですが、最終日は晴れていて、ギリギリまで海にいました。

函館旅行が初めての北海道でした。 とても寒かった。 函館山からの夜景がきれいでした。 2 泊 3 日でいろいろ回るのにはちょうど良い場所でした。

消費

今年はあまり大きな買い物をしませんでした（多分）。

コンスタントに週 8 本前後のアニメを見続けました。 最近はそこそこおもしろいアニメが多いと感じます。 それとは別に『ちはやふる』のアニメにハマり、原作漫画も一気読みしました。

冬コミに行きました。 学部時代に僕がいたサークルがついに壁をゲットしたと聞き、それを見に行くのが主な目的でした。 本当に壁にいて、とても感動しました。 ノンリニアも立派になったものだなあ。 ちなみに、コミケに行くのは 5 年ぶりです。 僕が初めてコミケに行ってから今年で干支が一周しましたが、あそこはずっと同じような雰囲気で良いですね。 いろんなサークルのブースに囲まれていると、創作意欲をかきたてられます（最近なにもしてないですが）。

以上、全体的に珍しくアクティブな一年でした。 来年のことは、来年書こうと思います。 それではよいお年を！