転移学習とは何か

最近転移学習について議論する場があったが、転移学習についてそもそもあまり理解できていなかったので、理解の整理と備忘録を兼ねてまとめておく。 転移学習 (Transfer Learning) とは あるドメインのタスクについて学習させた学習済みのモデルがあるとき、関連する別ドメインのタスクに対して学習済みのモデルを利用する手法を転移学習と呼ぶ。学習に使用できるデータが少量しかないタスク (いわゆるコールドスタート問題) に対して、データ量の多いタスクで学習したモデルを利用するのが一般的な転移学習の枠組みである。 転移学習がうまく作用する背景としては、元ドメイン (source domain) と、関連する転移先の目標ドメイン (target domain) 間で低レベルで共通する特徴が存在しているという仮定がある。そのため、何も考えずに適当な学習済みモデルを流用してくれば常にうまくいくというものではない (言うまでもないが) 。こちらの図が分かりやすかったので、引用する。 http://ruder.io/transfer-learning/ より タスク間で転移学習の効率を詳細に示した研究としては、 Taskonomy (CVPR ’18 Best Paper)

Read more