經典 CNN 模型整理 (01) – LeNet

Original article was published by Lance Chu 朱哲緯 on Deep Learning on Medium


經典 CNN 模型整理 (01) – LeNet

本篇為 LeNet 的重點整理筆記

本系列將整理一些經典的 CNN 模型,並盡量用簡單好理解的話語概括其重點,讀者可以針對有興趣的部分回頭鑽研原論文。

<Gradient-based learning applied to document recognition> LeCun, Yann, et al. 1998.

LeNet 架構

這篇論這篇論文被視作卷積神經網路(Convolutional Neural Network, CNN)的開山始祖,裡面提出了三個概念使架構得以簡化並大大的降低運算量,這裡簡單列出其可行的原因:

局部感受野 (local receptive field)-通常透過局部特徵就能判別物體。

共享權重 (shared weights)-相同特徵也可能出現在整張影像的不同位置。

下採樣(sub-sampling)-對整張影像做下採樣並不太會影響我們對影像的認知。

論文中也提到了對參數量和連接量的計算,我這裡試著轉化為公式:

卷積:參數量=(Ci x K x K + 1) x Co;連接量=(Ci x K x K + 1) x Co x Wo x Ho

池化:參數量=(1 + 1) x Co;連接量=(K x K + 1) x Co x Wo x Ho

全連接:參數量=連接量=(上層所有特徵和+ 1)*Co

其中 Ci 為輸入通道數、Co 為輸出通道數、K 為濾波器尺寸、Ho, Wo 分別為特徵圖的長和寬,+1為加上偏置参数。值得注意的是 LeNet 使用 Average pooling,我們常用的 Max pooling 不會有反向傳播參與故沒有參數。

本文到此結束,有任何問題歡迎在下面討論或連繫我,覺得寫的不錯也可以幫我拍手和追蹤鼓勵一下,如果有人喜歡會更新快點哈,感謝觀看!