Deep Learning Notes — CNN Models GoogLeNet

為了下個月要上台分享的Faster R-CNN論文,最近開始看CNN相關論文,順手做點筆記。 5. Feature maps也懂多元成家 — GoogLeNet GoogLeNet除了把1×1 conv 活用於該CNN model中,另外也創造了另一種驚人的架構:Inception 簡單來說inception的架構就是把上一層的架構透過不同大小及類型的filter(1×1, 3×3, 5×5, 及3×3 max pooling,3×3及5×5分別透過same padding方式讓其輸出大小與1×1一致)分別輸出後於下一層並聯(concatenate),模型架構如下圖所示: 但因為如依照原本的模型輸出,則訓練參數量會變得過於龐大,舉例來說,如前一層共64層而5×5 conv要輸出32張feature maps,則參數量需要5x5x64x32,進到越深層(feature maps數量越多)則參數量會越大並越加消耗計算資源。為了解決並聯計算量龐大的問題,GoogLeNet採用了NIN的1×1 conv並將其用於壓縮資料以降低資料維度,架構如下圖所示: 實際上如何作用在上一篇介紹NIN時已提過,相對於原始直接使用5×5 conv,先透過1×1 conv降維後再套入5×5 conv可以減少近10倍的運算量:

Read more

Deep Learning Notes — CNN Models NIN

為了下個月要上台分享的faster R-CNN論文,最近開始看CNN相關論文,順手做點筆記。 4. How to speed up the computation on CNN architecture — NIN (Network in Network) NIN引入的1*1 conv & mlpconv 及採用global averaging取代計算量極度龐大的fully-connected layer對後續的CNN 模型發展帶來了深遠的影響,分別解釋如下: <i> GLM => mlpconv

Read more