神經網路的規模必須是固定的嗎？

1樓：Momodel

對於乙個前饋神經網路（Forward Neural Networks），它的規模肯定是需要的固定的。

但是，我們可以通過某種處理，對不同的資料維度進行處理，從而得到統一的固定的資料維度。例如，在影象檢測領域中R-CNN系列演算法，在最早的R-CNN中，作者將不同的候選區域（proposal regions）統一變換成同乙個資料維度，以供後續的操作。

但是在隨後的SPP Net中，通過引入空間金字塔池化（spacial pyramid pooling）將proposal regions的feature map對映到了乙個固定長度的向量中，

這一方法在隨後的Fast R-CNN和Faster R-CNN中被RoI pooling取代了，RoI是將不同維度大小的feature map對映到了乙個固定大小的tensor上。

而在Seq2Seq模型中，模型的輸入和輸出本就是變長的序列，但是在處理文字資料時，有些句子會非常長，有些句子會非常短，面對這種極端的情況，我們可以利用注意力機制對序列進行處理。

2樓：瞎bb隊長

業界實際使用的神經網路模型規模大部分都是固定的。但是樓主說的問題「對於同一種問題的不同情形，其對應的資料維度可能是不一樣的。」實際中也很常見。

例如online learning中，乙個模型不斷的用最新的資料更新已有的引數，老的引數不是被替換掉而是被更新。這樣問題就來了，如果新的資料報含了模型之前沒有見過的特徵，那如何處理和這個特徵相關的引數？

這個時候模型的規模已經無法改變了，所以在設計模型輸入的時候，需要做乙個雜湊對映。即特徵經過雜湊後被處理成神經網路的輸入，這樣通過改變資料規模的方式，去適應神經網路模型。

3樓：楊三豐

作為產品經理，剛自學了神經網路的實現，來獻醜啦。輸入資料緯度不同，理論上可以有兩種方法，一種是用乙個資料維度的最大維度作為基礎，然後把各種維度的資料放進去，不足的資料用0代替。二種是用乙個中間維度作為輸入，多維度的經過降維後輸入，低緯度使用第一種方法輸入。

4樓：ZJU某小白

不知道題主說的不同維度資料指的是不是輸入資料。

可以用資料缺失的方式對待，用的是各種補全策略，比如均值填充/隨機填充/padding填充（補零）。比如NLP裡很多輸入語句長度不同，定長輸入的神經網路模型一般就把較短的padding到指定維度，較長的擷取到指定維度。

當然你也可以用遷移學習的思路，在神經網路的模型主體之前新增一層專門把輸入資料對映到指定維度的全連線層。

具體問題具體分析。單單回答題主問題的話，神經網路的結構和規模在建模過程中肯定得是固定的。哪怕有的模型可以mask掉一部分神經元，但那只是計算上的避開，實際上還是固定的。