云南網站推廣公司訓練神經網絡很慢、很困難，之前有許多人設計了各種各樣的方法。近期的優化方法結合了隨機方法和批量方法的特點，比如用mini-batch，跟SGD類似，但是實現了更多的啟發式方法來估計二階對角信息，就和無黑塞方法（Hessian-free）或者L-BFGS類似。

       這樣吸收了兩種方法優點的方案通常在實際問題中有更快的收斂速度，比如Adam就是一個深度學習中常用的優化器，實現了簡單的啟發式方法來估計梯度的均值和變化幅度，從而能夠在訓練中更加穩定地更新權重。
        之前云南網站推廣公司發現的許多權重更新規則都借鑒了凸函數分析中的想法，雖然神經網絡中的優化問題是非凸的。近期通過非單調學習速率的啟發式方法得到的經驗結果表明，在神經網絡的訓練方面我們仍然知之甚少，還有許多非凸優化的方法可以用來改進訓練過程。