《前饋神經網絡》嘅修訂比較

'''前饋神經網絡'''（{{jpingauto|cin4 gwai3 san4 ging1 mong5 lok6}}；[[英文]]：{{lang-en|'''feedforward neural network'''}}）係最簡單最早期嗰種[[人工神經網絡]]（ANN）<ref>Zell, Andreas (1994). ''Simulation Neuronaler Netze'' [Simulation of Neural Networks] (in German) (1st ed.). Addison-Wesley. p. 73.</ref>。一個前饋神經網絡會有一浸'''輸入層''（input layer）'（<code>input</code>）同一浸'''輸出層''（output layer），'（<code>output</code>），亦可能有一浸'''隱藏層''（hidden layer）'（<code>hidden</code>）<ref group="註">喺實際應用上，冇隱藏層嘅前饋神經網絡好多時都淨係搞得掂簡單嘅[[線性關係]]，所以有用嘅前饋神經網絡多數有隱藏層。</ref>。每一粒[[人工神經細胞|神經細胞]]都有條噉嘅式<ref name="sch">Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview". ''Neural Networks''. 61: 85–117.</ref><ref>Ivakhnenko, A. G. (1973). ''Cybernetic Predicting Devices''. CCM Information Corporation.</ref>：

雖然係噉，事實說明咗前饋神經網絡能夠輕易處理'''非連串性'''（non-sequential；一串[[文字]]就有連串性－前面嘅[[資訊]]會影響後面嘅資訊嘅意思）而且'''唔視乎時間''（not time-dependent；'（一個視乎時間嘅數據帶嘅資訊會受時間影響，<math>\text{info} = f(\text{time})</math>）嘅[[數據]]<ref name="brilliantorg">[https://brilliant.org/wiki/feedforward-neural-networks/#:~:text=Feedfoward%20neural%20networks%20are%20primarily,)%20(x%2Cy). Feedforward neural network]. ''Brilliant.org''.</ref>，例如有[[遊戲人工智能 AI]] 方面嘅研究者試過成功噉訓練一部[[多層感知機]]（睇下面）玩[[食鬼]]<ref>Lucas, S. M. (2005, April). Evolving a Neural Network Location Evaluator to Play Ms. Pac-Man. In ''IEEE 2005 Symposium on Computational Intelligence and Games''.</ref>。所以就算到咗廿一世紀，前饋神經網絡都仲有人用<ref name="hosseini">Hosseini, H. G., Luo, D., & Reynolds, K. J. (2006). The comparison of different feed forward neural network architectures for ECG signal diagnosis. ''Medical engineering & physics'', 28(4), 372-378.</ref><ref name="shukla2009">Shukla, A., Tiwari, R., Kaur, P., & Janghel, R. R. (2009, March). Diagnosis of thyroid disorders using artificial neural networks. In ''2009 IEEE International Advance Computing Conference'' (pp. 1016-1020). IEEE.</ref>。

當中 <math>\overrightarrow{x}</math> 係代表柞輸入嘅[[向量]]；<math>\overrightarrow{w}</math> 係代表柞權重嘅向量；而 <math>b</math> 代表'''偏向'''（bias），即係嗰粒神經細胞本身喺啟動上嘅傾向，例如如果有某一粒人工神經細胞嘅 <math>b</math> 係正數而且數值大，佢就會傾向無論輸入係幾多都有強烈嘅啟動。用嘅係[[監督式學習]]，個學習演算法要做嘅嘢就係按讀取到嘅數值調整柞 <math>w</math>，等個網絡將來會更加有能力俾到準確嘅輸出<ref name="auer2008"/>。

#每一個權重值，佢都會由條式嗰度有一個'''梯度值'''（gradient）；

[[單層感知機]]（single-layer perceptron；冇隱藏層嘅感知機）嘅局限在於佢係線性嘅分類機。單層感知機嘅感知機只能夠學識作出線性嘅分類，即係例如按兩個變數 <math>x</math> 同 <math>y</math> 將一柞個案分類，一個分類機會畫一條線，而條線係 <math>x</math> 同 <math>y</math> 嘅函數（例：<math>y = 2x + 5</math>），如果呢條線能夠正確噉分開兩類個案，條線就係一部成功嘅''[[線性分類機'']]（linear classifier）；根據研究，單層感知機淨係處理得到[[線性]]（linear）嘅關係，如果個實際關係唔係線性，單層感知機就會搞唔掂。想像以下呢兩幅圖：

[[多層感知機]]（multi-layer perceptron，MLP）係一個包含多部感知機嘅人工神經網絡：多層感知機有'''隱藏層'''（hidden layer），即係唔會直接收外界輸入又唔會直接向外界俾輸出嘅神經細胞層；同單層感知機唔同嘅係，多層感知機能夠處理非線性嘅關係，喺好多人工神經網絡應用上都有價值<ref>Pal, S. K., & Mitra, S. (1992). ''Multilayer perceptron, fuzzy sets, classifiaction''.</ref>。一部三層（有一浸隱藏層）嘅感知機可以想像成以下噉嘅樣<ref name="sch"/>：

*每粒第 <math>i</math> 層嘅神經細胞都同第 <math>i-1</math> 層嘅神經細胞有連繫，即係話每粒第 <math>i-1</math> 層嘅神經細胞都有能力影響第 <math>i</math> 層嘅神經細胞嘅啟動程度，即係每層之間都'''完全連繫''（fully connected），'，不過權重值可以係 0；

[[反向傳播算法]]（backpropagation）係 [[delta 法則]]（睇上面）嘅廣義化：喺得到誤差函數之後，就可以計柞 <math>w</math> 要點調整<ref>Nielsen, Michael A. (2015). "Chapter 6". ''Neural Networks and Deep Learning''.</ref><ref>Kelley, Henry J. (1960). "Gradient theory of optimal flight paths". ''ARS Journal''. 30 (10): 947–954.</ref>，例如''確率勾配降[[隨機梯度下降法'']]（stochastic gradient descent）噉，就會運用以下呢條算式嚟計出每個權重值要點變<ref>Mei, Song (2018). "A mean field view of the landscape of two-layer neural networks". ''Proceedings of the National Academy of Sciences''. 115 (33): E7665–E7671.</ref>：

*<math>\xi(t) </math> 係一個''[[隨機''（stochastic）]]嘅數值<ref>Dreyfus, Stuart (1962). "The numerical solution of variational problems". ''Journal of Mathematical Analysis and Applications''. 5 (1): 30–45. </ref><ref>Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1986). "Learning representations by back-propagating errors". ''Nature''. 323 (6088): 533–536.</ref>。