跳到主要內容

簡易檢索 / 詳目顯示

回結果列表
研究生： 施柏屹
Bo-Yi She
論文名稱： 倒傳遞類神經網路學習收斂之初步探討
指導教授： 王國雄
Kuo-Shong Wang
口試委員:
學位類別： 碩士
Master
系所名稱： 工學院 - 機械工程學系
Department of Mechanical Engineering
畢業學年度： 88
語文別： 中文
論文頁數： 48
中文關鍵詞： 倒傳遞類神經網路 、鍵結值 、活化函數 、GBP
相關次數： 點閱：7  下載：0 
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報


    • 倒傳遞類神經網路雖然使用上便利，但是有著收斂速度緩慢以及網路收斂到區域極小值範圍的問題。本篇論文針對此類神經網路對於初始資料的正規化以及初始鍵結值的設定範圍對收斂的影響做初步的分析，並使用不同於文獻中另一常見的活化函數類別-雙曲正切函數-做加速收斂的測試比較，結果顯示在應用在不同的活化函數類別時，部分法則有使用上的困難。

    目 錄 頁碼 摘要…………………………………………………….……………………..……Ⅰ 目錄…………………………………………………………………………...……Ⅱ 圖目錄……………………………………………………………………………..IV 表目錄……………………………………………………………………………..VI 符號說明…………………………………………………………….…………VII 第一章 緒論……………………………………………………….…………1 1-1研究背景與動機…………………………………………………………....1 1-2相關文獻回顧………………………………………………………………2 1-3研究範圍……………………………………………………………………..3 第二章 類神經網路基本架構…………………………………………4 2-1類神經網路簡史……………………………………………………………4 2-2類神經網路基本架構………………………………………………………4 2-3類神經網路類別……………………………………………………………5 2-4倒傳遞神經網路……………………………………………………………6 第三章 倒傳遞網路收斂分析………………………………………..14 3-1測試用資料與函數………………………………………………………..14 3-2資料輸出入對與收斂關係………………………………………………..15 3-3初始鍵結值設定對收斂影響…………………………………………….16 3-4GBP演算法………………………………………………………………..18 3-4-1GBP演算法……………………………………………………..18 3-4-2測試GBP演算法……………………………………………….19 3-5增益項對收斂影響………………………………………………………..20 3-5-1增益項法則……………………………………………………..20 3-5-2測試增益項演算法則…………………………………………..21 第四章結論與建議……………………………………………………...45 參考文獻………………………………………………………………………….48 圖 目 錄 頁碼 圖2.1(a) 生物神經元……………………………………………………………….10 圖2.1(b) 類神經元模型…………………………………………………………….10 圖2.2(a) 線性飽和函數…………………………………………………………..11 圖2.2(b) 飽和曲線函數……………………………………………………………..11 圖2.2(c) 雙曲正切函數……………………………………………………………..11 圖2.3(a) 單層前饋網路……………………………………………………………..12 圖2.3(b) 多層前饋網路……………………………………………………………..12 圖2.3(c) 循環式網路………………………………………………………………...12 圖2.4 倒傳遞神經網路……………………………………………………………...13 圖3.1 函數………………………………………………22 圖3.2(a) 活化函數 於不同初始輸入對收斂圖…………………………….23 圖3.2(b) 活化函數 於不同初始輸入對收斂圖(續)………………………..23 圖3.3 (a) 活化函數 於不同初始輸入對收斂圖………………..24 圖3.3 (b)活化函數 於不同初始輸入對收斂圖(續)…………….24 圖3.4(a) 2-3-2網路結構，不同初始收斂值的收斂過程..…………………………..25 圖3.4(b) 2-3-2網路結構，不同初始收斂值的收斂過程………………...………….25 圖3.4(c) 2-3-2網路結構，不同初始收斂值的收斂過程………………………….26 圖3.5(a) 2-3-3-2網路結構，不同初始收斂值的收斂過程………..………………..27 圖3.5(b) 2-3-3-2網路結構，不同初始收斂值的收斂過程……………………….27 圖3.6 2-3-2結構倒傳遞網路………………………………..…………………….28 圖3.7 、 均方差曲面等高線圖………………...…………………………….29 圖3.8 、 均方差曲面立體等高線圖………………………………………..29 圖3.9 、 均方差曲面網目圖…………………..……………………………..30 圖3.10 、 均方差曲面對數座標網目圖………..……………………………30 圖3.11 飽和曲線函數 一階微分輸出數值圖………………….………31 圖3.12 修正後飽和曲線函數 一階微分輸出數值圖 (P=10)………31 圖3.13 雙曲正切函數 一階微分輸出數值圖……………...………………32 圖3.14 修正後雙曲正切函數 一階微分輸出數值圖 (P=5)………………32 圖3.15 活化函數 微分式變更收斂比較…………………………………33 圖3.16 活化函數 微分式變更前後收斂比較…………………...34 圖3.17(a) 2-3-2網路結構增益項改變??學習率對於收斂情形……………………35 圖3.17(b) 2-5-2網路結構增益項改變??學習率對於收斂情形……………………35 圖3.17(c) 2-8-2網路結構增益項改變??學習率對於收斂情形……………………36 圖3.17(d) 2-12-2網路結構增益項改變??學習率對於收斂情形…………………36 圖4.1(a) 2-3-2結構倒傳遞網路………………………………………………..47 圖4.1(b) 2-2-2結構倒傳遞網路…………………………………………………47 表 目 錄 頁碼 表3.1 倒傳遞網路訓練資料對……………………………………………………..37 表3.2 倒傳遞網路測試資料對……………………………………………………..38 表3.3 第一類活化函數 推測計算結果……………………………….……39 表3.4 第二類活化函數 推測計算結果………………………...42

    [1] Simon Haykin, Neural Networks ： A Comprehensive Foundation, Prentice Hall International Editions, 1999.
    [2] A. Korn Granino, Neural networks and fuzzy-logic control on personal computers and workstations, Cambridge, Mass MIT Press c1995.
    [3] 林昇甫, 神經網路入門與圖樣辨識, 全華, 民82.
    [4] 蘇木春，張孝德，機械學習 類神經網路、模糊系統以及基因演算法則，全華 民86.
    [4] 蘇木春，張孝德，機械學習 類神經網路、模糊系統以及基因演算法則，全華 民86.
    [4] 蘇木春，張孝德，機械學習 類神經網路、模糊系統以及基因演算法則，全華 民86.
    [7] Yolanda M. Pirez, and Dilip Sarkar, “Back-Propagation Algorithm with Controlled Oscillation of Weights.”, Neural Networks, IEEE International Conference on , 1993 Vol.1, P21 -26.
    [8] Irena Ivanova, and Miroslav Kubat, “Initialization of neural networks by means of decision trees.”, Knowledge-Based Systems, December 1995, Vol. 8, No. 6, P333-344.
    [9] Mingsheng Zhao, Youshou Wu, and Xiaoqing Ding, “Speeding up the training process of the MFNN by optimizing the hidden layers’ outputs.”, Neurocomputing, 1996, Vol.11, P89-100.
    [9] Mingsheng Zhao, Youshou Wu, and Xiaoqing Ding, “Speeding up the training process of the MFNN by optimizing the hidden layers’ outputs.”, Neurocomputing, 1996, Vol.11, P89-100.

    QR CODE
    :::