跳到主要內容

簡易檢索 / 詳目顯示

回結果列表
研究生： 歐軒慈
Hsuan-Tzu Ou
論文名稱： 基於慣性感測器與肌肉訊號之穿戴式裝置三維手寫身份認証
An Wearable with IMU and EMG sensors for 3D space handwritting authentication
指導教授： 范國清
Kuo-Chin Fan
口試委員:
學位類別： 碩士
Master
系所名稱： 資訊電機學院 - 資訊工程學系
Department of Computer Science & Information Engineering
論文出版年： 2016
畢業學年度： 104
語文別： 中文
論文頁數： 78
中文關鍵詞： 慣性感應器 、肌肉訊號 、手環穿戴裝置 、身份認証
外文關鍵詞： IMU, EMG, MYO Armband, Authentication
相關次數： 點閱：10  下載：0 
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報

    • 在數位化充斥著生活的現在，人們的生活幾乎已離不開電腦手機等資訊產品，在此時空下傳統的密碼金鑰等資訊認證或保密的方法，已經難以應付目前的需求。目前基於生物行為特徵，所發展出的認證方法已廣為大眾接受，此種認證方式是彌補傳統密碼金鑰易遭複製易被遺忘等缺陷的方法。

    目前可當作身份認證的生物特徵有很多，本論文以三維空中手寫簽名與肌肉訊號當作個人辨識特徵，資料獲取方式為自製慣性感應器穿戴裝置，裝置於手指部位獲取手指姿態，並使用 Thalmic labs 的 MYO Armband 取得手臂肌肉訊號與手臂姿態，利用三點定位的方式，計算三維空中手寫軌跡作為部分手寫特徵，最後使用循環神經網路訓練身份認證系統。

    We have lived in a digital life nowadays. We cannot live without computers, smart phone and other information products in our daily life. Those traditional confidentiality and authentication methods, for example cryptographic keys, is too old to cope with the new problems in recent years. Currently, some authentication methods based on biological behavioral characteristics have been widely accepted. Such certification procedures find a new way to help the traditional cryptographic keys which would be copied and forgotten easily.

    There are many methods for biometric characteristics. The proposed method uses handwritten signals in a 3D coordinate space and EMG signals as personal identification features. We use an IMU wearable device which is made by ourselves and equiped on fingers to get the pose signals of fingers. Then, we use MYO Armband from Thalmic labs to get EMG and Arm altitude signals and use three-points fix method to calculate handwritten trajetory as part of the features. Finally, we use recurrent neural network with LSTM to train the authentication system.

    中文摘要 ............................................................................................. i 英文摘要 ............................................................................................. ii 謝誌 .................................................................................................... iii 目錄 .................................................................................................... iv 圖目錄 ................................................................................................ vi 表目錄 ………………………………………………………………………ix 一、 緒論 .............................................................................. 1 1.1 研究動機 . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 研究目標 . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3 系統流程 . . . . . . . . . . . . . . . . . . . . . . . . 3 1.4 論文結構 . . . . . . . . . . . . . . . . . . . . . . . . 4 二、 設備架構 ....................................................................... 5 微控制器 . . . . . . . . . . . . . . . . . . . . . . . . 5 Arduino . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 MYO Armband . . . . . . . . . . . . . . . . . . . . 7 2.3 感應器 . . . . . . . . . . . . . . . . . . . . . . . . . 8 慣性感應器 . . . . . . . . . . . . . . . . . . . . . . . 8 2.4 硬體架構 . . . . . . . . . . . . . . . . . . . . . . . . 9 2.5 資料擷取 . . . . . . . . . . . . . . . . . . . . . . . . 11 2.1 2.1.1 2.3.1 2.5.1 Arduino Raw data . . . . . . . . . . . . . . . . . . . 11 2.5.2 MYO Raw data . . . . . . . . . . . . . . . . . . . . 12 2.5.3 Bluetooth Communicate . . . . . . . . . . . . . . . . 12 三、 資料處理 ....................................................................... 13 3.1 Raw Data 前處理 . . . . . . . . . . . . . . . . . . . 13 3.1.1 加速規校正 . . . . . . . . . . . . . . . . . . . . . . . 14 3.1.2 陀螺儀校正 . . . . . . . . . . . . . . . . . . . . . . . 15 3.1.3 動平均濾波 . . . . . . . . . . . . . . . . . . . . . . . 15 3.1.4 低通濾波 . . . . . . . . . . . . . . . . . . . . . . . . 16 3.1.5 高通濾波 . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2 取得姿態 . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.1 Quaternion . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.2 姿態參考系統 . . . . . . . . . . . . . . . . . . . . . 18 3.2.3 手臂與手指姿態 . . . . . . . . . . . . . . . . . . . . 19 3.3 三維手寫軌跡 . . . . . . . . . . . . . . . . . . . . . 21 3.3.1 軌跡映射 . . . . . . . . . . . . . . . . . . . . . . . . 21 3.3.2 手勢辨識 . . . . . . . . . . . . . . . . . . . . . . . . 30 3.3.3 三維手寫特徵 . . . . . . . . . . . . . . . . . . . . . 32 四、 類神經網路 ................................................................... 33 4.1 多層感知機 . . . . . . . . . . . . . . . . . . . . . . . 33 4.2 循環式神經網路 . . . . . . . . . . . . . . . . . . . . 38 4.3 長短期記憶 . . . . . . . . . . . . . . . . . . . . . . . 39 五、 實驗結果 ....................................................................... 47 5.1 訓練資料可視化 . . . . . . . . . . . . . . . . . . . . 47 5.1.1 三維手寫軌跡 . . . . . . . . . . . . . . . . . . . . . 47 5.1.2 加速規、陀螺儀訊號與肌肉訊號 . . . . . . . . . . . 49 5.2 三維手寫身份認証 . . . . . . . . . . . . . . . . . . . 55 六、 未來目標與討論 ............................................................ 59 6.1 硬體部份 . . . . . . . . . . . . . . . . . . . . . . . . 59 6.2 軟體部份 . . . . . . . . . . . . . . . . . . . . . . . . 60 6.3 實驗部份 . . . . . . . . . . . . . . . . . . . . . . . . 60 6.3.1 身份認証 . . . . . . . . . . . . . . . . . . . . . . . . 60 6.3.2 空中手寫實虛筆 . . . . . . . . . . . . . . . . . . . . 60 6.3.3 結論 . . . . . . . . . . . . . . . . . . . . . . . . . . 61 參考文獻 ............................................................................................. 62 圖目錄 圖 1.1 系統流程 . . . . . . . . . . . . . . . . . . . . . . . . . 4 圖 2.1 Arduino nano . . . . . . . . . . . . . . . . . . . . . . . 6 圖 2.2 Arduino UNO . . . . . . . . . . . . . . . . . . . . . . 6 圖 2.3 ATmega328p . . . . . . . . . . . . . . . . . . . . . . . 7 圖 2.4 MYO Armband . . . . . . . . . . . . . . . . . . . . . . 7 圖 2.5 MPU-6050 模組 . . . . . . . . . . . . . . . . . . . . . 8 圖 2.6 MPU-6050 diagram . . . . . . . . . . . . . . . . . . . 8 圖 2.7 硬體架構 . . . . . . . . . . . . . . . . . . . . . . . . . 9 圖 2.8 硬體實際使用狀態 . . . . . . . . . . . . . . . . . . . . 10 圖 2.9 慣性感應器資料封包 . . . . . . . . . . . . . . . . . . . 12 圖 3.1 硬體資料處理流程 . . . . . . . . . . . . . . . . . . . . 13 圖 3.2 校正加速規 X 方向 . . . . . . . . . . . . . . . . . . . 14 圖 3.3 校正加速規 Y 方向 . . . . . . . . . . . . . . . . . . . 14 圖 3.4 校正加速規 Z 方向 . . . . . . . . . . . . . . . . . . . . 15 圖 3.5 校正陀螺儀示意(於手指上保持靜止) . . . . . . . . 15 圖 3.6 AHRS Axis . . . . . . . . . . . . . . . . . . . . . . . . 19 圖 3.7 食指,拇指,手臂姿態示意 . . . . . . . . . . . . . . . 20 圖 3.8 食指,拇指,手臂實際狀態 . . . . . . . . . . . . . . . 20 圖 3.9 加速規-急停 . . . . . . . . . . . . . . . . . . . . . . . 21 圖 3.10 加速規-甩動 . . . . . . . . . . . . . . . . . . . . . . . 22 圖 3.11 三點定位示意 . . . . . . . . . . . . . . . . . . . . . . 22 圖 3.12 手臂與手指姿態定位 . . . . . . . . . . . . . . . . . . 23 圖 3.13 MPU-6050 空間轉換 . . . . . . . . . . . . . . . . . . 25 圖 3.14 加速度飄移 . . . . . . . . . . . . . . . . . . . . . . . 26 圖 3.15 空中書寫「一」 . . . . . . . . . . . . . . . . . . . . . 27 圖 3.16 空中手寫可視化 . . . . . . . . . . . . . . . . . . . . . 28 圖 3.17 手指軌跡映射示意 . . . . . . . . . . . . . . . . . . . 28 圖 3.18 原始手寫軌跡 . . . . . . . . . . . . . . . . . . . . . . 29 圖 3.19 弧線調整後手寫軌跡 . . . . . . . . . . . . . . . . . . 29 圖 3.20 手寫開始手勢 . . . . . . . . . . . . . . . . . . . . . . 30 圖 3.21 手寫結束手勢(一般狀態) . . . . . . . . . . . . . . 30 圖 3.22 手寫開始手勢辨識流程 . . . . . . . . . . . . . . . . . 31 圖 3.23 單一時刻訓練特徵 . . . . . . . . . . . . . . . . . . . 32 圖 4.1 神經元 . . . . . . . . . . . . . . . . . . . . . . . . . . 33 圖 4.2 多層感知機 . . . . . . . . . . . . . . . . . . . . . . . . 35 圖 4.3 sigmoid . . . . . . . . . . . . . . . . . . . . . . . . . . 37 圖 4.4 tanh . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 圖 4.5 循環式神經網路網路架構 . . . . . . . . . . . . . . . . 38 圖 4.6 循環式神經網路之神經元架構 . . . . . . . . . . . . . . 38 圖 4.7 梯度消失 . . . . . . . . . . . . . . . . . . . . . . . . . 39 圖 4.8 長短期記憶單元 (LSTM Unit) . . . . . . . . . . . . . 40 圖 4.9 長短期記憶前饋階段 . . . . . . . . . . . . . . . . . . . 41 圖 4.10 不同架構的 RNNLSTM 對時間展開示意 . . . . . . . 44 圖 5.1 受試者三維手寫軌跡 . . . . . . . . . . . . . . . . . . . 47 圖 5.2 受試者三維手寫軌跡 . . . . . . . . . . . . . . . . . . . 48 圖 5.3 左:Leap Motion 右:本實驗設備 (使用螢幕手寫) . 49 圖 5.4 左:Leap Motion 右:本實驗設備 (不使用螢幕手寫) 49 圖 5.5 受試者 A 資料一 . . . . . . . . . . . . . . . . . . . . . 50 圖 5.6 受試者 A 資料二 . . . . . . . . . . . . . . . . . . . . . 51 圖 5.7 受試者 B 資料一 . . . . . . . . . . . . . . . . . . . . . 52 圖 5.8 受試者 B 資料二 . . . . . . . . . . . . . . . . . . . . . 53 圖 5.9 受試者 B 仿簽受試者 A 資料 . . . . . . . . . . . . . . 54 圖 5.10 神經網路架構 . . . . . . . . . . . . . . . . . . . . . . 56 圖 5.11 FAR,FRR 直方圖 . . . . . . . . . . . . . . . . . . . 58 表目錄 表 2.1 MPU-6050 輸出資料格式 . . . . . . . . . . . . . . . . 11 表 2.2 Accelerometer scale range . . . . . . . . . . . . . . . 11 表 2.3 Gyroscope scale range . . . . . . . . . . . . . . . . . . 11 表 3.1 手臂,手掌,手指長度 . . . . . . . . . . . . . . . . . 23 表 5.1 fastDTW 評估手寫樣本相似程度 . . . . . . . . . . . . 55 表 5.2 受試者 FAR、FRR . . . . . . . . . . . . . . . . . . . 58

    [1] Sepp Hochreiter, Jurgen Schmidhuber. Long Short-Term Memory. Neural Computation 9(8):1735-1780, 1997.
    [2] Alex Graves. Supervised Sequence Labelling with Recurrent Neural Network. http://www.cs.toronto.edu/~graves/
    [3] P. J. Werbos. Backpropagation through time: what it does and how to do it. Proceedings of the IEEE, VOL, 78 NO. 10, Oct 1990
    [4] Wojciech Zaremba. Recurrent Neural Network Regularization. ICLR 2015.
    [5] Sebastian O.H. Madgwick, Andrew J.L. Harrison, Ravi Vaidyanathan. Estimation of IMU and MARG orientation using a gradient decent algorithm. 2011 IEEE International Conference on Rehabilitation Robotics. http://www.x-io.co.uk/open-source-imu-and-ahrs-algorithms/
    [6] H. Sakoe ; Nippon Electric Company, Limited, Kawasaki, Japan ; S. Chiba. Dynamic programming algorithm optimization for spoken word recognition. IEEE Transactions on Acoustics, Speech, and Signal Processing VOL, 26 NO, 1, pp43-49, Feb 1978.
    [7] Tu-Liang Hsu, Cheng-Ling Chu, Yi-Ju Tsai, and Jeen-shing Wang, Member, IEEE. An Inertial Pen With Dynamic Time Warping Recognizer for Handwriting and Gesture Recognition. IEEE SENSORS JOURNAL, VOL, 15 NO. 1, JANUARY 2015.
    [8] 蘇木春, 張孝德. 機器學習 類神經網路、模糊系統以及基因演算法 修訂二版. 全華科技圖書股份有限公司, 2012, ISBN 957-21-4737-4.
    [9] InvenSense. MPU-6000 and MPU-6050 Register Map and Descriptions Revsion 4.0.
    [10] Werbos, Bishop. multilayer perceptron.
    [11] Jeff Elman. Finding Structure in Time. CONGNITIVE SCIENCE 14, 179-211 1990.
    [12] Stan Salvador, Philip Chan. FastDTW: Toward Accurate Dynamic Time Warping in Linear Time and Space. Dept. of Computer Sciences Florida Institute of Technology Melbourne, FL 32901.

    QR CODE
    :::