跳到主要內容

簡易檢索 / 詳目顯示

回結果列表
研究生： 黃南雄
Nan-Syong Huang
論文名稱： 人臉偵測與追蹤及人眼偵測
Face Detection and Tracking with Pupil Orientation Estimation
指導教授： 鄭旭詠
Cheng Hsu-Yung
口試委員:
學位類別： 碩士
Master
系所名稱： 資訊電機學院 - 資訊工程學系
Department of Computer Science & Information Engineering
論文出版年： 2016
畢業學年度： 104
語文別： 中文
論文頁數： 58
中文關鍵詞： 人臉 、追蹤 、瞳孔 、偵測
外文關鍵詞： Pupils
相關次數： 點閱：15  下載：0 
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報

    • 人臉辨識中，如何正確取得人臉位置是一個重要的研究，因此我
    們提出結合追蹤與偵測的方法來找到需要辨識的區域，進一步，辨識
    的部分又可以分為人的身分辨識以及人的行為辨識，後者我們又可以
    分析眼睛注視的方向，可見光的瞳孔偵測上應用上相當廣泛，像是行
    車是否有專心注視前方或是分析行人注視廣告看板中的位置等等，先
    行的方法已經被提出了許多，有些是分析梯度、有些是分析曲率等
    等，但是這些狀況很容易受到不是眼睛區域的影響，甚至有可能找到
    頭髮的區域，因此，我們提出了一個的方法來改進結果，這個方法包
    含了膚色偵測，主要是避免找到瞳孔位置是落在膚色的區域中，而且
    這個方法結合了哈爾特徵級聯分類器以及臉部對齊的資訊，透過兩者
    資訊來找到接近眼睛位置，再根據人的雙眼聯動的條件，對於位移以
    及角度上進一步的修正，這部分實驗在BioID 臉部影像資料庫以及自
    己建立AIPR LAB 人臉影片資料庫。更進一步，我們比較了我們以及
    其他的方法，在結果上有著顯著的正確率以及穩定性。

    Face-locating in videos is an important issue in face recognition.
    Therefore, we propose a solution which combines tracking and detecting
    methods in order to find and recognize the face regions. In face recognition,
    there are many researches about face perception such as emotion,
    gaze estimation, identity analysis,etc. Our research we focus on the gaze
    estimation in the visible light due to the visible cameras are universal
    devices everywhere. This technology can be applied on many different
    situations. For example, to alert the driver while he/she is not driving
    carefully; to show Ads where the passengers are looking at on the lcd ad
    board. Those are widely used applications nowadays. Some researches
    have been proposed for that such as calculate by gradients or by curvature,
    etc. However, sometimes it is possible to detect non-eye regions
    by those methods. The non-eye regions might be hair or eyebrow. To
    avoid those problems we propose a algorithm to correct the location of
    eyes. The algorithm includes skin detections, haar cascade classifier,
    face alignment and a correction based on conjunctive eye movements.
    We test our result on BioID image database and our video samples. Finally,
    we compare our proposed algorithm to other methods, and ours
    has better performance with high accuracy and robustness.

    中文摘要............................................................................................. i 頁次 英文摘要............................................................................................. ii 謝誌.................................................................................................... iii 目錄.................................................................................................... iv 圖目錄................................................................................................vii 表目錄................................................................................................ ix 一、緒論.............................................................................. 1 1.1 研究動機. . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 系統簡介. . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 論文架構. . . . . . . . . . . . . . . . . . . . . . . . 2 二、文獻背景....................................................................... 4 2.1 臉部辨識. . . . . . . . . . . . . . . . . . . . . . . . 4 2.1.1 主成分分析演算法. . . . . . . . . . . . . . . . . . . 4 2.1.2 臉部對齊. . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 臉部偵測. . . . . . . . . . . . . . . . . . . . . . . . 5 2.2.1 自適應增強分類器. . . . . . . . . . . . . . . . . . . 7 2.2.2 哈爾特徵. . . . . . . . . . . . . . . . . . . . . . . . 7 2.2.3 多區塊區域二進位圖形. . . . . . . . . . . . . . . . 8 2.2.4 級聯分類器. . . . . . . . . . . . . . . . . . . . . . . 9 2.3 人眼分析. . . . . . . . . . . . . . . . . . . . . . . . 10 2.3.1 瞳孔偵測. . . . . . . . . . . . . . . . . . . . . . . . 10 2.3.2 注視方向分析. . . . . . . . . . . . . . . . . . . . . 11 2.4 追蹤學習偵測演算法. . . . . . . . . . . . . . . . . . 11 2.4.1 偵測機制. . . . . . . . . . . . . . . . . . . . . . . . 12 2.4.2 追蹤機制. . . . . . . . . . . . . . . . . . . . . . . . 14 2.4.3 學習機制. . . . . . . . . . . . . . . . . . . . . . . . 14 2.5 追蹤學習偵測演算法加速版. . . . . . . . . . . . . . 14 三、人臉追蹤偵測................................................................ 17 3.1 人臉追蹤. . . . . . . . . . . . . . . . . . . . . . . . 17 3.2 人臉分群. . . . . . . . . . . . . . . . . . . . . . . . 17 3.3 人臉追蹤. . . . . . . . . . . . . . . . . . . . . . . . 17 3.4 加強偵測機制. . . . . . . . . . . . . . . . . . . . . 18 四、瞳孔偵測....................................................................... 20 4.1 瞳孔中心分析. . . . . . . . . . . . . . . . . . . . . 20 4.1.1 平均梯度法. . . . . . . . . . . . . . . . . . . . . . . 20 4.1.2 膚色偵測. . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.3 裁切邊緣非人眼區域. . . . . . . . . . . . . . . . . . 21 4.1.4 平均瞳孔中心. . . . . . . . . . . . . . . . . . . . . 21 4.2 瞳孔偵測. . . . . . . . . . . . . . . . . . . . . . . . 22 4.2.1 生物特性. . . . . . . . . . . . . . . . . . . . . . . . 23 4.2.2 角度與位移判別機制. . . . . . . . . . . . . . . . . . 23 五、實驗.............................................................................. 26 5.1 實驗環境. . . . . . . . . . . . . . . . . . . . . . . . 26 5.1.1 硬體. . . . . . . . . . . . . . . . . . . . . . . . . . 26 5.1.2 軟體. . . . . . . . . . . . . . . . . . . . . . . . . . 26 5.2 資料庫. . . . . . . . . . . . . . . . . . . . . . . . . 26 5.2.1 BioID 臉部影像資料庫. . . . . . . . . . . . . . . . 26 5.2.2 AIPR Lab 人臉影片資料庫. . . . . . . . . . . . . . 26 5.2.3 AIPR Lab 人臉影片資料庫II . . . . . . . . . . . . . 28 5.3 人臉偵測追蹤. . . . . . . . . . . . . . . . . . . . . 28 5.4 眼睛偵測與臉部對齊資訊評估. . . . . . . . . . . . 30 5.5 瞳孔偵測. . . . . . . . . . . . . . . . . . . . . . . . 33 5.5.1 BioID 影像資料庫. . . . . . . . . . . . . . . . . . . 33 5.5.2 AIPR Lab 人臉影片. . . . . . . . . . . . . . . . . . 35 5.5.3 所提出的方法不同階段結果比較. . . . . . . . . . . 36 5.6 眼睛方向判別. . . . . . . . . . . . . . . . . . . . . 38 5.6.1 評估方法一. . . . . . . . . . . . . . . . . . . . . . . 38 5.6.2 評估方法二. . . . . . . . . . . . . . . . . . . . . . . 39 六、結論.............................................................................. 41 6.1 結論. . . . . . . . . . . . . . . . . . . . . . . . . . 41 6.2 未來研究. . . . . . . . . . . . . . . . . . . . . . . . 41 參考文獻............................................................................................. 42 圖目錄 圖1.1 人臉追蹤偵測. . . . . . . . . . . . . . . . . . . . . . 2 圖1.2 瞳孔偵測與注視方向偵測. . . . . . . . . . . . . . . . 3 圖2.1 臉部對齊概觀. . . . . . . . . . . . . . . . . . . . . . 6 圖2.2 臉部對齊示範. . . . . . . . . . . . . . . . . . . . . . 6 圖2.3 自適應增強分類器. . . . . . . . . . . . . . . . . . . . 7 圖2.4 濾波器. . . . . . . . . . . . . . . . . . . . . . . . . . 8 圖2.5 區域二進位圖形. . . . . . . . . . . . . . . . . . . . . 9 圖2.6 多區塊區域二進位圖形. . . . . . . . . . . . . . . . . 9 圖2.7 級聯分類器. . . . . . . . . . . . . . . . . . . . . . . . 9 圖2.8 原圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 圖2.9 經曲度計算過後. . . . . . . . . . . . . . . . . . . . . 11 圖2.10 機率分佈結果. . . . . . . . . . . . . . . . . . . . . . 11 圖2.11 追蹤學習偵測演算法框架. . . . . . . . . . . . . . . 12 圖2.12 追蹤架構. . . . . . . . . . . . . . . . . . . . . . . . 13 圖2.13 二進位值提取方式. . . . . . . . . . . . . . . . . . . 13 圖2.14 掃描線對. . . . . . . . . . . . . . . . . . . . . . . . 16 圖2.15 叢集. . . . . . . . . . . . . . . . . . . . . . . . . . . 16 圖2.16 緊縮技術. . . . . . . . . . . . . . . . . . . . . . . . 16 圖3.1 人臉分群. . . . . . . . . . . . . . . . . . . . . . . . . 18 圖3.2 加強追蹤機制. . . . . . . . . . . . . . . . . . . . . . 19 圖4.1 相關向量. . . . . . . . . . . . . . . . . . . . . . . . . 21 圖4.2 膚色偵測. . . . . . . . . . . . . . . . . . . . . . . . . 21 圖4.3 對於膚色偵測裁切邊緣. . . . . . . . . . . . . . . . . 22 圖4.4 平均瞳孔中心. . . . . . . . . . . . . . . . . . . . . . 22 圖4.5 瞳孔中心機率分佈圖. . . . . . . . . . . . . . . . . . . 23 圖4.6 修正機制. . . . . . . . . . . . . . . . . . . . . . . . . 24 圖4.7 巴特沃斯濾波器. . . . . . . . . . . . . . . . . . . . . 25 圖5.1 BioID 影像資料庫. . . . . . . . . . . . . . . . . . . . 27 圖5.2 AIPR Lab 人臉資料庫. . . . . . . . . . . . . . . . . . 27 圖5.3 追蹤到的人臉結果. . . . . . . . . . . . . . . . . . . . 28 圖5.4 AIPR Lab 人臉資料庫II . . . . . . . . . . . . . . . . 28 圖5.5 臉部對齊在AIPR 的準確率. . . . . . . . . . . . . . . 31 圖5.6 臉部對齊在BioID 的準確率. . . . . . . . . . . . . . . 31 圖5.7 眼睛偵測在AIPR 的準確率. . . . . . . . . . . . . . . 32 圖5.8 眼睛偵測在BioID 的準確率. . . . . . . . . . . . . . . 32 圖5.9 比較三種方法在AIPR 的準確率. . . . . . . . . . . . 32 圖5.10 比較三種方法在BioID 的準確率. . . . . . . . . . . 33 圖5.11 平均梯度在BioID 測試的準確率. . . . . . . . . . . 34 圖5.12 等高線的曲率法在BioID 測試的準確率. . . . . . . . 34 圖5.13 提出的方法在BioID 測試的準確率. . . . . . . . . . 34 圖5.14 平均梯度法在AIPR 測試的準確率. . . . . . . . . . 35 圖5.15 等高線的曲率法在AIPR 測試的準確率. . . . . . . . 36 圖5.16 提出的方法在AIPR 測試的準確率. . . . . . . . . . 36 圖5.17 提出的方法經過膚色偵測在AIPR 測試的準確率. . . 37 圖5.18 提出的方法經過平均中心機制在AIPR 測試的準確率37 圖5.19 提出的方法(A)與平均梯度法(B)的比較. . . . . . . . 38 圖5.20 提出的方法(A)與缺少角度位移判別機制的提出方 法(C)比較. . . . . . . . . . . . . . . . . . . . . . . . . . 39 圖5.21 注視區域劃分. . . . . . . . . . . . . . . . . . . . . . 39 圖5.22 平均梯度法(A)與提出的方法(B)的比較. . . . . . . . 40 圖5.23 提出的方法(B)與缺少角度位移判別機制的提出方 法(C)比較. . . . . . . . . . . . . . . . . . . . . . . . . . 40 表目錄 表5.1 臉部偵測結果. . . . . . . . . . . . . . . . . . . . . . 29 表5.2 臉部偵測追蹤結果. . . . . . . . . . . . . . . . . . . . 29 表5.3 臉部偵測追蹤時間分析(ms/per frame) . . . . . . . . . 29 表5.4 GPU 追蹤版本與CPU 追蹤版本比較. . . . . . . . . 30 表5.5 使用BioID 資料庫的準確率比較表. . . . . . . . . . . 33 表5.6 使用AIPR 資料庫的準確率比較表. . . . . . . . . . . 35 表5.7 提出的方法中各階段在AIPR 資料庫的準確率比較表. 37

    [1] Timm and Barth. Accurate eye centre localisation by means of
    gradients. In Proceedings of the Int. Conference on Computer
    Theory and Applications (VISAPP), volume 1, pages 125-130,
    Algarve, Portugal, 2011. INSTICC.
    http://www.inb.uni-luebeck.de/fileadmin/files/PUBPDFS/
    TiBa11b.pdf
    [2] Basilio, Jorge Alberto Marcial and Torres, Gualberto Aguilar
    and Pérez, Gabriel Sánchez and Medina, L. Karina Toscano and
    Meana, Héctor M. Pérez. Explicit Image Detection using YCbCr
    Space Color Model as Skin Detection. Proceedings of the
    2011 American Conference on Applied Mathematics and the 5th
    WSEAS International Conference on Computer Engineering and
    Applications,123-128, World Scientific and Engineering Academy
    and Society (WSEAS), 2011.
    http://dl.acm.org/citation.cfm?id=1959666.1959689
    [3] Ian Fasel and Bret Fortenberry and Javier Movellan. A generative
    framework for real time object detection and classification. Computer
    Vision and Image Understanding,182-210, 2005.
    http://dl.acm.org/citation.cfm?id=1959666.1959689
    [4] Ren, Shaoqing and Cao, Xudong and Wei, Yichen and Sun, Jian.
    Face Alignment at 3000 FPS via Regressing Local Binary Features.
    in CVPR , IEEE Computer Society, , pp. 1685-1692
    http://dblp.uni-trier.de/db/conf/cvpr/cvpr2014.html#
    RenCW014
    [5] Turk, Matthew and Pentland, Alex. Eigenfaces for Recognition. J.
    Cognitive Neuroscience, 1991.
    42
    http://dx.doi.org/10.1162/jocn.1991.3.1.71
    [6] Viola, P. and Jones, M. Rapid object detection using a boosted
    cascade of simple features. in Computer Vision and Pattern
    Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE
    Computer Society Conference on, pp. I-511-I-518 vol.1
    http://ieeexplore.ieee.org/xpl/abstractMetrics.jsp?tp=
    &arnumber=990517
    [7] Zhang, Lun and Chu, Rufeng and Xiang, Shiming and Liao, Shengcai
    and Li, Stan Z. Face Detection Based on Multi-block LBP Representation.
    Proceedings of the 2007 International Conference on
    Advances in Biometrics, p11 - 18, 2007, Springer-Verlag.
    http://dl.acm.org/citation.cfm?id=2391659.2391662
    [8] Lin, Yu-Tzu and Lin, Ruei-Yan and Lin, Yu-Chihand Lee, Greg
    C. Real-time eye-gaze estimation using a low-resolution webcam.
    Multimedia Tools and Applications, p543 - 568, 2013.
    http://dx.doi.org/10.1007/s11042-012-1202-1
    [9] Kalal, Zdenek and Mikolajczyk, Krystian and Matas, Jiri. Tracking-
    Learning-Detection. IEEE Trans. Pattern Anal. Mach. Intell,
    p1409 - 1422, 2012, IEEE Computer Society.
    http://dx.doi.org/10.1109/TPAMI.2011.239
    [10] Gurcan, Ilker and Temizel, Alptekin. Heterogeneous CPU–GPU
    tracking–learning–detection (H-TLD) for real-time object tracking.
    Journal of Real-Time Image Processing, p1 - 15, 2015.
    http://dx.doi.org/10.1007/s11554-015-0538-y
    [11] Juránek, Roman; Zemcík, Pavel; Herout, Adam. Implementing the
    Local Binary Patterns with SIMD Instructions of CPU WSCG
    2010: Poster Proceedings: 18th International Conference in Central
    Europe on Computer Graphics, Visualization and Computer Vision
    in co-operation with EUROGRAPHICS, p. 39-42.
    https://otik.uk.zcu.cz/handle/11025/1111
    [12] Valenti, R. and Gevers, T. Accurate Eye Center Location
    Through Invariant Isocentric Patterns IEEE Transactions
    43
    on Pattern Analysis and Machine Intelligence, vol 34, p1785
    - 1798, 2012. https://ivi.fnwi.uva.nl/isis/publications/
    2012/ValentiTPAMI2012
    [13] Jesorsky, O., Kirchberg, K., and Frischholz, R. Robust face detection
    using the Hausdorff distance In Proceedings of the 3rd AVBPA,
    LNCS, pages 90–95, Halmstad, Sweden. Springer, 2001. http://
    dl.acm.org/citation.cfm?id=646073.677460

    QR CODE
    :::