全球學習漢語的人數已超過四千萬，而這個數字還在持續增加當中。華語文能力測驗也逐漸成為世界知名的語文能力測驗，但是台灣的華語文測驗發展較中國大陸的漢語水平考試HSK晚十五年。然而，拜科技所賜，現今我們可以利用電腦輔助完成這種耗時耗力的工作。華語文電腦出題目前還只是剛起步的研究領域，英文詞彙語法(Multiple-choice cloze)電腦出題有很多方法值得華語文詞彙語法電腦出題借鏡，但用來篩選候選誘答選項的方法，卻無法直接套用到華語文詞彙語法之電腦出題上。本研究目的是設計一個方法來計算華語文詞彙語法之誘答選項的正答力，解決篩選候選誘答選項的問題，並以Google為N-gram的count值來源。本研究參考Markov chain及Katz Backoff演算法來設計本研究的方法，並以台灣華語文能力測驗TOP-Huayu的詞彙語法題100題評估本方法的準確度。

Over 40 million people are learning the Chinese language and interest keeps growing. The Chinese proficiency test becomes progressively a famous language test in the world. The first formal Chinese proficiency test by Taiwan comes fifteen years after the Hanyu Shuiping Kaoshi (HSK) by China. Thanks to computer technology, we can generate the test by a computer easily. Computer-assisted Chinese language testing generator is still a brand new field of research. There are many methods from English multiple-choice cloze generator can be refer to Chinese multiple-choice cloze generator except the method for filtering unsuitable candidate distractors. The purpose of this study is to design a new method to compute correctness of candidate distractors. This study solves the problem of filtering unsuitable candidate distractors. The N-gram count value of this method is from Google web search. The accuracy of this method is assessed by one hundred Chinese multiple-choice cloze questions of TOP-Huayu.

中文文獻
柯華葳（2004）。華語文能力測驗編製研究與實務。台北：遠流。
國家對外漢語教學領導小組辦公室漢語水平考試部（1992）。漢語水平詞彙與漢字等級大綱。北京：北京語言學院出版社。
張莉萍（2002）。華語文能力測驗理論與實務。台北：師大書苑.
郭生玉（2004）。教育測驗與評量。台北：精華。
曹逢甫（2004）。曹序。載於柯華葳（主編），華語文能力測驗編製研究與實務 （ 11-12頁）。台北：遠流。
童國倫、潘奕萍（2009）。研究資料如何找？Google It！。台北：五南。
陳慶龍（2006）。可提供語意搜尋之部分知識建構（碩士論文，國立成功大學，台南）。
陳柏熹（2010）。電腦化適性測驗的題庫建置。載於吳清山（主編），測驗及評量專論文集題庫建置與測驗編製（205-231頁）。台北：國家教育研究院籌備處。
余民寧（2010）。測驗建置流程及新概念。載於吳清山（主編），測驗及評量專論文集題庫建置與測驗編製（79-99頁）。台北：國家教育研究院籌備處。
Hsu, O. L. J.、Yang, J. C. （2011）。「一個基於語言模型之華語文詞彙語法誘答選項正答力的計算方法」。第十五屆全球華人計算機教育應用大會GCCCE2011論文集：2冊（1262-1266頁），中國杭州浙江大學。
余坤庭、陳劭茹、林宗璋、周中天（2009）。「華語文電腦化口語測驗系統設計與實踐」，第六屆全球華文網路教育研討會，台北市。
洪小雯（2009）。「對外漢語測驗克漏字（完形測驗）文本分析初探」，2009 年全美中文教師學會年會（ACTFL），美國聖地牙哥。
洪豪哲、林孟君、劉育隆、郭伯臣（2010）。「以CEFR為基礎之華語閱讀測驗系統適性化機制之建立」，2010電腦與網路科技在教育上的應用研討會，台北市。
徐立人、楊接期（2011）。「華語文選擇克漏字測驗之誘答選項產生器初探-利用Google計算誘答選項的正答力」，載於陳俊光（主編），第七屆全球華文網路教育研討會ICICE2011論文集光碟（345-354頁）。台北市：中華民國僑務委員會。
張國恩、陳學志、鄭錦全、宋曜廷、蔡雅薰、周中天（2010）。「能力導向之全方位華語學習--能力導向之全方位華語學習（2/3）」，專題研究計畫NSC 98-2631-S-003-001-，行政院國家科學委員會。
張莉萍（2007）。「華語文能力測驗（TOP-Huayu）發展現況」。2007年「外語能力測驗之動向與展望」國際學術研討會，台北市。
張莉萍、陳鳳儀（2006）。「華語詞彙分級初探」。第六屆漢語辭彙語義學研討會會後論文集（250-260頁），新加坡：新加坡中文與東方語言信息處理學會出版。
張莉萍、陳鳳儀（2008）。「能力考試與學習之間的關係」。2008ACTFL年會，美國佛羅里達州。
陳懷萱、鄧智生（2003）。「線上華語文能力測驗之實驗與結果分析」。第三屆ICICE全球華文網路教育研討會，台北市。
鹿士義、余嘉元（2003）。「當前HSK中若干值得進一步研究的課題探討」。漢語學習，4，53-58。
藍珮君（2007）。「基礎華語文能力測驗與歐洲共同架構的對應關係」。台灣華文教學學會會刊，總第三期（2007年第二期），39-47。
國家華語測驗推動工作委員會（2009）。統計資料，取自：http://www.sc-top.org.tw/chinese/report.php
第一套HSK模擬題（2005）。HSK中心。2011年4月22日，取自：http://www.hsk.org.cn/intro_sample.aspx
華語文能力測驗中等模擬試題（2003）。國家華語測驗推動工作委員會。2010年12月，取自：http://www.sc-top.org.tw/download/mock0708/mock_test_2_int.pdf
華語文能力測驗中等模擬試題答案（2003）。國家華語測驗推動工作委員會。2010年12月，取自：http://www.sc-top.org.tw/download/mock0708/int_answer.pdf。
華語文能力測驗初等模擬試題（2003）。國家華語測驗推動工作委員會。2010年12月，取自：http://www.sc-top.org.tw/download/mock0708/mock_test_2_bas.pdf
華語文能力測驗初等模擬試題答案（2003）。國家華語測驗推動工作委員會。2010年12月，取自：http://www.sc-top.org.tw/download/mock0708/bas_answer.pdf。
華語文能力測驗高等模擬試題（2003）。國家華語測驗推動工作委員會。2010年12月，取自：http://www.sc-top.org.tw/download/mock0708/mock_test_2_adv.pdf。
華語文能力測驗高等模擬試題答案（2003）。國家華語測驗推動工作委員會。2010年12月，取自：http://www.sc-top.org.tw/download/mock0708/adv_answer.pdf。
------------------------------------------------------------
英文文獻
Bensoussan, M., & Ramraz, R. (1984). Testing EFL reading comprehension using a multiple-choice rational cloze. Modern Language Journal, 68(3), 230-239.
Cai, D., Cui, H., Miao, X., Zhao, C., & Ren, X. (2004). A Web-based Chinese automatic question answering system. Paper presented at the Computer and Information Technology, 2004. CIT ''04. The Fourth International Conference on.
Chen, C.Y., Liou, H.C., & Chang, J. S. (2006). FAST: an automatic generation system for grammar tests. Proceedings of the COLING/ACL on Interactive presentation sessions, Sydney, Australia.
Chen, K.J. & Bai , M, H. (1998).Unknown Word Detection for Chinese by a Corpus-based Learning Method. International Journal of Computational linguistics and Chinese Language Processing, 3, 27-44.
Council of Europe (2001). A Common European Framework of Reference for Language: Learning, Teaching, Assessment.Cambridge University Press.
Figueroa, A., Neumann, G., & Atkinson, J. (2009). Searching for Definitional Answers on the Web Using Surface Patterns. Computer, 42(4).
Goodman, J. T. (2001). A bit of progress in language modeling. Computer Speech & Language, 15(4), 403-434. doi: 10.1006/csla.2001.0174
Goto, T., Kojiri, T., Watanabe, T., Iwata, T., & Yamada, T. (2010). Automatic Generation System of Multiple-Choice Cloze Questions and its Evaluation. Knowledge Management & E-Learning: An International Journal (KM&EL), 2(3), 210.
Huang, Y. P., Chiu, H. W., Chuan, W. P., & Sandnes, F. E. (2010). Discovering fuzzy association rules from patient''s daily text messages to diagnose melancholia. Paper presented at the Systems Man and Cybernetics (SMC), 2010 IEEE International Conference on.
Jurafsky, D., & Martin, J. H. (2009). Speech And Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition 2/E. Upper Saddle River, NJ: Prentice-Hall.
Kilgarriff, A. (2007). Googleology is bad science. Computational Linguistics, 33(1), 147-151.
Liu, C. L., Wang, C. H., & Gao, Z. M. (2005). Using Lexical Constraints to Enhance the Quality of Computer-Generated Multiple-Choice Cloze Items. International Journal of Computational Linguistics and Chinese Language Processing, 10(3), 303-328.
Ma, W.Y., & Chen, K.J. (2003). Introduction to CKIP Chinese word segmentation system for the first international Chinese Word Segmentation Bakeoff. Proceedings of the second SIGHAN workshop on Chinese language processing - Volume 17, Sapporo, Japan.
MercoPress. (2010). Forty million world-wide learning Chinese at Confucius Institutes – MercoPress. Retrieved Jan 20, 2011, from the World Wide Web: http://en.mercopress.com/2010/07/21/forty-million-world-wide-learning-chinese-at-confucius-institutes
Mitkov, R., & Ha, L. A. (2003). Computer-aided generation of multiple-choice tests. Proceedings of the HLT-NAACL 03 workshop on Building educational applications using natural language processing - Volume 2.
Silye, M. F., & Wiwczaroski, T. B. (2002). A Critical Review of Selected Computer Assisted Language Testing Instruments. Retrieved Jan 20, 2011, from the World Wide Web: www.date.hu/acta-agraria/2002-01i/fekete1.pdf
Sumita, E., Sugaya, F., & Yamamoto, S. (2005). Measuring non-native speakers'' proficiency of English by using a test with automatically-generated fill-in-the-blank questions.Proceedings of the second workshop on Building Educational Applications Using NLP, Ann Arbor, Michigan.
Taylor, W. (1953). Cloze procedure: a new tool for measuring readability. Journalism quarterly, 30, 415–433.
Wang, H. P., Kuo, B. C., & Chao, R. C. (2010). A Multidimensional Computerized Adaptive Testing System for Enhancing the Chinese as Second Language Proficiency Test. Paper presented at the The 9th International Conference on EDUCATION and EDUCATIONAL TECHNOLOGY, Iwate, Japan.
Yang, Y. C. (2006). Web-Based Semantic Processing for Self-Paced Language Learning and Assessment(Master thesis, National Tsing Hua University).