英文單詞的提取雖然比中文簡單的多，通過空格就能完整的獲取單詞，但英文特有的現(xiàn)象是單詞存在豐富的變形變換。為了應(yīng)對這些復(fù)雜的變換，英文NLP相比中文存在一些獨特的處理步驟，我們稱為詞形還原（Lemmatization）和詞干提?。⊿temming）。

詞形還原是因為英文單詞有豐富的單復(fù)數(shù)、主被動、時態(tài)變換（共16種）等情況，在語義理解時需要將單詞“恢復(fù)”到原始的形態(tài)從而讓計算機更方便的進行后續(xù)處理。例如“does，done，doing，do，did”這些單詞，需要通過詞性還原統(tǒng)一恢復(fù)為“do”這個詞，方便后續(xù)計算機進行語義分析。類似的：“potatoes，cities，children，teeth”這些名詞，需要通過Lemmatization轉(zhuǎn)為“potato，city，child，tooth”這些基本形態(tài)；同樣“were，beginning，driven”等要轉(zhuǎn)為“are，begin，drive”。請注意詞形還原通常還需要配合詞性標注（pos-tag）一起來進行，以確保還原準確度，避免歧義發(fā)生。因為英文中存在一些多義詞的情況，例如calves就是個多義詞，即可以作為calf（名詞，牛犢）的復(fù)數(shù)形式，也可以是calve（動詞，生育小牛）的第三人稱單數(shù)。所以詞形還原也有兩種選擇，需要按實際所表示的詞性來挑選合適的還原方法。

詞干提?。⊿temming）是英文中另一項獨有的處理技術(shù)。英文單詞雖然是句子中的基礎(chǔ)表義單元，但并非是不可再分的。英文單詞內(nèi)部都是由若干個詞素構(gòu)成的。詞素又分為詞根（roots）和詞綴（前綴prefix或后綴suffix），而詞根的原形稱為詞干（stems）。例如單詞disability，dis-就是表示否定意思的常用前綴，-lity是名詞常用后綴，able是表示“能力”的詞干，這些詞素合并在一起就構(gòu)成了單詞的含義。

英文的詞素種類非常多（最常用的有300多個），很多源自拉丁語和希臘文。提取詞素對理解英文單詞的含義起著非常重要的作用，例如semiannually這個單詞，可能有的朋友并不認識，如果通過詞素來看：前綴semi-表示“一半”的意思，詞干annul表示年，-ly是副詞后綴，semiannually這個單詞的含義是“每半年進行一次的”。Ambidextrous，heterophobia，interplanetary，extraterritorial等這些看著很復(fù)雜的詞匯，通過拆解詞干的方法能很方便的把握單詞含義，對人類和對計算機來說都是如此。常見Stemming方法包括Porter Stemming Algorithm, Lovins Algorithm和Lancaster(Paice/Husk) Algorithm。目前大部分英文NLP系統(tǒng)都包括詞形還原（Lemmatization）和詞干提?。⊿temming）模塊。（陳運文）

相比英文，中文里是沒有詞干的概念的，也無需進行詞干提取，這是中文NLP中相對簡便的一塊。但在中文里有一個相近的概念是偏旁部首。和英文中“單詞不懂看詞干”類似，中文里“漢字不識看偏旁”。例如“猴、狗、豬、貓、狼”這些漢字，顯然都是動物名詞。當出現(xiàn)漢字“狁”時，即使不認識也能通過部首“犭”猜出這是一個動物名稱，且發(fā)音類似“允”字。再比如“木，林，森”這些字都和樹木相關(guān)，數(shù)量還遞增?！版i、錫、銀、鏡、鐵、鍬”都和金屬有關(guān)?！安伞弊趾褪肿ブ参镉嘘P(guān)?！扒簟弊趾汀霸小弊志透庇^形象了。

借鑒英文中詞干提取的方法，很多人自然會立刻想到：是否我們拆分中文漢字的偏旁部首，作為特征輸入，也能更好的幫助計算機理解中文語義呢？學(xué)術(shù)界確實也有人做過此類嘗試，但是整體收益都不像英文詞干分析那么明顯，這背后的原因是什么呢？筆者認為，其原因首先是常用漢字的數(shù)量遠比英文單詞要少，相比英文單詞數(shù)量動輒數(shù)萬計，加上各種前后綴和詞形變換數(shù)量更多，中文漢字最常用的才過千個。因為字少，每個漢字的意思多，這些漢字的含義通過上下文來獲取的語義描述信息足夠充分，拆分偏旁后額外再能添補的信息作用非常小。即便對罕見字來說偏旁確實能額外補充特征，但因為它們在日常文本中出現(xiàn)頻次太少，對整體文本語義理解的作用很有限，只有在一些專業(yè)性文書的應(yīng)用上可能起少量幫助。

其次是漢字經(jīng)過數(shù)千年的演化，再加上簡化字的使用，很多字形和含義已經(jīng)發(fā)生了巨大變化，偏旁未必能準確表達字的意思，甚至使用偏旁可能還會引入一些噪聲特征。第三是現(xiàn)代漢語里表義的基本單元是多個漢字構(gòu)成的詞，而不是單字。這和英文中表義單元是單詞完全不同。因此對單個漢字的偏旁處理對整個中文NLP起到的作用非常輕微，并未成為中文NLP里常用的做法。

詞性是語言學(xué)的一個概念，根據(jù)上下文將每個詞根據(jù)性質(zhì)劃歸為特定的類型，例如n.名詞 v.動詞 adj.形容詞 adv.副詞等就是最常見的幾類詞性。中英文的詞性盡管整體相似，例如表達一個物品（如蘋果Apple，火車Train）通常是名詞，而描述一個動作（如跑步Run，打開Open）一般是動詞，但在很多細節(jié)上存在差異。如果計算機能夠?qū)γ總€詞匯的詞性進行正確的識別，無疑對增強語義分析的效果有幫助（注：同樣在seq2seq里詞性并不必須，但是對詞性的正確理解仍然有其特定價值）。

在NLP里有技術(shù)分支稱為詞性標注（Part-Of-Speech tagging, POS tagging），中英文各自有其特點。

其一是英文中有一些中文所沒有的詞性。這些詞性大量存在，給語義理解帶來了很好的指引作用。其中最典型的就是英文特有的兩個詞性：一是冠詞，二是助動詞。中文里沒有冠詞一說，在英文中冠詞（Article，一般簡稱art.）也是詞性最小的一類，只有三個：不定冠詞（Indefinite art.）、定冠詞（Definite art.）和零冠詞（Zero art.）。如英文中無處不在的單詞“the”就是定冠詞，the后面通常會緊跟著出現(xiàn)句子的關(guān)鍵名詞+介詞短語。例如“Show me the photo of your company”，通過定冠詞the的指示，很容易的定位本句話的關(guān)鍵實詞是photo。類似的，前面例句“DataGrand is a Chinese company”里“a”這樣的不定冠詞也可以很好的指示出賓語“company”。這些大量出現(xiàn)的冠詞雖然是虛詞，本身并沒有明確含義，但在NLP中用于定位句子中的關(guān)鍵實詞，判斷實詞種類（是否可數(shù)，是否專有名詞等），進而識別出句法結(jié)構(gòu)（后面還會詳細介紹）等，起到了很大的指示作用，也降低了計算機進行語義理解的難度，因而這方面英文比中文有先天優(yōu)勢。

助動詞（Auxiliary Verb）也是英文特有的現(xiàn)象，助動詞的作用是協(xié)助主要動詞構(gòu)成謂語詞組，如am, is, have, do, are, will, shall, would,should, be going to等都是常見助動詞，在英文句子中也大量存在，和冠詞用于指示主語賓語類似，助動詞對識別主要動詞（Main Verb）和謂語會起幫助。

其次，英文在詞性方面的劃分和使用更嚴謹，詞匯在變換詞性的時候會在詞尾形成豐富的變化。例如-ing、-able、-ful、-ment、-ness等都對確認詞性給出具體的提示。名詞中還會進一步區(qū)分可數(shù)名詞、不可數(shù)名詞，在詞尾用-s、-es來區(qū)分。動詞也同樣會存在發(fā)生時態(tài)的指示，過去式，現(xiàn)在時，未來時等非常明確，因此在英文語法中幾乎沒有詞性混淆不清的情況發(fā)生。

而中文的詞性則缺乏類似英文這樣的明確規(guī)范。中國著名的語言學(xué)家沈家煊先生在著作《語法六講》中就曾提出“漢語動詞和名詞不分立”的觀點，將確認漢語詞性的問題描述為“詞有定類”則“類無定職”，而“類有定職”則“詞無定類”。和英文中名詞、動詞、形容詞三大類詞匯相互獨立的“分立模式”不同，中文更類似“包含模式”，即形容詞作為一個次類包含在動詞中，動詞本身又作為次類被名詞包含，而且這個詞性的轉(zhuǎn)換過程非常微妙，缺乏表音語言中的前后綴指示。例如“他吃飯去了”中“吃飯”是動詞，只需要句式稍加變換為“他吃飯不好”，此時“吃飯”就搖身一變成名詞了?！盁釔劬幊獭?、“挖掘數(shù)據(jù)”中，“編程”、“挖掘”等詞，既可以是名詞也可以是動詞。形容詞也有類似的情況，如“活躍”是個常見的形容詞，常用句為“他表現(xiàn)非?；钴S”。但有時也可以變身為動詞“他去活躍氣氛”，還能變?yōu)槊~“活躍是一種行為習慣”?？梢姖h語語境的變化給詞性帶來非常微妙的變化。（陳運文）

漢語沒有英文的屈折變化的特點，不像英語能通過靈活的詞尾變化來指示詞性變化，漢語這種一詞多性且缺乏指示的特點，給計算機詞性標注帶來了很大的困難，業(yè)界對詞性的標準以及標準測試集也很不完善。很多具體詞匯的詞性甚至讓人工來研讀都模棱兩可，讓算法自動來識別就更難了。例如：“他很開心”、“他逗她開心”、“他開心不起來”、“他開心的很”、“開心是他很重要的特點”，這里“開心”的詞性讓人來判斷都很難搞明白，甚至存在爭議。而反觀英語里一個詞被標為動詞還是名詞幾乎不存在爭議。對這些模糊的情況，一些中文語料標注庫里干脆用“動名詞vn”、“形名詞an”等來標記，擱置爭議，模糊處理。

在目前中文NLP詞性標注中，“名動形”糊在一起的特點仍然沒有找到特別好的處理手段，也給后面的句法結(jié)構(gòu)分析，詞匯重要性判斷，核心關(guān)鍵詞提取等語義理解課題帶來了干擾。

在自然語言處理應(yīng)用中，很容易被忽略的是標點和字體等信息的利用。尤其學(xué)術(shù)界研究核心算法時一般都會忽略這些“次要”信息，大部分學(xué)術(shù)測試集合干脆是沒有字體信息的，標點也不講究。但是在實際工程應(yīng)用中，這些信息能起不小的作用。而英漢語在其使用方面也存在一些差異。標點（如？！：——。等）和字體（字母大小寫，斜體，粗體等）雖然本身沒有具體語義，但在辨識內(nèi)容時起重要的引導(dǎo)作用。不妨讓我們想像一下，如果把我這篇文章里所有標點、分段、標題字體等都去掉，讓人來閱讀理解本文內(nèi)容，難度是不是立刻會加大很多？若是換成計算機來讀那就更麻煩了。

在英語中（尤其是書面語中），逗號和句號的使用有明確規(guī)范，一句話結(jié)尾要求必須用句號符“.”，并且下一句話的第一個單詞的首字母要求大寫。英文中從句非常多，從句之間要求用逗號“,”連接，以表示語義貫通。不僅如此，當一句話的主謂賓完整出現(xiàn)后，如果下一句話也同樣是一個完整句子，則兩句話中間或者需要用連詞（如and, or, therefore, but, so, yet, for, either等）連接，或者必須用句號“.”分割，如果中間用“,”且沒有連接詞，則屬于正式文書中的用法錯誤。如：

The algorithms and programs,which used on the website, are owned by the company called DataGrand, and are well known in China.

這里出現(xiàn)的標點和大小寫字體是良好的句子語義指示符，既分割不同句子，也在句子內(nèi)部分割不同語義，這些規(guī)范給英文NLP處理創(chuàng)造了較好的環(huán)境。

中文標點的使用則沒有這么強的規(guī)范。事實上中文標點在中國古代官方文書中一直不被采用，僅扮演民間閱讀中的停頓輔助符的角色。直到1919年中華民國教育部在借鑒了西方各國標點規(guī)范后才第一次制定了漢語的12中符號和使用方法，建國后在1951年和1990年兩次修訂后逐步成型。因為歷史沿革的原因，這些對標點的使用規(guī)范更多偏向于指導(dǎo)意見，而不是一套強制標準。例如對逗號和句號何時使用，并不像英語中有特別嚴格的界定。漢語的分句較為模糊，意思表達完以后雖通常用句號，但用逗號繼續(xù)承接后面的句子也并不算錯，只要整篇文章不是極端的“一逗到底”，即使語文老師在批閱作文時也都不會過分對標點較真，而日常文章中標點的使用更是隨心所欲了。

與此同時，英文里專有名詞用大寫或者斜體字體來區(qū)分，首字母大寫等用法，在中文中也不存在。NLP處理中，中文標點和字體使用的相對隨意給句法分析也帶來了巨大的挑戰(zhàn)，尤其在句子級別的計算機語義理解方面中文比英文要困難很多。

除了上述不利因素，中文也有一些獨特的標點帶來有利的因素。例如書名號《》就是中文所獨有的符號，感謝這個符號！書名號能非常方便的讓計算機程序來自動識別專有名詞（如書名、電影名、電視劇、表演節(jié)目名等），這些名詞往往都是未登錄詞，如果沒有書名號的指引，讓計算機程序自動識別這些中文專名的難度將加大很多，而這些專名詞匯恰恰都體現(xiàn)了文章的關(guān)鍵語義。例如下面這段新聞如果讓計算機來閱讀：“由于流浪地球的內(nèi)容很接近好萊塢大片，因此影評人比較后認為不僅達到了2012的水平，而且對比星際穿越也毫不遜色。

”。要求計算機自動提取上面這句話的關(guān)鍵詞會非常困難，因為里面有很多未登錄詞，對“2012”的理解也會有歧義（時間詞？or電影名？）

而正因為我們中文有書名號，迎刃而解：“由于《流浪地球》的內(nèi)容很接近好萊塢大片，因此影評人比較后認為不僅達到了《2012》的水平，而且對比《星際穿越》也毫不遜色。”。除了書名號，漢語的頓號（、）也能很好的指示并列關(guān)系的內(nèi)容，“達觀每天下午的水果餐很豐富，有桃子、葡萄、西瓜和梨”，這些并列的內(nèi)容可以很方便的被計算機解讀。

英文則沒有書名號和頓號等，而是采用特殊字體（例如加粗、斜體、大寫，各不相同，沒有強制約定）等形式來標識出這些專有名詞。因此在處理英文時，這些字體信息起很重要的作用，一旦丟失會帶來麻煩。

值得一提的是，在日常聊天文字中，標點符號和字母使用的含義產(chǎn)生了很多新的變化。例如對話文本中“。。。。?！蓖磉_出“無語”的情緒?！?？”和“？？？”前者是疑問，后者更多表達震驚。還有 :) \\^o^/ ORZ等各類的符號的變換使用，給開發(fā)對話機器人的工程師們帶來了很多新的挑戰(zhàn)。

詞匯粒度問題雖然在NLP學(xué)界被討論的不多，但的的確確NLP實戰(zhàn)應(yīng)用中的一個關(guān)鍵要點，尤其在搜索引擎進行結(jié)果召回和排序時，詞匯粒度在其中扮演關(guān)鍵角色，如果對其處理不恰當，很容易導(dǎo)致搜索質(zhì)量低下的問題。

我們先看中文，詞匯粒度和分詞機制有很大關(guān)系，先看個例子：“中華人民共和國”這樣一個詞，按不同粒度來切，既可大粒度切為：“中華人民，人民共和國”，也可進一步切出“中華，人民，共和國”，而“共和國”還可以進一步切為“共和，國”。一般我們把按最小粒度切分所得的詞稱為“基本粒度詞”。在這個例子中，基本粒度詞為“中華，人民，共和，國”4個詞。甚至“中華”還能繼續(xù)切出“中/華”也有表義能力（這個后面還會詳細分析）

為什么分詞需要有不同的粒度呢？因為各有作用。大粒度詞的表義能力更強，例如“中華人民共和國”這樣的大粒度詞，能完整準確的表達一個概念，適合作為文章關(guān)鍵詞或標簽提取出來。在搜索引擎中直接用大粒度詞去構(gòu)建倒排索引并搜索，一般可得到相關(guān)性（準確率）更好的結(jié)果。

但從事過信息檢索的朋友們想必清楚召回率（Recall）和準確率（Precision）永遠是天平兩端互相牽制的兩個因素。大粒度詞在搜索時會帶來召回不足的問題。例如一篇寫有“人民共和國在中華大地上誕生了起來”的文章，如果用“中華人民共和國”這個詞去倒排索引中搜索，是無法匹配召回的，但拆分為“中華人民共和國”三個詞進行搜索就能找出來。所以一個成熟的分詞器，需要因地制宜的設(shè)置不同粒度的分詞策略，并且最好還能確保在檢索詞處理（Query Analysis）和索引構(gòu)建（Index Building）兩端的切分策略保持一致（陳運文）。目前學(xué)術(shù)界公開的分詞測試集合，往往都是只有一種粒度，而且粒度劃分標準也并不一致，導(dǎo)致很多評測結(jié)果的高低離實際使用效果好壞有一定距離。

在中文分詞粒度里，有一個非常令人頭疼的問題是“基本粒度詞”是否可繼續(xù)拆分的問題。就好比在化學(xué)中，通常約定原子（atom）是不可再分的基本微粒，由原子來構(gòu)成各類化學(xué)物質(zhì)。但如果進一步考慮原子可分，那么整個化學(xué)的根基就會動搖。同樣在中文NLP領(lǐng)域，雖然學(xué)術(shù)界通常都默認基本粒度詞不再可分，但在實際工程界，基本詞不可再分會導(dǎo)致很多召回不足的問題，引入難以解決的bad case。不要小看這個問題，這是目前限制中文語義理解的一個特別常見的難題。要解釋清楚來龍去脈，筆者還得從漢語的發(fā)展歷程說起。

中國古代漢語的表義基本單位是字而不是詞。我從《論語》中拿一句話來舉例：“己所不欲，勿施于人”。古代漢語一字一詞，這句話拿來分詞的話結(jié)果應(yīng)該是“己/所/不/欲，勿/施/于/人”，可見全部切散為單字了。如果用現(xiàn)代白話文把這句話翻譯過來，則意思是“自己都不愿意的方式，不要拿來對待別人”。現(xiàn)代漢語的特點是一般喜歡把單字都雙音節(jié)化，“己-->自己，欲-->愿意，勿-->不要，施-->對待，人-->別人”。可以看出這些雙音節(jié)（或多音節(jié)）詞匯中部分蘊含著來源單字的意義。這種現(xiàn)象在現(xiàn)代漢語詞匯中比比皆是，例如“獅子”，“老虎”，“花兒”，“圖釘”，“水果”，“紅色”等，對應(yīng)“獅，虎，花，釘，果，紅”等有意義的單字。而如果把這些雙音節(jié)詞作為不可再切分的基本粒度詞的話，當用戶搜“獅”的時候，即使文章中出現(xiàn)了詞匯“獅子”，也是無法被搜到的。

那么如果將這些基本粒度詞再進一步切分呢？會切出“子，老，兒，圖，水，色”這樣存在轉(zhuǎn)義風險的詞匯（即這些單字對應(yīng)的含義并未體現(xiàn)在原文中），帶來很多“副作用”。例如用戶搜“老”的時候，當然不希望把介紹“老虎”的文章給找出來。

與此同時，還有另一類的情況是有一些詞匯切為單字后，兩個單字都分別有表義能力，如“北歐”切為“北/歐”，對應(yīng)“北部，歐洲”兩方面的意思。“俄語”切為“俄/語”，對應(yīng)“俄國，語言”，“苦笑”，切為“苦/笑”，對應(yīng)“痛苦，笑容”，以及“海洋”，“圖書”，“親友”，“時空”等都是可細分的。

還有第三類情況是，詞匯切分后單字都不能體現(xiàn)原詞含義，例如“自然”，如果切分為“自/然”，兩個字都沒有意義。類似的還有“蘿卜”，“點心”，“巧克力”等，外來語為多。

之所以前面提到如今中文語義分析時，基本粒度問題是一個關(guān)鍵難題，原因是在現(xiàn)代漢語寫作時，既有現(xiàn)代雙音節(jié)/多音節(jié)詞匯，也夾雜很多源于古代漢語的單字，半文半白的現(xiàn)象很常見，這就一下給語義理解帶來很大的挑戰(zhàn)。不管是切分粒度的選擇，還是單字和詞匯間關(guān)聯(lián)關(guān)系的提取，標題和正文語義的匹配，當面臨文白間雜時都會遇到難關(guān)。常見的情況為：新聞標題為了精煉，經(jīng)常喜歡采用源自古漢語習慣的單字簡稱或縮略語。例如“中美援非模式差異帶來效果大相徑庭”，是選擇“中美/援非”這樣的基本切分粒度，還是按單字表義切分為“中/美/援/非”，對應(yīng)“中國美國援助非洲”這樣的內(nèi)容，是存在各自的利弊的。計算機提取文章關(guān)鍵詞時，還需要把“援—>援助，非-->非洲”還原為詞并建立關(guān)聯(lián)才能很好的解讀處理。

目前業(yè)界并沒有一個公認的粒度標準，常見的幾個評測語料集合，如北大pku-test，微軟亞洲研究院msr-test，人民日報標注語料等，切分標準都有所不同。雖然一般普遍采用的雙音節(jié)詞為主的基本粒度標準，但是在應(yīng)用于搜索引擎、問答對話時都會出現(xiàn)大量召回不足的問題。而大量采用單字作為基本粒度詞又會引入有轉(zhuǎn)義風險的無效單字，并且還會出現(xiàn)運算性能等隱患。

為了解決基本粒度詞的問題，筆者曾在百度設(shè)計開發(fā)了亞粒度詞（subterm）補足的策略，緩解了召回不足的問題，工業(yè)界還有一些其他的同義詞關(guān)聯(lián)等方法來應(yīng)對，但到目前為止詞匯粒度問題仍然是困擾中文NLP的一個“慢性病”。近年來興起的BERT模型，利用大量文本進行Transform預(yù)訓(xùn)練，填補各種粒度詞匯的語義信息，也是是一種緩解問題的辦法。

英文因為不存在切分問題，所以粒度問題只需要考慮詞組（Phrase）切分的問題。例如Harvard University，兩個單詞可以切為Phrase來表達一個具體機構(gòu)。相比中文的從細到粗的多粒度切分要簡單很多。

自然語言處理在詞匯級別之上是語句級別，因為語句是由一系列的詞匯排列組合后生成的。通過學(xué)習語法我們知道句子結(jié)構(gòu)是由“主謂賓定狀補”這樣的句法元素構(gòu)成的。例句“陳運文去達觀數(shù)據(jù)上班，”主語是“陳運文”，謂語“上班”，“達觀數(shù)據(jù)”是狀語，說明動作發(fā)生的地點。

在句子結(jié)構(gòu)方面，“英語重形合，漢語重義合”的特點體現(xiàn)的非常明顯。英語為了充分體現(xiàn)句子中的各種承接、轉(zhuǎn)折、從屬、并列等關(guān)系，不厭其煩的準備了大量的連詞、助詞、介詞、冠詞等作為填充劑，來補充實詞之間的縫隙，構(gòu)成了很多從句、引導(dǎo)句。這些包含各類結(jié)構(gòu)的結(jié)構(gòu)，讓計算機來進行語義角色標注(SemanticRole Labeling, SRL)和語義依存分析(SemanticDependency Parsing, SDP)相對比較容易。

因為這些形式指示詞的存在，一個大家能很直觀發(fā)現(xiàn)的現(xiàn)象就是英文寫出來的句子往往都特別長，整篇文章篇幅多。而同樣的意思用中文寫出來，篇幅往往只需要英文的一半甚至更少，漢語的句子非常精煉，尤其詩歌用短短幾個字能描述出豐富的內(nèi)涵——“孤帆遠影碧空盡，唯見長江天際流”，多么洗練優(yōu)美有意境。

從計算機的視角來看，恰恰因為漢語講究意合而不重形式，句子結(jié)構(gòu)都比較松散，并沒有英文中那么多的虛詞作為實詞間的語義粘合劑，而是依賴詞匯前后順序關(guān)系，隱含表達出句子結(jié)構(gòu)，所以也給計算機處理帶來了挑戰(zhàn)。例如“中國人工智能創(chuàng)業(yè)企業(yè)獲獎名單公布”這句話里，“中國，人工智能，創(chuàng)業(yè)，企業(yè)，獲獎”這一連串的名詞均是主語“名單”的定語，如果用英語來寫這句話，一定會出現(xiàn)形如“the…of…that…which…”這樣一系列的輔助詞來把這些名詞粘接到一起，而中文并沒有它們。所以當我們訓(xùn)練算法去識別句子主語和定語的時候，必須要小心的判斷哪個名詞才是句子的真正主語所在。漢語中句子的重心往往后移，相反英語中句子主要部分前移，所以通常生成句法依存樹時中文都會自動選擇靠后的名詞。

除了句子內(nèi)部的輔助詞外，在句子間關(guān)系識別時，中英文都會通過特定標識詞連接子句間關(guān)系，例如轉(zhuǎn)折關(guān)系（雖然…但是…），假設(shè)關(guān)系（如果….就…），遞進關(guān)系（不僅…而且…），因果關(guān)系（因為….所以….），英文則是because…, Although…, If…, but also… 等。在中英文中這些標識詞經(jīng)常會被自動省略，例如“車站人流量大，大家要照看好自己的行李”。這里隱含的語義為“[因為]車站人流量大，[所以]大家要照看好自己的行李”，[-]內(nèi)的詞匯被自動省略了。區(qū)別在于英文一般會省略其中一個，例如“because…, so…，”這樣的句子會省掉其中一個，中文則既可以全省掉，也可以全寫出，實際進行語義理解時需要額外補充處理。

目前句法依存分析在實際工程應(yīng)用中并沒有發(fā)揮很大作用，其原因一方面是上述一些現(xiàn)象導(dǎo)致了很難抽取得到特別準確的句法關(guān)系結(jié)果，另一方面是大部分NLP應(yīng)用選擇了直接從詞匯或篇章級別來獲得結(jié)果，省去了中間句子這層。目前業(yè)界針對長程的語義上下文關(guān)系，逐步放棄傳統(tǒng)的RST方法，更多傾向于利用記憶網(wǎng)絡(luò)（如bi-LSTM）等技術(shù)完成提煉。在聊天對話等應(yīng)用方面，用句法結(jié)構(gòu)來把握語義仍然是會有價值的。

計算機進行文章內(nèi)容解讀時，經(jīng)常碰到指代消解（ReferenceResolution）的問題。不論是在書面文本中進行長文章解讀，還是在對話文本中回溯前文問題，指代消解都起到非常關(guān)鍵的作用。計算機需要能像人類一樣建立起上下文間這些詞匯間的關(guān)聯(lián)關(guān)系，做到把概念串聯(lián)起來“讀懂”文章的意思。例如這句話：

“達觀數(shù)據(jù)順利入駐浦東軟件園，公司創(chuàng)始人陳運文表示，達觀專注于為企業(yè)提供文本智能處理軟件系統(tǒng)和技術(shù)服務(wù)。他說：‘文本理解任重道遠’”

這句話里“公司”、“達觀”、“他”這些都是指代詞，“達觀數(shù)據(jù)”、“陳運文”是真正的實體，稱為先行語（antecedent），而“公司”、“達觀”、“他”是回指語（或稱為照應(yīng)語，anaphor）?；刂刚Z有時是代詞（如“He”、“that”、“該公司”、“上述條款”、“前者”、“被告人”等等），有時是簡稱或縮寫（如“達觀”、“CEO”、“NLP”、“WTO”），有時采用借代方法，如“白宮的態(tài)度非常堅決”，“范冰冰們的納稅情況逐步被公布”，“白宮”=“美國總統(tǒng)”，“范冰冰們”=“大陸影視演員”。人類的閱讀能力非常強，各類指代的情況人都能通暢理解，但對計算機來說并不簡單。在NLP領(lǐng)域為此專門存在技術(shù)分支稱為指代消解。指代消解通常又細分為回指、預(yù)指、共指等情形，實踐中通常稱為共指消解（CoreferenceResolution）

英文中常見指代語是專名首字母縮寫，也是表音文字特別之處。英文中專有名詞往往由多個單詞構(gòu)成，篇幅長，從中抽取字母構(gòu)成各類縮寫約定非常常見。縮寫一部分是行業(yè)內(nèi)通用的（例如計算機領(lǐng)域常見的CV，DNS，CPU，NLP等），另一些則是在文中第一次出現(xiàn)專名時臨時約定的。例如一篇行業(yè)分析報告里的句子：“High Carbon Steel (HCS) is typically producedas low carbon steel. HCS export volume in YTD 2017 reached to 6.9 millionmetric tons(MMT).”。這里臨時性縮寫（HCS，YTD，MMT等）大量出現(xiàn)。這些回指語是一個新的獨立單詞（例如例子中的HCS），和原詞匯的關(guān)聯(lián)處理通過共指消解來完成。另一類回指語是“it、which、where、there、that”等這樣的指代詞，要通過上下文依賴關(guān)系去尋找實體。

中文的縮寫通常是從實體中抽取若干漢字新構(gòu)成的詞，例如北京大學(xué)簡稱北大，復(fù)旦大學(xué)簡稱復(fù)旦，XX銀行，通常簡寫為X行，XX局長，簡寫為X局。（陳運文）因為漢字里單字的表義能力比英文中單獨的字母要強的多。我們知道常用漢字有5000多個，而英文字母只有26個，所以中文縮寫詞更容易能讓人“望文生義”，讀懂含義。例如“高碳鋼”這個縮寫即使是外行也能猜出意思，但是HCS怕是很難直接讓人明白是啥，即漢語在縮略語的可讀性上優(yōu)于英文。

正因為英文縮略語可讀性弱，且重復(fù)歧義多，所以為了讓人能讀懂，英文里通常都會清楚標出先行語和縮寫規(guī)則。而漢語里除非嚴格的法律文書會前置術(shù)語表，一般文本里用縮略語時比較隨意，很多時候約定俗成，并不“提前打招呼”。例如新聞：“北大學(xué)生在剛剛結(jié)束的奧數(shù)競賽中成功摘得兩枚金牌”。如果按縮略語習慣，應(yīng)該寫為：“北京大學(xué)（以下簡稱北大）學(xué)生在剛剛結(jié)束的國際奧林匹克數(shù)學(xué)邀請賽（以下簡稱奧數(shù)）中成功摘得兩枚金牌?！?/p>

在共指消解中還會遇到的一類問題是因為語法結(jié)構(gòu)導(dǎo)致的指向歧義的問題。例如“這張照片里有陳運文和高翔的同事”、“那邊坐著三個公司的工程師”，這在前面句法結(jié)構(gòu)解析時提到過，也同樣會影響中英文在處理共指消解時的結(jié)果。

在實際工程應(yīng)用中，共指消解最常用到的場景是對人名、機構(gòu)名、地點、條款、具體事件、關(guān)系類型等要素的指代處理。在超長文書（如證券行業(yè)的上市公司重組公告、招股說明書等）處理方面該技術(shù)也起了很大作用。日常中文的共指消解存在一定的行文規(guī)律，通過預(yù)先挖掘簡寫和指代詞表導(dǎo)入算法中可顯著提升效果。業(yè)界常見的共指消解方法既有傳統(tǒng)的規(guī)則啟發(fā)法，也有經(jīng)典的統(tǒng)計學(xué)習、聚類算法、概率圖模型等，此外深度強化學(xué)習、長短時記憶網(wǎng)絡(luò)等新的Meural Mention-ranking方法也有良好的效果。

詞匯間關(guān)系是構(gòu)建語義網(wǎng)絡(luò)的一項基礎(chǔ)技術(shù)，我們知道同義詞、近義詞、相關(guān)詞是特別常見的詞匯關(guān)系，此外詞匯的上下位（例如在生物知識網(wǎng)絡(luò)中Sparrow屬于Bird，Shanghai屬于China）和詞向量等在NLP處理中都很重要。和英文單詞相比，漢字的數(shù)量少得多，常用漢字數(shù)才2000-3000個，其中最常用的1000個漢字已經(jīng)能覆蓋92%的書面資料了。這1000個漢字中去掉偏旁部首類似的字，獨立語素更是不到500個。在表述事物時漢語中采用字組合的方式，可以非常方便的理解詞義并且研讀出詞匯之間的關(guān)聯(lián)關(guān)系。

而英文單詞動輒2萬-3萬個（美國成年人平均單詞量），而且意思相似的詞匯間的字母構(gòu)成差異很大，所以很多情況下如果沒見過某個單詞，很難像中文一樣大致能猜出詞匯所指的意思。請大家不查詞典猜猜limousine、roadster、saloon分別是什么意思，再看看對應(yīng)的中文意思，就能理解為什么會有這么多英文單詞了。

我們再用下面的這樣一些例子給大家直觀的展示英文在表述相近事物時的差異性：Chick, Rooster, Hen, Egg彼此之間從字母分布上來看很難看出有什么關(guān)聯(lián)，但是換成中文，對應(yīng)的是小雞、公雞、母雞、雞蛋，很容易就能發(fā)現(xiàn)其中的規(guī)律。中文詞匯是由有意思的單字組合構(gòu)成的，因此通過字就很容易觀察和理解詞匯間的關(guān)系。類似的，小牛，公牛，母牛的英文單詞為Calf，Ox，Cow，甚至公牛在英文中還區(qū)分閹割后的steer和沒被閹割的bull。因此漢語NLP中只需要根據(jù)動物名“雞”、“?！?、“豬”、“鴨”加上相應(yīng)的形容詞就可以知道意思了，而在英文中由于單詞的差異無法直接通過單詞的語素關(guān)系直接計算獲得，所以為驗證語義關(guān)系時略為復(fù)雜一些。

知識圖譜（Knowledge Graph）是理解這些詞匯間關(guān)系一種好辦法。詞匯（或稱為實體Entity）間的關(guān)系通過挖掘大量文本、Wiki等來構(gòu)建。英文詞匯間的關(guān)系不像中文這樣能讓人能觀察到，因此構(gòu)建知識圖譜對英文來說非常有價值。例如spaghetti，penne，capellini，fusilli，lasagne，macaroni這些實體，通過構(gòu)建出知識圖譜，才能讓計算機知道他們都屬于Pasta（意大利面）下面的某個品類的名字。近幾年興起的基于Skip-gram或CBOW模型的Word2Vec方法一經(jīng)提出就得到了非常廣泛的應(yīng)用，在實踐中好評如潮，就是因為embedding技術(shù)恰好彌補了英文中詞匯之間關(guān)系不直觀的問題，對提高計算機英文語義理解的能力起到了很好的幫助作用。類似的，中文詞向量、預(yù)訓(xùn)練等技術(shù)構(gòu)建好后，也帶來了整體語義分析效果的大幅度進步。漢語和英語在詞匯間關(guān)系挖掘這個方面，目前整體的算法都是相同的，區(qū)別在于漢語的詞匯間關(guān)系可以更加顯式的被人觀察到。畢竟，讓人來判斷hepatitis和pneumonia，Grape和Raisin，January和March，Monday和Thursday間的關(guān)系，相比分析肝炎和肺炎，葡萄和葡萄干，一月和三月，周一和周三之間的關(guān)系，還是要困難很多的，對計算機來說也是如此。

語境是一個微妙的概念，人類在進行文字閱讀時，不只是看到文字內(nèi)容本身，而是不自覺的會將語境相關(guān)的詞匯自動補充進入字里行間，輔助語義理解。反之，人類在文字寫作時，會將一些重復(fù)內(nèi)容省略掉，主語或賓語是最常被省略的對象。例如摘錄自合同文書的一段文字“本協(xié)議中約定了大橋建設(shè)工程的具體內(nèi)容，其中乙方負責承接，丙方負責監(jiān)督，以確保順利交付”。如果讓計算機來解讀，需要把指代語補齊（用[-]表示）為：“本協(xié)議中約定了大橋建設(shè)工程的具體內(nèi)容，乙方負責承接[該工程]，丙方負責監(jiān)督[乙方的工作]，確保[該工程]順利交付”。 書面文本還相對規(guī)范，如果是日常對話的口語文本，那么省略更加是無處不在，以一個電商客服問答為例：“這雙賣多少？”，“58”?！吧冱c？”，“最低了”?！靶袉?？”，“做不了哎”。如果補齊省略語，應(yīng)該為：“這雙[鞋子的價錢]賣多少？”“[價錢]少點[行嗎]？”“[價錢少點]行嗎？”

除了主謂語省略，一些非常重要的連詞也經(jīng)常被省略，例如“因為…所以…，雖然…但是…，盡管…然而…”，例如：“開車不注意，親人淚兩行”，“股市有風險，投資需謹慎”，補充邏輯連詞后為“[如果]開車不注意，[那么]親人淚兩行”，“[因為]股市有風險，[所以]投資需謹慎”。

英文的省略習慣也存在（全世界人民都愛偷懶），例如省略主語it：“Looks as if it will snow”，省略謂語comes：“Who next?”，省略賓語thedishes:“Let \' s do the dishes. I \' ll wash and you \' ll dry.”,省略連詞that“It \' s a pity[that] she \' s leaving”。當然英文中還有一類約定俗成的獨特簡稱（很多來自拉丁語）e.g., etc., al., i.e., viz.等。

區(qū)別在于英文書面文本中省略出現(xiàn)的較少，同時語義連接詞的省略有固定規(guī)范，例如“because…so…”要求只省其中一個。英文行文時單詞使用量比中文多，同樣的內(nèi)容英文篇幅通常是中文的200%左右，也即中文1頁紙寫完的內(nèi)容，如果用英文寫要2頁甚至更多。如果對比惜字如金的文言文，就更濃縮了。如“民為貴，社稷次之，君為輕”，10個字如果改用英文寫，沒有幾十個單詞怕是說不清楚。那么放到省略環(huán)境下看時，漢語就比較吃虧了，因為本來就濃縮，再加上語法約束不嚴導(dǎo)致時不時省略，對信息的損失比較大。從10個漢字的短句中省略2個字，和從一段20個單詞的英文句子中省略2個單詞，前者對計算機處理來說要費力不少。達觀在進行文本應(yīng)用實踐中，也在想辦法主動“腦補”出這些省略語，加深對文字理解的深度（陳運文）。近年興起的文本預(yù)訓(xùn)練（例如大名鼎鼎的BERT，MT-DNN等）技術(shù)通過海量文本的預(yù)訓(xùn)練，對文本進行表示學(xué)習，運用transform編碼器等把這些詞句中的隱語義信息嵌入（Embedding），結(jié)合Attention機制，填補省略內(nèi)容，在自然語言理解（NLU）的很多應(yīng)用（例如GLUE benchmark、斯坦福閱讀推理SQuAD、SNLI、MultiNLI、SciTail）能大幅度提升效果。

雖然大部分NLP的算法都具備語言無關(guān)性（Language independent），但是在具體工程任務(wù)中還是有很多語言相關(guān)的問題。在漢語中經(jīng)常發(fā)生的一類情況是文字子串局部轉(zhuǎn)義的問題。這個問題因為是漢語所獨有的，在英文中幾乎不曾出現(xiàn)，所以在自然語言處理的學(xué)術(shù)界并不作為主流的課題被研究（因為學(xué)術(shù)界主流還是傾向于研究語言無關(guān)性的課題和方法）。但是筆者在多年從事NLP以及搜索和推薦系統(tǒng)技術(shù)研發(fā)工作時，深深的感受到子串轉(zhuǎn)義是一個非常困難卻也非常重要的漢語NLP課題。對這個課題處理水平的高低直接影響著大量的實際工程效果。下面具體闡述下該問題的定義。

前文我曾提到過漢語中單字不多（3000個漢字可以覆蓋99%的中文文本了），所以漢語里的詞匯大多是由幾個漢字順序組合來形成的。這里潛伏著一個巨大的隱患是，因為字的排列組合形式很多，所以會導(dǎo)致局部出現(xiàn)的一些組合所構(gòu)成的意思，和整體詞的意思不同，出現(xiàn)歧義；或者說一個詞匯中的子串和整個詞的意思會出現(xiàn)很大的差異，因而也稱為子串轉(zhuǎn)義問題。這里我用數(shù)學(xué)形式化的方法再來表述下：假設(shè)A、B、C分別表示三個漢字，那么子串轉(zhuǎn)義就是指詞匯ABC的含義，和AB或者BC的含義完全不相同。當然4個漢字或者更長的短串也類似。例如ABCD和ABC或BCD或AB、BC、CD的意思可能會完全不同，這種意思“突變”的情況稱為子串轉(zhuǎn)義。

例如：“周杰倫”和其中的前兩個字構(gòu)成的詞“周杰”顯然指的是完全不同的兩個人，“蕁麻疹”和“麻疹”是兩種病，“亞健康”和“健康”的意思截然相反。這會給計算機處理帶來很多困難，尤其在搜索引擎中，當用戶搜“周杰”或“麻疹”或“健康”時，如果結(jié)果出“周杰倫上海粉絲見面會”、或“蕁麻疹治療方法”、“導(dǎo)致白領(lǐng)亞健康的主要原因”都是不太好的結(jié)果。我們在搜索引擎中遇到的大量結(jié)果不相關(guān)的問題，很多都是由于漢語中局部轉(zhuǎn)義現(xiàn)象導(dǎo)致的。

同樣，在進行關(guān)鍵詞提取、文本相似度計算、相關(guān)文章推薦等場景的時候，這些局部轉(zhuǎn)義的問題同樣也會帶來很大麻煩。例如“周杰倫上海粉絲見面會”和“周杰倫現(xiàn)身上海電影節(jié)”兩篇文章的內(nèi)容相關(guān)度，顯然遠大于“周杰上海粉絲見面會”。

很多朋友可能會覺得這些都可以視為命名實體識別（NER）問題，將這些專名直接切為一個整體，就能解決上述局部轉(zhuǎn)義的問題了。其實沒這么簡單，因為其實大量的中文詞匯里，局部詞組合成的意思和整體詞匯是存在關(guān)聯(lián)的，如果不切開會帶來召回不足的問題。例如“消防隊”和“消防”，“上班族”和“上班”，“315晚會”和“315”等，甚至前面例子里“周杰倫”和“杰倫”也有緊密的語義關(guān)聯(lián)。當用戶搜索詞是“消防”、“杰倫”、“315”等query時，相應(yīng)的整體詞“周杰倫”、“315晚會”等所在的文章也理應(yīng)被搜出來。因為明明文章里有這個詞且意思相關(guān)，如果沒被找出來是不能被用戶接受的。通過這些例子可見正確處理漢語的字詞組合的確是一件很棘手的課題。再舉個例子：“不可以”這個常用詞，把“不可”單獨作為子串提取出來是非常有必要的，因為和原詞意思相同。但是把“可以”單獨提取出來就很危險，因為和原詞意思相反，單獨進行搜索匹配會導(dǎo)致歧義。再如我們可以把“阿里巴巴”里的子串“阿里”切出來，因為很多時候用戶稱呼“阿里”就是指“阿里巴巴”，但是把“里巴”或“巴巴”切出來則是不合適的。

究竟哪些子串詞匯和原詞意思相同相近？哪些又會發(fā)生轉(zhuǎn)義？這需要計算機更智能的進行判斷才行，目前我們已經(jīng)想了一些方法去解決，例如通過字的共現(xiàn)頻率等進行處理，但離徹底解決漢語里子串轉(zhuǎn)義的問題還有距離。

除了子串轉(zhuǎn)義外，漢語中其他歧義的情況也是比比皆是，例如“我去上課了”、“她看病去了”（主動和被動不明，導(dǎo)致無法區(qū)分老師還是學(xué)生，病人還是醫(yī)生）、“要多少有多少”（無法區(qū)分核心語義是多還是少）、“咬死了獵人的狗”、“喜歡山區(qū)的孩子”（無法區(qū)分狗或孩子是主語還是賓語）。因為中文不是靠詞匯的變形變換來體現(xiàn)修飾、主被動等關(guān)系，而是靠順序組合來體現(xiàn)，因此在中文NLP的各個環(huán)節(jié)，從分詞、詞性、句法、指代，到局部子串處理等，都會帶來歧義理解的問題。

英文中也存在歧義問題，最常見的情況是英文多義詞導(dǎo)致的。例如“He went to the bank”既可以理解為“他去了銀行”，也可以理解為“他去了河岸邊”，“The doctor saw the Indian dance”，單詞Indian 既可以視為形容詞“印第安人的舞蹈”，也可以是名詞“印第安人+跳舞”，還有英文中不定式導(dǎo)致的歧義，如“Not many books filled the shelves”，可以理解為“書架上沒有幾本書”或者“要放滿那些書架不用很多書”。

其實所有的人類語言都存在著各式各樣的歧義的問題，我們看到各個民族所流傳的笑話里很多都是拿這些歧義語義來打趣的。不同語言處理歧義的具體方法不同，但整體思路都是將歧義句放到句子上下文里來解讀，引入更多語境信息來正確獲得意思。

可以說計算機進行語義理解的結(jié)果，某種程度上就是在和各種各樣的歧義做斗爭的過程。打個比方，自然語言處理的過程就像是讓計算機拿著用上下文語境拼湊出的一張殘缺的地圖，撥開云遮霧繞的文字迷霧，越過歧義所埋下的一個個大坑，逐步接近語義真相的過程。

中文和英文這兩類全球使用人數(shù)最多，影響力最大的語言，有各自鮮明的語言特色，在計算機進行自然語言處理領(lǐng)域也有各自獨樹一幟的地方。本文從語言特點的角度出發(fā)，從10個方面分析了中英文在自然語言處理上的差異。隨著全球化的發(fā)展，中英文在不斷相互影響，相互滲透。例如中文中有大量的外來語來自英文，沙發(fā)、咖啡、巧克力、牛頓等這些頻繁出現(xiàn)的詞匯都源于英文，還有很多專業(yè)術(shù)語如NGO、WTO、CFO等，甚至NLP一詞本身也是源自英文。英文也在受中文影響，每年都有近千條外來詞匯新收錄入英文詞典，如Kungfu（功夫），tofu（豆腐）等。

無論是中英文各自的NLP應(yīng)用，還是兩種語言之間的相互翻譯，都面臨著非常巨大的技術(shù)挑戰(zhàn)，因為語言的產(chǎn)生和發(fā)展受人類日常交流和使用的影響，雖然有一定的語法規(guī)律，但并不完全嚴格的，另外語義理解還受上下文語境、以及領(lǐng)域知識的影響非常大，這些都給計算機處理帶來了很多困難。

雖然整體上NLP的算法都是語言無關(guān)的，但是在細節(jié)處理上還是存在很多差異，尤其在實際工程應(yīng)用中為了達到盡可能好的效果，往往要深入探究語言的特點。因此本文從兩種語言的特點出發(fā)，結(jié)合作者在計算機文本處理方面的從業(yè)經(jīng)驗，分析了兩者NLP的異同點，雖掛一漏萬，但期望對各位讀者有所啟發(fā)，也期待未來中英文的語義理解技術(shù)都不斷創(chuàng)造新的突破。（陳運文 達觀數(shù)據(jù)）

達觀數(shù)據(jù)是一家專注于文本智能處理技術(shù)的國家高新技術(shù)企業(yè)，獲得2018年度中國人工智能領(lǐng)域最高獎項 “吳文俊人工智能科技獎”，也是本年度上海市唯一獲獎企業(yè)。達觀數(shù)據(jù)利用先進的自然語言理解、自然語言生成、知識圖譜等技術(shù)，為大型企業(yè)和政府機構(gòu)提供文本自動抽取、審核、糾錯、搜索、推薦、寫作等智能軟件系統(tǒng)，讓計算機代替人工完成業(yè)務(wù)流程自動化，大幅度提高企業(yè)效率。

以上就是關(guān)于銷售pos機口語,中文和英文語言差異和計算機處理的區(qū)別的知識，后面我們會繼續(xù)為大家整理關(guān)于銷售pos機口語的知識，希望能夠幫助到大家！