人工智慧理解自然語言的原理是什麼?

時間 2021-05-13 01:12:26

1樓:牛博

主要原理就兩個:模式匹配統計推斷。

說人話, 就是按說話習慣(規則、 語法結構) 找出語義和靠投票統計(三個臭皮匠抵個諸葛亮) 猜出語義這兩個原理。

但,這兩種方法都不可能徹底成功!實際狀況也與現在的 NLP 研究現狀相吻合。

為什麼這麼說?

先想想自然語言是什麼吧?人工智慧又是啥?

人類通過長期進化, 為了交流產生了語言, 為了記錄和傳承, 又把語言的語義對映到文字進行傳播交流,自此文明開始。估且我們只把文字(再縮小一點漢字) 稱為自然語言。

但請注意,這個對映不是數學的函式式一一對映,是有映錯或映重的, 它不可逆。

而現在的人工智慧試圖利用數學式把所有反函式依靠規則找出來,這本身就是個錯。因為這種規則實在太多了, 只是看著好像挺少的,就像人們對數論中素數的感覺一樣,看著挺少實際無窮, 先人們允許出錯的這種發散規則就會導致無窮, 所以早期的規則匹配一直處於泥潭之中。

再看統計投票式,起先, 面對龐大的資料,這樣做肯定是為智者所不齒的,但隨著統計速度的革命性提公升,他們用事實贏得了掌聲與肯定。但其致命性弱點也很明顯,並不是每次「三個臭皮匠抵個諸葛亮」 都正確的,小概率!

最後,再看人工智慧又是個啥? 它應是指輔助人更快、更準的處理複雜問題的工具, 其理解自然語言的原理也必是基於這最原始的需求驅動的, 兩個方向,殊途同歸,現在統計這個方向表現更好!

2樓:陽陽

如果你是研究這課題又追求卓越,那麼你必定擁有求真的精神。

據我所知,不少書籍專家都認為自然語言的本質就是符號系統,個人認為是錯的。

反例:第一,生活中有些語句不是用來傳遞資訊,而是用來影響聽眾的情緒、烘托氣氛。比如:

媽媽跟幼兒聊天幼兒是不懂意思的。 又比如:情侶很親密的聊天,某些語句也不是用來傳遞資訊的。

細心觀察就會觀察到。

第二,任何一條語句把其中文字顛三倒四後,在特定場景下照樣可以傳遞資訊。比如:

「你好」這句話的意思大家都懂;「好你」一般是沒用的,但某些情景下就有用。比如,假設兩個要好的同事A和同事B在QQ上聊天,因為同事A在專案上搶了同事B的功,同事B很氣憤,說: 好你,總有一天會讓你後悔。

這裡的「好你」表達出 「你厲害等著瞧」的意思。

個人認為,自然語言的本質是能引起神經系統發生規律性變化的一類訊號。雖然這定義不嚴謹,但相信是對的。而用自然語言來溝通的過程有點像「共鳴」,彼此的神經系統發生相類似的規律變化,從而實現資訊的傳遞。

所以,脫離神經系統的運作規律來研究自然語言,就像中醫研究感冒,脫離病毒和免疫系統的活動規律而糾纏在風熱與風寒、陰陽等符號,雖然有用但抓不住本質。

剩下就交給專家了。

3樓:這個民科有點忙

siri 這個和人工智慧沒關係吧。看下我寫的文章(點我空間,應該能找到),能幫助你理解目前人工智慧的水平。要提高自然語言的人機互動水平,靠蘋果、微軟這些公司是沒什麼用的。

也許靠我還有點指望。

4樓:道窮則變

1、其實是沒有所謂的理解,貌似目前也不能理解

2、只是根據一定的特徵進行猜測,然後進行處理,訓練較多、比較容易猜的方面,就顯得很智慧型

5樓:Da Huang

人工智慧有很多很多的模型/方法來實現,我這裡主要談談在深度學習下,特別是在編/解碼器架構下,機器理解自然語言的原理。

深度學習理解自然語言是通過編碼器(Encoder)來實現的。對於自然語言的句子,機器並沒有辦法直接理解它的意思,我們需要用編碼器把句子轉換成機器比較容易理解的編碼才行。

以如下郵件自動回覆模型為例,

左邊編碼器(ENCODER)以LSTM

為基本網路結構(LSTM是RNN的一種經典實現),依次從左要右讀入郵件中的詞,最終所有詞都讀完後,得到的輸出(圖中的thought vector)是乙個浮點數向量。我們稱這個向量是該郵件的編碼,該編碼中隱含了機器對這個郵件的理解。

當然,這個浮點數向量本身對於人類來說是不可閱讀的,所以我們要用解碼器(DECODER)讓機器輸出我們能理解句子。上圖中,解碼器也是乙個LSMT,它依次輸出各個詞,直到輸出為止。

聽起來這確實有點玄乎,但在實際運用中卻能夠取得不錯的效果。我覺得這主要還是得益於我們用大量的訓練資料(《郵件原文,郵件回覆》)去訓練這組編解碼器,使得網路中的各種權重擬合了資料的樣式。

在上述例子中,ENCODER和DECODER都是LSTM來實現的,因為LSTM擅長處理序列輸入和序列輸出。但這並不意味著我們在理解自然語言的任務中只有這樣一種選擇,特別是當我們要解決乙個分類問題的時候,我們會更加自然地用乙個簡單的Softmax層作為DECODER。哪怕在乙個郵件自動回覆系統或者機器翻譯任務中,只要網路的組合方式合理得當,我們仍然可以選擇CNN[Gehring et al.

2017],ATTENTION[Vaswani, et al., 2017]等非RNN的網路作為Encoder、Decoder的基本結構,並取得不錯的效果。

最後,值得一提的是,在上述例子中,我們一般不會把詞語直接讀入LSTM,而是先把詞語對映成乙個浮點數向量(不同的詞語對應不同的向量),用來表示這個詞的語義。假設你的詞典裡面有100,000個詞,那麼就有100,000個向量。我們稱這樣的向量為embedding或者word vector。

增加這個步驟的目的是為了增強編/解碼器對於詞語的理解。當我們訓練完這組編/解碼器之後,就會神奇地發現,詞向量具有了詞語的語義。如下圖所示,

embedding(king) - embedding(queen) ~= embedding(man) - embedding(woman)

這也就給詞語的加減運算賦予了物理意義,這對於神經網路理解整個文字是很有益處的。

6樓:不寧

缺少語言學領域大量而基礎的理論性工作的推進和突破,人工智慧在理解和表達能力上就不可能有真正的「自然」。

哪天,語言學摸到了「基因」層面,人工智慧也就真正摸到了「自然語言」的大門口。

7樓:LLL ZZZ

你要知道,人類理解自然語言的原理是什麼?不是什麼邏輯,不是什麼語法,而是表現形式。固定的表現形式,表達固定的含義。

所以,判斷人類自然語言需要的人工智慧是很低階的,因為把全世界的所有人類語言表現,全部儲存並且把意思一一對應,都不是什麼難事。而任何新產生的人類語言表現,往往是符合語法規律的。

8樓:

我覺得都沒有辦法判定人是否理解自然語言的原理。計算機可以表現得像人,但它們終究和人不是乙個種族。它們現在使用人類為其設計的語言。它們也終將有自己的語言。

9樓:冰笛

如果理解分層次的話,根據語義分解製作的系統存在很大的問題,只能做到表層理解。完美的理解其實是一種共鳴。敘述者和傾聽者之間存在共性,並針對同一事件產生了相同的感受,這種感受的表達非常容易被接受,這就是理解,甚至達到此處無聲勝有聲的境界,這個就是差距。

10樓:xuran

siri is kinda of joint speech recognition and NLP, or they just use real human in Mechanical Turk.

11樓:Scisaga

你說的問題可能需要分拆一下:

1. 自然語言分析(NLP)

2. 人工智慧(謂詞邏輯模型、機器學習ML、支援向量機SVM、神經網路、貝葉斯逆概網路等)

自然語言分析是將語音和非結構化的文字段落進行轉化、分詞、進行詞性標註、進行實體識別、用Parser構造為語法樹,以供計算機可以使用邏輯方法進行識別和認知。

而人工智慧部分,則提供了諸多的方法,以自然語言分析的結果作為輸入,進行知識概念關係抽取、進行特定領域的問題判別等等。

理論上講,足夠多神經元的正向反饋神經系統,通過訓練,可以近似模擬大腦對外界訊號的判斷。

當然,得到判斷結果之後,再如何將這些結果反饋回來讓人去理解,與人互動就又是另外乙個領域的問題了(HCI)。

12樓:李超

我正在做智慧型語言處理,說說,我的想法:

先把句子分詞,也就是類似英語的乙個個單詞,然後算出,這些詞彙與你資料庫中的問題的距離,得到距離最近的問題,然後給出答案,我是這樣做。

大師級的人忽略~~~~

13樓:遍歷分形2077

siri這些軟體並沒有真正做到理解,它們所做的,充其量算是語音搜尋加tts罷了,google now更進一步,但也沒有做到真正理解,只是有經過優化的匹配演算法而已。

如果說機器可以理解,至少是機器可以識別人類自然語言的動詞體系,它應該有一套對於初始動詞的完整定義,然後通過特定的機制(動詞體系)來新增新的詞彙和定義,就像編寫維基百科一樣,這是一種還原論的思路,而重點在於確定不可再分的原子,它們會是什麼呢?

14樓:xinix

目前人類對於自然語言的理解還停留在比較膚淺的層次,所做的工作也僅限於某乙個特定的任務。

利用人類自身的智慧型標註好的知識,建立模型,然後使用模型。

siri的任務在自然語言中被稱為自動問答系統,也就是從大量的已經建立好的問題和答案中,找到或者組合已有的問題和答案來得到使用者使用者期望的答案,之後再通過語音合成說出來。

語音合成目前已經做得非常好了,所以目前主要的困難還是集中在自然語言的理解中。目前的方法大致都是這種建立模型,訓練模型,利用模型的方法。並沒有很好的解決方案,當下最好的自然語言系統也只能做簡單的模型式」理解「,並沒有真正的理解語言本身。

即使是當下最火的深度神經網路,也是乙個模型式的方法,並沒有跳出原來的框框。

至少我以為,人工智慧程式最終的目標應該是能從很少的公理出發,通過大量的閱讀人類已有的知識,然後能夠回答基於這些已經閱讀過的知識的任何問題。人工智慧的終極目標是仿製人類自己,而完成乙個真正的自然語言理解系統也幾乎相當於建造乙個大致相當於人腦功能的理解系統。這也是我個人認為的人類終極問題之一。

不得不說,為了完成這個目標,人類還有很長的路要走。

如何認識和看待人工智慧?人工智慧的巔峰是什麼?

冰笛 這個領域挺烏煙瘴氣的,一大幫研究弱智能的人打著強智慧型的旗號招搖撞騙之後,都成了反斗鬥士了,其實大多人都還是些摸象的瞎子!就是嗓門大些而已。強智慧型難在需要融會貫通各個學科的知識,是跨界中的跨界,只有這樣,才能兼顧百家之長,才能高屋建瓴,才能看清楚智慧型的全貌。所以那些研究弱智能的專家們,還是...

NLP和人工智慧,距離機器真正理解人的語言,創作自己的東西有自己的思想還有多遠

馬屁哥哥 目前的深度學習其實還離不開統計機器學習的範疇,可能需要一種完全新的正規化才行,沒有關注過相關的方向,也不知道啥時候才能有突破。 風的聲音 目前看,感覺很難給出乙個判斷。機器理解人類的語言是理解某一專業領域還是人模擬較泛的日常生活領域?創作自己的 哪類 東西是否被人類認可?換句話說,機器真正...

人工智慧是新的迷信嗎?

guan chen 的確是迷信,但是我認為人現在對自己的存在也存在迷信,為什麼你獲取世界的資料就不是資料?為什麼父母社會打的標籤就不是標籤?為什麼你認為的思考過程不是資料處理過程,參與了小孩子的教育,感覺這一切都是在跟乙個機械人進行深度學習訓練。我不明白為什麼人總是覺得自己就是高人一等的,簡直就是人...