如何判斷兩段文字說的是 同一件事情 ?

時間 2021-05-05 17:36:30

1樓:我叫大王來巡山

你說的這個問題就是關於句對匹配的乙個子問題:Paraphrase Identification(釋義識別),即給定兩個句子,判斷它們是不是表達同乙個意思,然而現在大部分的模型很難真正做到。

2樓:

前段時間在看了看相關的內容。深度學習來說現在大致可以分為encoder-based structure和interaction-based structure。

前者往往是採用siamese network的結果,就是先用兩個encoder(shared or not shared)將兩個文字投射到向量空間,之後對兩個向量進行拼接,比如concatenate,或者求l1 norm或者cos等等,之後使用分類來判斷。

後者的話是直接對兩個句子求乙個相關矩陣,比如Text matching as image recognition裡面,對embedding後的兩個句子求乙個相關矩陣,之後將這個矩陣看作image來進行分類。

3樓:

(深度學習角度)有大量訓練集的話,用bi-lstm對兩段字串encode,設計相似度函式作為目標函式訓練模型

(知識圖譜角度)沒有訓練集的話,可先做詞性標註,將重要的名詞形容詞用Wordnet對這些特徵詞彙做資料增強,找到同義詞群匹配同義詞群相似度

當測試句子相似度高於某閾值,可判為「同一件事情」

4樓:Han Yang

算是Textural Entailment的應用,可以參見The Stanford Natural Language Inference (SNLI) Corpus:The Stanford Natural Language Processing Group

這個語料庫包含了Text、Hypothesis,和乙個Judgement標註了Text和Hypothesis的語義是相同的(entailment)/相反的(contradiction)/無法判斷的(neutral):

一些模型和準確率:

5樓:鄒大爺

目前還做不到這麼智慧型,之前這麼做過:直接查表得到向量後,經過autoencoder然後算馬氏距離,準確率85左右。這種判斷是不是乙個事實的,還可以用句法+消歧的方式來做,有機會會嘗試一下。

6樓:abcxyz

目前主要通過無監督的相似性來判斷。如果是做監督學習,我覺得可以利用問答對來做,主流社群的問答資料。

通過問題和答案之間的相關性來建模,乙個問題的對應回答,比其他問題的回答更相關。通過這個訓練出問題的特徵向量模型。

男朋友答應的事做不到,而且是同一件事

灰色蛻變 1.難度大,這件事本身,比如鐵人三項 一夜七次郎等等2.不重要,這件事影響不大,或無意義。比如左腳先進門 一周不穿紅襪子。3.衝突,比如過年去你家還是他家,吃西餐還是中餐,二選一無法兼顧。4.巧合,比如突然有事,加班,堵車等等。5.不愛你!還有很多可能,我覺得你不要只往壞的方面選!多溝通 ...

判斷一件事的對錯,是看起因還是結果?

哈哈哈哈 我記得曾經在知乎上看到乙個回答。畢竟我不是學法律的,不太專業。說法律上有兩個巨大的分歧。一方認為 動機是最重要的。比如你想故意殺人一方認為 結果是最重要的。比如你不小心把人殺了。我覺得應該視情況而定。比如你乙個粗心失誤,把一棟居民樓點著了。燒死幾十個人。就算你沒有動機,也要槍斃你十分鐘。如...

學習和讀書真的是一同一件事嗎?

暴力行善 讀書和學習不是同一件事。讀書本意是學習書中知識,學習知識及技巧的方法不僅僅只能依靠讀書獲取。學習包含讀書,讀書只是學習的路徑之一。讀書相比別的學習路徑來說,成本相對低廉。不讀書,最多文憑止步於此。不學習,人生的輝煌就止步於此了。活到老,學到老。學無止境。 紅姐 就是這麼巧,我正想寫乙個類似...