工業級推薦系統是否可以使用搜尋引擎作為後端實現?

時間 2021-05-30 00:01:33

1樓:峽州仙士

理論可行,但實際中存在搜尋引擎查詢頻率限制、搜尋引擎審查、對指定站點資料收錄少和不及時等問題,針對性優化後效果也不能保證。自建可以避免上述問題,但開發及維護工作量大。

2樓:

拋磚引玉一下。

我在Facebook Search工作,也和一些做Recommendation System的Team有過合作,首先說乙個我個人的觀察:從系統設計上來說Search和Recommendation system已經非常相似了。它們大致都分為如下幾個核心模組:

候選庫 (在Search裡面一般叫Index/索引)

召回(Search裡面叫Retrieval,Recommendation裡面可能叫Generator)

排序(又可以分為粗排/精排,Recommendation裡面有時會叫Pass 0/Pass 1/...)

Policy(多樣性,去重,...)

Blender(把多路召回的結果進行merge)

其他的輔助模組,也大同小異:

Feature Extraction

Data Logging & Joining

Real-time Counters

Calibration

...不同的地方,自然也存在(但個人覺得只是Use Case上不同的Optimization,但對於整個系統架構來說並沒有特別大的出入):

Search:一般需要乙個Query Understanding模組,用NLP去理解user search intent

Recommendation:一般會需要做大量的user profiling和interest understanding,而且一般對於user interaction的real-time update要求更高

...這些不同的地方,至少我看到的一些應用場景之下是越來越模糊了,比如一些search use case也會適當的加一些personalization,為了增加retention也會讓每次search同乙個query出來的結果略微不同之類的。可以說很多recommendation system的idea都可以拿來improve search product。

個人認為同一套generic infrastructure其實可以很好地支援這兩種不同的use cases。

回到問題本身,我的看法是:Search Engine其實是可以拿來做Recommendation System的召回層的實現的,最大的好處是在於,除了一般的向量內積(FANN)或者簡單的precomputed list的look up之外,Search Engine提供了在底層做relevance優化的可能性。就拿ElasticSearch舉例:

每個候選文件可以把一些重要的property索引起來(比如乙個video可以有"predicted_category": ["Sports", "News"])

在構造ES query的時候,你可以構造乙個Compound query,demote不符合使用者興趣的video

你甚至可以在ES裡面做乙個簡單的粗排,簡單地根據一些document level的feature做一些ranking再返回

當然ElasticSearch在做這種relevance優化的時候還是略顯無力,Facebook內部的搜尋架構就允許更加複雜的relevance boosting,可以做非常細粒度的控制。

3樓:Rice Lyn

可以的,elastic search 現在已經支援向量檢索了 https://www.

elastic.co/blog/text-similarity-search-with-vectors-in-elasticsearch

,可以將使用者和物品表示成向量做最近鄰查詢,也可以召回的時候根據使用者的瀏覽詞做一些相關的召回

嬰兒是否可以使用搖椅?

玲瓏骰子 身邊有不少的寶寶都在使用,我家娃小月齡時用的費雪的手動搖椅,是別人送的。關於嬰兒是否可以使用搖椅,自己特地查了一下資料,說實話不是很建議使用。如果要使用請注意以下事項 避免讓寶寶在搖椅中長時間睡覺,如果寶寶睡熟,把他抱到平坦穩固的床面上 大人不要遠離在搖椅中的寶寶,即使寶寶不亂動,也不要離...

請問蘋果系統可以使用arcgis或者envi這一類軟體麼?

xh chen 題主說的是這一類軟體。envi本身就有mac版。arcgis沒有mac版,但是可以選擇開源grass,或者簡單的Qgis,可以滿足一些基本的功能。 Shelley 看到問題就來了。因為剛在辦公室被Prof.訓了一頓。答案是不可以,樓上都說的很詳細了。我就是來念叨一下為啥我被教授批。原...

家裝是否可以使用多種風格?

洋蔥也開花 你的多風格搭配也就是我們所說的混搭,滿足家庭成員的不同需求,混搭裝修是常見的,但是要看你怎麼銜接搭配,在裝修之前最好先看一下效果圖,我家的現代簡約風就是易高家居設計師先出效果圖,我在做的,實際效果反而比效果圖更好看 阿蘇 其實你說的就是混搭,混搭其實日常的一些設計裡面還挺常見,只是設計的...