參加 TiDB Hackathon 是什麼體驗?

時間 2021-05-07 16:20:35

1樓:百歲

今年是我第一次參加PingCap的hackathon活動,參加活動申報的方案完全是自己擬定的,選什麼都可以,只要和TiDB沾邊就行。

我申報的方案是將搜尋引擎與TiDB深度整合。我專注在搜尋引擎中臺產品開發已經有多年,積累了不少企業級搜尋的實際案例經驗,並且開發了一款企業應用搜尋中臺產品TIS。

隨著大資料時代的到來,傳統企業對於企業搜尋有強烈及迫切的需求,但是應用搜尋技術對於普通開發工程師來說有一定的門檻,如何降低技術門檻,能讓普通開發工程師像用資料庫一樣使用搜尋技術是我們一直努力的方向。

這次我們想到將TIS直接與TiDB作整合,將TIS隱藏在TiDB中,讓使用者直接通過SQL語句就可以使用全文模糊搜尋技術,這樣對於使用者來說可以0門檻使用搜尋引擎了。

不過,我之前也沒有接觸過golang,這次方案有很重要的一塊是和TiDB有關的,需要擴充套件TiDB中SQL執行計畫。通過PingCap的劉亞瓊同學牽線結識了愛奇藝的朱琪同學,他擅長資料儲存方面的底層開發,golang、Rust語言開發。由朱琪同學來負責TiDB server相關的開發工作。

另外,知乎的曉光老師因為去年的Hackathon活動中已經對這個方案做了嘗試,並且由乙個TiSearch的產出物,只是實現得還不太完善。這次,曉光老師對我們方案實現過程進行了全程技術指導讓我們少走了很多彎路。

我主要負責搜尋引擎相關的開發工作。就這樣乙個小的技術團隊成行了。

方案的實現實現目標就是讓終端使用者通過SQL作為入口,輕鬆使用全文搜尋查詢功能。從最終效果上來看,只需要實現把TIS元件安裝成功,後面在使用全文查詢功能過程中壓根感受不到後台TIS的存在。

以下是架構實現:

我們為了對TiDB引入新全文查詢功能而對系統沒有侵入性,特地在TiDB內部專門構建了乙個TiSearch的抽象層(借鑑了K8S新卷的實現架構 Jimmy Song:Kubernetes中的開放介面CRI、CNI、CSI),這一層和TiDB內部互動的協議RPC協議是相對穩定的,然後基於該抽象層構建了乙個TiSearch ON TIS的外掛程式,這樣後期如果有其他實現方式,例如:用ElasticSearch來實現,只要構建乙個新的外掛程式就行了。

以下是TIS內部的架構實現:

TIS內部包括了三部分元件:

全量構建

增量通道

搜尋引擎例項

可謂麻雀雖小,五臟俱全。TIS將以上三個元件作了無縫整合,將資料的抽取,處理,匯出生效,以及增量通道建立做到了開箱即用。其實TIS脫離TiDB,它完全也可以自成一體,作為乙個構建以搜尋引擎作為Sink的物化檢視中臺產品。

非常感謝PingCap公司舉辦的Hackathon活動,為我們這些默默無聞的開發工程師提供這樣乙個能夠施展自己才能的平台。

PingCap是國內少數幾個全面擁抱開源的公司,公司的大部分產品全部使用Apache開源協議,主打的資料庫產品足夠底層。正所謂,道生一,二生三,三生萬物,他在做的正是這個一,只要把這個一做紮實了,後期,像TIS這樣的產品會基於PingCap生態,無窮無盡地衍生出來,形成乙個強大的有自我造血的生態系統。希望PingCap越來越強大,這樣像我們這樣的小蝦公尺也能在這個生態裡面分一杯羹。

因為這次Hackathon活動參加隊伍有40多個,如果大家聚在一起挨個答辯的話會耗費非常多的時間。所以進行了兩輪答辯,第一輪分組答辯取先取20個隊伍,第二輪在集中答辯。我的感受是因為答辯的時間非常短,第一輪只有5分鐘,第二輪陳述+評委提問也只有9分鐘。

因為是第一次參加,又習慣了平時不受時間限制的分享方式,所以在答辯陳述時很不適應,感覺時間不夠用。其實限時陳述乙個主題,需要分享者比一般的普通分享花更多時間去準備,需要反覆提煉重點,什麼該說,什麼需要一筆掠過,很有講究。期待下次再來,吸取這次活動經驗教訓,有更好的表現。

2樓:唐劉

作為評委,全程的圍觀了整個答辯,還是非常的震撼的,寫了乙個不負責任的點評。

唐劉:PingCAP 2020 Hackathon 不負責任點評

3樓:Jake謝佳

這次是我頭一次深入參與TiDB Hackathon,參賽專案的創新性和參賽隊伍的投入程度遠超我的預期,大家真的玩起來了,當國內top網際網路企業的工程師和印度的、北美的工程師都積極加入到生態裡面來玩來hacking,就很有趣。對於我來講也是一次難得的理解TiDB生態的兩天,在我看來很多專案都值得繼續投入精力,現場展示demo成果也是非常有感染力,我很欣賞這種bottom-up創新的活力,因為NB的生態和平台是生長出來的,是規劃不出來的。

參加 TiDB Hackathon 2021 是什麼體驗?

優點依舊組織給力,獎金拉滿,小獎品不斷.規模再創新高.可能是接下來幾年 hackathon 裡最好的.缺點 這一二等獎選的過於 XX 內部改了多次名次拖到快22點宣布結果.一二等獎選的最拉的一次沒有之一,也就乙個能打的,就不說是誰了.尤其某專案本身看起來可能有點東西,但想法不新穎 放5年前還有點新意...

參加 Grace Hopper Conference 是一種怎樣的體驗?

GHC早知道早些年參加的人有資訊差紅利。近兩年大家都知道來這個會找工作,學生瘋狂搶票黃牛瘋狂加價賣票,database裡幾萬封簡歷,找工作的效果肯定沒以前好了 GHC除了各種活動蹭吃蹭喝之外,找實習比較給力,賣力一家就撈了很多人。全職給力的emmm感覺一家都沒有,G你內推甚至海投一樣有面試,在ghc...

參加完國考還能參加省考嗎?

參加了國考是可以省考的,首先因國考跟省考考試時間 招錄機關 報名系統都不相同,所以在確定考生符合招錄條件的情況下,是可以同時參加兩個考試的。可以的,參加了國考是可以省考的,首先因國考跟省考考試時間 招錄機關 報名系統都不相同,所以在確定考生符合招錄條件的情況下,是可以同時參加兩個考試的。參加了國考是...