導(dǎo)語：

3 月 23 日-24 日,聚焦全球開發(fā)者精英,由上海市人工智能行業(yè)協(xié)會(SAIA)主辦的 2024 全球開發(fā)者先鋒大會(2024 GDC)在上海舉辦。Zilliz 作為向量數(shù)據(jù)庫賽道的領(lǐng)軍者,受邀參與了此次活動,不僅在不同形式的活動中進(jìn)行了 3 場主題分享,還與百川智能、Dify.AI,、Moonshot AI 等公司一同在「大模型展示及研討專區(qū)」的產(chǎn)品互動展臺,與來自各地的開發(fā)者進(jìn)行互動,。

據(jù)悉,本次大會由世界人工智能大會組委會、上海市經(jīng)濟(jì)和信息化委員會,、上海市徐匯區(qū)人民政府,、中國(上海)自由貿(mào)易試驗(yàn)區(qū)臨港新片區(qū)管理委員會共同指導(dǎo),上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實(shí)驗(yàn)室,、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會共同主辦,。

全球開發(fā)者先鋒大會(GDC)緣起總.理在達(dá)沃斯世界經(jīng)濟(jì)論壇打 CALL 的世界人工智能大會(WAIC),作為 WAIC 聚焦科技和人才力量的重要板塊,GDC 已發(fā)展成為全球開發(fā)者的盛大節(jié)日,、頂尖技術(shù)趨勢的風(fēng)向標(biāo)。向量數(shù)據(jù)庫賽道正是 AIGC 時代的重要技術(shù)風(fēng)向標(biāo),Zilliz 在現(xiàn)場向全球的開發(fā)者展示了其在頂尖向量數(shù)據(jù)庫技術(shù)的多重探索,。

Zilliz 資深解決方案架構(gòu)師沈亮以《百億級向量數(shù)據(jù)庫架構(gòu)創(chuàng)新與優(yōu)化之路》的主題進(jìn)行了分享,。他表示,向量數(shù)據(jù)庫最早誕生于 2019 年,由 Zilliz 公司推出并開源了全球首款向量數(shù)據(jù)庫 Milvus,。在那個時期,向量數(shù)據(jù)庫的功能相對比較簡單,主要是基于向量檢索庫 Faiss 的基礎(chǔ)上,封裝了遠(yuǎn)程過程調(diào)用(RPC)接口,并支持了基于 Write-Ahead Logging(WAL)的持久化能力。相比于傳統(tǒng)的向量檢索方法,Milvus 1.0 的最大意義在于解耦了業(yè)務(wù)邏輯,、模型和數(shù)據(jù)存儲這三者之間的緊密關(guān)聯(lián)。這意味著應(yīng)用開發(fā)者不再需要關(guān)注底層基礎(chǔ)設(shè)施的維護(hù)工作,這些工作包括但不限于集群的部署,、數(shù)據(jù)的持久化和數(shù)據(jù)的遷移等,。因此,Milvus 1.0 為許多用戶提供了從傳統(tǒng)煙囪式的人工智能開發(fā)模式向大模型時代。

隨著大模型技術(shù)的蓬勃發(fā)展,向量數(shù)據(jù)庫開始進(jìn)入 2.0 時代,更多的個人開發(fā)者涌入賽道,對向量數(shù)據(jù)庫的關(guān)注也逐漸遷移到開發(fā)效率,、部署簡單以及面向大模型加強(qiáng)場景的功能需求,。向量數(shù)據(jù)庫絕不僅僅是用來進(jìn)行簡單的向量檢索,要想真正提升開發(fā)者的開發(fā)效率和使用成本,需要系統(tǒng)開發(fā)者深入理解硬件、存儲,、數(shù)據(jù)庫,、AI、高性能計算,、分布式系統(tǒng),、編譯原理、云原生等,以確保其穩(wěn)定性,、性能和易用性,。在此基礎(chǔ)上,Zilliz 推出了Zilliz Cloud,可提供全托管的 SaaS 及 BYOC 向量數(shù)據(jù)庫服務(wù),具備深度優(yōu)化、開箱即用的 Milvus 體驗(yàn),。使用 Zilliz Cloud 可以輕松構(gòu)建百億級向量數(shù)據(jù)庫,分鐘級部署和擴(kuò)展向量搜索服務(wù),并由全球最專業(yè)的向量數(shù)據(jù)庫團(tuán)隊提供運(yùn)維,、優(yōu)化、及綜合支持,。

Zilliz 開發(fā)者生態(tài)及市場運(yùn)營負(fù)責(zé)人 Jerry 首先進(jìn)行了主題為《走進(jìn)向量數(shù)據(jù)庫和 RAG ――讓 LLMs 停止幻覺》的分享,。Jerry 表示,過去一年,RAG 在技術(shù)層面發(fā)展迅速,為向量數(shù)據(jù)庫賽道添了一把火,。RAG 和向量數(shù)據(jù)庫的結(jié)合,能夠有效解決幻覺、時效性差,、專業(yè)領(lǐng)域知識不足等阻礙大模型應(yīng)用的核心問題,。

具體來看,大模型的局限性包括:其一,缺乏領(lǐng)域特定信息:LLM 僅基于公開數(shù)據(jù)集訓(xùn)練;缺乏領(lǐng)域特定信息或?qū)Ｓ行畔⒌确枪_數(shù)據(jù),。其二,容易產(chǎn)生幻覺:LLM 只能根據(jù)其現(xiàn)有數(shù)據(jù)提供信息和答案;如果超過該范圍,LLM 會提供錯誤或捏造的信息。其三,無法獲取最新信息:LLM 訓(xùn)練成本十分高昂,無法及時更新其知識庫,。其四,不變的預(yù)訓(xùn)練數(shù)據(jù):LLM 使用的預(yù)訓(xùn)練數(shù)據(jù)可能包含過時或不正確的信息,且這些數(shù)據(jù)無法更正或刪除,。

向量數(shù)據(jù)庫可有效針對解決上述問題,例如針對缺乏領(lǐng)域特定信息的問題,可利用向量數(shù)據(jù)庫建立知識庫,拓展認(rèn)知邊界;針對無法獲取最新信息的問題,可以利用向量數(shù)據(jù)庫為大模型建立記憶、及時更新,。

在此基礎(chǔ)上,RAG 技術(shù)棧應(yīng)運(yùn)而生,通過 LLM,、向量數(shù)據(jù)庫和提示詞的相互配合,讓 LLM 停止幻覺。此外,Jerry 還介紹了向量數(shù)據(jù)庫的其他應(yīng)用場景,包括圖片搜索,、視頻搜索,、文本搜索、數(shù)據(jù)去重,、跨模態(tài)搜索,、推薦系統(tǒng)、問答系統(tǒng),、版權(quán)保護(hù),、網(wǎng)絡(luò)安全、AI 制藥等,。

在《2024 年,重新再來說說關(guān)于向量數(shù)據(jù)庫的那些事兒》主題分享中,Jerry 回顧了向量數(shù)據(jù)庫從小眾賽道到爆火的全過程,并提及了外界對于向量數(shù)據(jù)庫和 RAG 的疑問,。他表示,大模型技術(shù)正在改變世界,但無法改變世界的運(yùn)行規(guī)律,。對于大模型而言,長期記憶的重要性也將持續(xù)存在。AI 應(yīng)用的開發(fā)者一直在追求查詢質(zhì)量和成本之間的完美平衡,。當(dāng)大型企業(yè)將生成式人工智能投入生產(chǎn)時,需要在控制成本的同時保持最佳的響應(yīng)質(zhì)量,。在此情況下,RAG 技術(shù)和向量數(shù)據(jù)庫依然是實(shí)現(xiàn)這一目標(biāo)的重要工具。

最后,Jerry 提到,Zilliz 最近面向 AI 初創(chuàng)企業(yè)推出了一項扶持計劃,預(yù)計提供總計 1000 萬元的 Zilliz Cloud 抵扣金,致力于幫助 AI 開發(fā)者構(gòu)建高效的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng),助力打造高質(zhì)量 AI 服務(wù)與運(yùn)用,加速產(chǎn)業(yè)落地,。屆時將為全球的 AI 初創(chuàng)團(tuán)隊提供資源,、技術(shù)、市場推廣,、銷售等全方位的支持,符合要求的團(tuán)隊可獲得獨(dú)家資源與支持,。歡迎各位開發(fā)者訪問 Zilliz 中文官網(wǎng)首頁點(diǎn)擊 Zilliz AI 初創(chuàng)計劃,與 Zilliz 一起共建 AI 生態(tài)!