48271 向量數(shù)據(jù)庫這杯“啤酒”與“泡沫”
服務熱線:400-858-9000 咨詢/投訴熱線:18658148790
國內(nèi)專業(yè)的一站式創(chuàng)業(yè)服務平臺
向量數(shù)據(jù)庫這杯“啤酒”與“泡沫”
2023/07/28
和AI、大模型一樣,向量數(shù)據(jù)庫要品出味道,離不開時間的窖藏和醞釀。
本文來自于微信公眾號“腦極體”(ID:unity007),投融界經(jīng)授權發(fā)布。

就像啤酒注定要有泡沫,每一場淘金熱都不缺被捧上了時代風口的人。

大模型這一波熱潮中,向量數(shù)據(jù)庫就是那個幸運兒。

一方面,技術層面并沒有太大突破。向量數(shù)據(jù)庫并不是一種特別新的數(shù)據(jù)庫技術,在AI領域已經(jīng)應用了七八年,谷歌在2015年就宣布使用RankBrain語義檢索來處理搜索任務。相比N家的卡、液冷的算、全光的網(wǎng)、升級的存,向量數(shù)據(jù)庫在技術方面并沒有特別亮眼的突破。

而另一方面,向量數(shù)據(jù)庫的投資熱潮又特別旺盛。在上半年成了創(chuàng)業(yè)公司、云計算廠商、老牌數(shù)據(jù)庫公司,以及投資人們“群起而攻之”的風口,Pinecone、Chroma和Weviate等向量數(shù)據(jù)庫初創(chuàng)公司都獲得了融資,有的融資額高達上億美元。這在全球經(jīng)濟不明朗的投資形勢下,還是非常亮眼的成績。

不同于GPU卡那樣短期內(nèi)需求堅挺、供不應求,加上摩爾定律的約束,即使有泡沫,也是鐵做的。也不同于存算網(wǎng)這類“新基建”,長期投入的戰(zhàn)略價值,得到了廟堂和民間的一致重視。

向量數(shù)據(jù)庫這杯“啤酒”與“泡沫”

向量數(shù)據(jù)庫,更多是作為一種AI基礎技術和產(chǎn)品,開始為大眾所知曉。

僅憑這樣,就在投資市場上一飛沖天,多少有點讓人不安。加上最近,大訓模型的熱度開始降溫,ChatGPT訪問量下降,更多大模型已經(jīng)到地里田間礦井“干活兒”去了。

不禁讓人好奇,隨著大模型的風口下沉,向量數(shù)據(jù)庫的投資概念還能飛多久,會不會倏忽而來,倏忽而去,留下喝了“一嘴泡沫”的公司和投資人,在風中凌亂呢?

我們就來好好品一品,這一杯啤酒和泡沫。

技術的啤酒

訓大模型、用大模型,離不開一系列AI基礎設施,所以,作為基礎設施之一的向量數(shù)據(jù)庫,確實有點東西。引入向量數(shù)據(jù)庫,是能喝到真材實料的“啤酒”的。

這就有必要先說說這個技術本身。

數(shù)據(jù)庫不用多說,是必不可少的IT基礎設施,用于存儲和查詢各種數(shù)據(jù),可以看作是數(shù)據(jù)的“硬盤”。那么,向量數(shù)據(jù)庫就是更適合AI體質的“硬盤”,有幾個特質來說明這一點:

1.必要性。

向量數(shù)據(jù)庫,顧名思義就是專門用于存儲和管理向量數(shù)據(jù)。作為一種數(shù)據(jù)結構,每個向量都包含多個維度,每個維度代表不同的特征或屬性,比如圖像的顏色、文本詞匯的出現(xiàn)頻率等。而AI算法,要從圖像、音頻和文本等海量的非結構化數(shù)據(jù)中學習,提取出以向量為表示形式的“特征”,以便模型能夠理解和處理。因此,向量數(shù)據(jù)庫比傳統(tǒng)的關系型數(shù)據(jù)庫,更適合AI應用。

向量數(shù)據(jù)庫這杯“啤酒”與“泡沫”

2.高效率。

每個元素都有一個索引,便于訪問或修改數(shù)值?;诖?,向量數(shù)據(jù)庫可以通過將分組和索引,快速找到與給定查詢最接近的嵌入,實現(xiàn)高效的相似性搜索,同時減少存儲和計算成本。

相比傳統(tǒng)單機插件式數(shù)據(jù)庫,向量數(shù)據(jù)庫的檢索規(guī)??梢蕴嵘叮С职偃f級每秒查詢(QPS)的峰值能力,同時延遲控制在毫秒級。

想象一下,如果沒有高效的搜索技術支持,一個大語言模型動輒數(shù)十億、上百億參數(shù),只能處理有限數(shù)量的輸入數(shù)據(jù),無法搜索更大的數(shù)據(jù)庫,那么在AIGC、搜索、廣告推薦算法等任務的性能表現(xiàn)就會受限。

一個公開數(shù)據(jù)是,通過使用云向量數(shù)據(jù)庫,QQ音樂人均聽歌時長提升3.2%;騰訊視頻有效曝光人均時長提升1.74%;QQ瀏覽器成本降低37.9%,這些數(shù)據(jù)的變化就在于檢索效率、運行穩(wěn)定性、運營效率、推薦算法等有了較大的提升。

3.需求大。

隨著產(chǎn)業(yè)智能化的加速,以及大模型和其他AI應用的爆發(fā),各行各業(yè)的AI用例不斷增多,由此帶來了洶涌的數(shù)據(jù)洪潮和存算任務,向量數(shù)據(jù)庫嵌入向量的長度不受限制,具有良好的擴展性,可以根據(jù)AI用例和模型而變化,更好地處理大規(guī)模數(shù)據(jù)集。

而且,向量數(shù)據(jù)庫可以拓展大模型的時間邊界和空間邊界,讓大模型在訓練完成后,也可以訪問向量數(shù)據(jù)庫的最新信息,了解最近發(fā)生的事情。

總的來說,向量數(shù)據(jù)庫就是更適合AI體質的數(shù)據(jù)庫,在AI任務上效果拔群,在機器學習領域中日益流行。

那么問題來了,一些在AI領域積淀已久的科技大廠,如谷歌、微軟、Mate以及BAT等大廠,都有向量數(shù)據(jù)庫的技術積累,也都可以向外輸出相關能力和產(chǎn)品。此外,一些基于開源技術的數(shù)據(jù)庫創(chuàng)業(yè)公司,如Pinecone、Weaviate、Odrant、Chroma近年來打開了市場知名度。

可以說,市場上并不缺乏向量數(shù)據(jù)庫的產(chǎn)品和解決方案。那么2023年,這杯技術啤酒,是怎么咕嘟咕嘟冒出泡沫的呢?

向量數(shù)據(jù)庫這杯“啤酒”與“泡沫”

浪潮之巔的泡沫

向量數(shù)據(jù)庫的市場現(xiàn)狀,說是“從0到1”,并不為過。

首先,大眾市場的認知度才剛剛打開。

此前,向量數(shù)據(jù)庫更多是AI企業(yè)在使用,今年才開始為大眾所熟知,這離不開一些AI相關企業(yè)的推波助瀾。今年3月的NVIDIAGTC大會上,黃仁勛首次提及向量數(shù)據(jù)庫,強調向量數(shù)據(jù)庫對大語言模型的重要性。

不是所有企業(yè)都有能力自建大模型所需要的基礎設施,通過MaaS(模型即服務)業(yè)務來訓練應用大模型是更靈活的選擇,這就要求云廠商提供全?;A設施。

百度、京東、騰訊、華為等,都在自家的大模型完整基礎設施中,提到了向量數(shù)據(jù)庫。目前,云廠商的MaaS業(yè)務才剛剛開始走向市場,大模型的產(chǎn)業(yè)落地不是一蹴而就的,向量數(shù)據(jù)庫的接受度和規(guī)模究竟有多大,還是個未知數(shù)。

第二,向量數(shù)據(jù)庫的技術,還沒經(jīng)歷“卷生卷死”的迭代。

Pinecone是閉源的領跑者,其他競爭者要么是開源的,比如Weviate,要么是巨頭,包括頭部云廠商和甲骨文、IBM等老牌數(shù)據(jù)庫廠商,開始構建AI數(shù)據(jù)庫的產(chǎn)品和解決方案。

大廠扎堆競技,這意味著,如果技術沒有大的突破,就會陷入高密度的同質化競爭,從藍??焖龠M入紅海。而如果技術有顛覆式變革,很多技術壁壘不高、客戶認知不強的新入局創(chuàng)業(yè)者,很難跟開源生態(tài)或技術巨頭PK,容易被大浪淘沙。

最后,向量數(shù)據(jù)庫的成本,還沒有降到“可規(guī)模復制”的程度。

無論是自建向量數(shù)據(jù)庫,還是通過MaaS服務接入,都還達不到“付費可用”的程度。一般來說,企業(yè)需要先將非結構化的私密數(shù)據(jù)進行向量化,產(chǎn)生一個向量的矩陣,再存儲到向量數(shù)據(jù)庫里,來供大模型學習和檢索。這個過程涉及到大量的工程化,會耗費企業(yè)許多開發(fā)人員、時間成本。

這就需要云廠商或數(shù)據(jù)庫廠商,提供全鏈路的工具,來幫助企業(yè)完成整個數(shù)據(jù)向量化、大模型接入的工作,以及減少后續(xù)運維的難度。比如Pinecone就憑借良好的開箱即用的產(chǎn)品體驗,獲得了非常大的增長,B輪估值達到7.5億美元。

谷歌云、騰訊云、京東云等也都基于內(nèi)部應用的多年積累,推出了一系列面向外部的工具、框架和應用。但只是邁出了從無到有的第一步,真正成熟還需要讓各家“卷起來”。

可以看到,現(xiàn)在這個階段,熱捧向量數(shù)據(jù)庫,確實有AIGC、大模型、云服務等多方面的現(xiàn)實需求,但從“概念普及”到“真正可用”之間,還有不短的距離。這之間的地帶,就是泡沫生長的地方。

江湖路遠,風高浪急,沒有想清楚的創(chuàng)業(yè)公司或行業(yè)用戶,還是別貿(mào)然“帶資進組”了。

啜飲時代的精釀

如果你是數(shù)據(jù)庫廠商,或者是著急布局大模型和AI應用的企業(yè),希望早點將啤酒喝到嘴里,怎么辦呢?

篤定遠一點的未來,有些賽道的泡沫比例是相對少的,需求格外旺盛。

市場方面,國產(chǎn)化替代是不錯的選擇。

科技博弈背景下,加上我國數(shù)據(jù)庫產(chǎn)業(yè)的日益繁榮和技術突破,金融、電信、能源、交通等關鍵基礎行業(yè)的企業(yè),在數(shù)據(jù)庫選型時,都開始傾向于國產(chǎn),以保障數(shù)據(jù)的穩(wěn)定性和安全性。

國外廠商在向量數(shù)據(jù)庫上有著更早的探索和積累,國產(chǎn)數(shù)據(jù)庫要補齊短板是需要時間的。

目前,BATH這類實力較強的國內(nèi)科技企業(yè),沉淀了向量數(shù)據(jù)庫的核心自主技術,與其合作研發(fā)和定制化開發(fā),針對某些具體場景,提供特定優(yōu)化的向量數(shù)據(jù)庫產(chǎn)品,加入國產(chǎn)化替代的賽道是成本更低、風險更可控、市場需求明確的選擇。

策略方面,加入云生態(tài)不要獨行。

鑒于向量數(shù)據(jù)庫的商業(yè)化前景還不明朗,有業(yè)內(nèi)人士表示,與其投資新的向量數(shù)據(jù)庫項目,還不如關注現(xiàn)有數(shù)據(jù)庫中,有哪些加上向量引擎可以變得更加強大。

云數(shù)據(jù)庫就是其中之一,上云用數(shù)賦智是大勢所趨,很多政企客戶往往會選擇公有云或行業(yè)云來滿足其業(yè)務需求,將數(shù)據(jù)遷移到云上,對云數(shù)據(jù)庫的關注度和接受度上升。

騰訊云、華為云等大型云廠商,具有較高的品牌認知度和市場接受度,具有云原生、AI原生的技術棧和產(chǎn)品體系,經(jīng)歷了海量場景的淬煉和深度優(yōu)化,和這類云生態(tài)一起掘金向量數(shù)據(jù)庫,是更穩(wěn)妥的方式。

和AI、大模型一樣,向量數(shù)據(jù)庫要品出味道,離不開時間的窖藏和醞釀。是在大訓模型的熱度下降后,像泡沫一樣湮滅,還是作為啤酒精釀沉淀下去,等待成為下一代數(shù)字基礎設施的剛需,被行業(yè)客戶所啜飲,是留給數(shù)據(jù)庫玩家和買家的選擇題。

AI 大模型 數(shù)據(jù)庫
評論
還可輸入300個字
專欄介紹
腦極體
43篇文章
你的困惑,來自于無路貼近未知。我們在技術、思想、傳播的異界,販來極限腦量下的TMT。
+關注
400-858-9000
免費服務熱線
kefu@trjcn.com
郵箱
09:00--20:00
服務時間
18658148790
投訴電話
投融界App下載
官方微信公眾號
官方微信小程序
Copyright ? 2024 浙江投融界科技有限公司(www.massiveresultsprotocol.com) 版權所有 | ICP經(jīng)營許可證:浙B2-20190547 | 浙ICP備10204252號-1 | 浙公網(wǎng)安備33010602000759號
地址:浙江省杭州市西湖區(qū)留下街道西溪路698號15號樓509室
浙江投融界科技有限公司trjcn.com版權所有 | 用戶協(xié)議 | 隱私條款 | 用戶權限
應用版本:V2.7.8 | 更新日期:2022-01-21
 安全聯(lián)盟
在線客服
手機APP
微信訂閱