電子發燒友網(網)報道(文/李彎彎)AI邊緣計算機是一種人(ren)工智能和邊緣計算技術相(xiang)結合的計算機設備。它可以在本地(di)設備上運行(xing)AI模型,實現對設備數據的(de)實時分析和(he)響應,從而減(減)少數據傳輸到云端的延(yan)遲和成本(ben)。
當下,AI在邊緣側的部署正(zheng)在成為趨勢,包括近年來備受矚目的(de)大語言模型(xing),在(zai)邊緣側的應用也是業界(jie)探索的(de)焦點,AI邊緣計算機在這中間(間)扮演著重要(yao)角色。為此,電子發燒友近(jin)日采訪到圖(圖)為科技華東區域經理吳朗(lang),探(tan)討了AI邊緣計算機的(de)應用現狀及(ji)前景等話題(題)。
AI邊緣計算機應用場景多樣,前景好
AI邊緣計算機由處理器、存儲器、輸入/輸出接口(kou)、電源、散(san)熱系統、嵌入(ru)式操作(zuo)系統、AI模型和(he)算法等結構組成。處理器(qi)是AI邊緣計算機(機)的核心部分(fen),負責執行指(zhi)令和處理數據。
AI邊緣計算機(機)的核心(xin)是AI模型和算(suan)法,用于實現(現)各種智能化(hua)的應用。
圖為科(ke)技是一家AI邊緣計算設備運營服務商(shang),專注邊緣計算(suan)設備的研發、生產、銷(銷)售、運維等工(gong)作。其基于NVIDIAJetson系列(lie)核心模塊所(suo)設計的AI邊緣計算盒(he)子,已廣泛應用于機器(qi)視覺檢測、人臉識(識)別、行為識別(別)、智能機(機)器人、智(zhi)能無人機、自動駕駛、智能(neng)安防等領域(yu)。
吳朗告訴電子發燒友:“圖(圖)為科技的AI邊緣計算設備主要是(shi)基于ARM架構的(de)方案。其中,大多(duo)是基于英偉達Jetson系(xi)列核心模塊設(設)計,也有少(shao)數基于華為昇騰(騰)和瑞芯微的方(fang)案。”圖為科技(ji)的邊緣計算機涵蓋(蓋)了從最低0.5TOPS算(suan)力到最高275TOPS算(suan)力的各種產(產)品,能滿足多場景不同算力(li)的需求,便于客(ke)戶拓展AI方案(an)及部署工作(zuo)。
據他介(jie)紹,AI邊緣計算(suan)機的應用非(fei)常廣泛,目前(qian)在安防領域(yu)應用最多,另外,在醫療、車載、交通等領(領)域也有非常(chang)多很好(hao)的應用場景(jing)。比如在醫療領域的影像(xiang)分析,他們之(zhi)前有個做眼(yan)睛診療儀的(de)客戶,就需要用到(dao)這種AI邊緣計算盒子,通過深度學(學)習算法,來輔助(zhu)拍攝一些圖(圖)像做實時分(fen)析。
在車載(載)領域,目前圖為科(ke)技的產品可(ke)以用于低速(su)無人駕駛,比如,無人清(qing)掃車、園區接駁車、各種巡(xun)檢小車等。吳朗(lang)介紹說:“這種AI邊緣計算(suan)盒子在車載、交通領域(yu)的應用場景(jing)很多,現在(zai)智慧交通是趨勢,車路協(協)同、全息路(lu)口以及高速(su)上一些車聯網場景都用得上。”
不(bu)過不同場景(jing)技術路線不一樣,對設備的要求也有(you)所不同。比如,安防領域主(zhu)要需要的是(shi)視頻分析,基本(ben)上是純視覺(覺)。而車載領(領)域,有(you)視覺也有雷(lei)視融合(he),包括(gua)激光雷達、毫米波(bo)雷達、超聲波(bo)雷達等。它們需要的(de)算力、資源、軟硬件平臺等(deng)都不一樣。一般(ban)而(er)言,安防場景的(de)算力需求很(hen)多在20到30TOPS,而車載場景很多(duo)時候需要100TOPS,甚至200TOPS以上(shang)。
在車載場景,英偉達的Jetson系列會更有優勢,無論是算力還是(shi)生態上。英偉達(達)的模塊算力(li)會更高,而(er)且它跟上下(xia)游廠(廠)商(shang)的配套更(geng)多,比如跟奧比(bi)中光、森云智能等(deng)廠商的相機(機)產品都有適(適)配。因此,圖為科(ke)技基于英偉達Jetson系列的設備能夠滿足更(geng)多場景的不(bu)同需求。
在吳朗看來,AI計算邊緣盒子可(ke)以應用的行(xing)業和形態很(hen)多,市場整體(體)體量很大。不過相(xiang)比較而言,目前(qian)基于X86架構的(de)設備存在的(de)時間比較久(jiu),應用也(ye)比較多。基于Arm架構這種方式的AI邊緣計算機(機)近幾年才開(開)始火起來,目前(qian)體量不是很(hen)大,不(bu)過前景會非(fei)常好。
大模型與數字人結(結)合在醫療領(領)域成功落地(di)
近年來,大模(mo)型技術(術)的研究進展(zhan)備受關注,同(tong)時,業界也在積極(極)探索大語言(yan)模型在邊緣側的部署。圖(圖)為科技在這(這)方面也有研(yan)究,并已(yi)經有方案成(cheng)功交付(fu)。
據吳朗介紹,圖為科技有好幾款大模型一(yi)體機,算力包(bao)括40TOPS、100TOPS和(he)200TOPS,這些一體機(機)可以運行70億和130億(億)參數規模(mo)的大模型。圖為科技(ji)可以用百川(chuan)智能、智譜AI、通億(億)千問等的(de)開源大模型,自(zi)己進行移植(zhi)適配。
目前圖(圖)為科技正在推進的(de)大模型一體(體)機應用項目(mu)很多,其在某(mou)醫院的應用(yong)方案已經成(cheng)功交付。這是(shi)一個什么樣的場景(jing)呢?吳朗介(jie)紹說,因為就診(診)的人數比較多,這家(jia)醫院婦產科(ke)門診接診壓力比較大,他(ta)們希望通過(過)AI做一個預診(診)的方案(an)。
圖為科(ke)技(ji)將大模(mo)型一體機與(與)數字人技術(術)結合,做了一個交互式對話方案。這樣,患者到(dao)醫院之后,可(ke)以跟顯示屏(ping)承載的數字(zi)人交互式(shi)對話,幫助醫生過濾掉一些(xie)問題。
吳朗進一(yi)步介紹:“患者在婦產(產)科需要詢問的問題,基本上醫(醫)院都有對應的數據。公司(si)為其部署上AI大語言(yan)模型,基本上之(zhi)后患者問什(shen)么問題,這個數字人(ren)都可以回答(da)。回(hui)答完之后可(ke)以直接(jie)生成電子病(bing)歷,提交給醫(醫)生。這樣可以大(da)大提高效率。”
圖為科(ke)技這個方案(an)基于通義千(qian)問進行(xing)訓練。去年(nian)8月(yue),阿里宣布其(qi)自研的(de)大模型通義(義)千問正式開(開)源。只(zhi)要有數據集(ji),企(qi)業基本上可(ke)以基于這些(xie)開源的大模(mo)型訓練適合(he)自己場景的大(da)模型。
近幾年,數字(zi)人的概念及(ji)應用也是異常火熱,其中在直播(bo)領域的應用(yong)最多,另(ling)外醫院、銀行等也(ye)使用數字人(ren)來做虛擬客(ke)服。不過,雖(雖)然入局者眾多、應用也不少(shao),然而過往,數字(zi)人仍然存在表(biao)情僵硬、語言呆(dai)板、交互(hu)能(neng)力(li)不強等(deng)問題。
2023年(nian)以來,大語言模(mo)型席卷全球(qiu),將大(da)模型與數字(zi)人技術結合(he)也成為不少(shao)企業爭先探(tan)索的方向,接(jie)入大模型的(de)數字人(ren)能夠很好的(de)改善之前數字(zi)人存在的問題。從圖為科技(ji)這個案例來看,大(da)模(mo)型接入數字人(ren)的應用(yong)也在逐步落(luo)地。
寫在最后
無論是(shi)AI還是近(jin)年來興起的(de)大語言模型(xing),如(ru)果要實現規模化商用,在邊緣側部署是關鍵(鍵)。AI邊緣計算機(機)在這其中承(cheng)載著極其重(zhong)要的責任。同時,相比(bi)于傳統X86架構,ARM架構具(ju)有(you)低能耗(hao)、低(di)成本、高性能(neng)等優勢,如(ru)此看來基于(yu)ARM架構的AI邊緣計算機前景可(ke)觀。不過當前(qian)ARM架構也還面(mian)臨移植適配(pei)、軟件生態不夠好等問題,后續發(發)展仍需業界(jie)一起努力。
-
AI
+關(關)注
關注
87文章
25125瀏覽(覽)量
262954 -
邊緣計算(suan)
+關注
關注
22文章
2675瀏覽量(liang)
45784 -
數字人
+關注
關(關)注(zhu)
0文(wen)章
91瀏覽量
1746 -
大模型
+關注(zhu)
關注
2文章(zhang)
946瀏覽(覽)量
407
發布(bu)好久不见在线观看免费高清請先 登錄
相關推薦
好久不见在线观看免费高清