1月9日，商湯絕影宣布其與國內(nèi)車企合作伙伴聯(lián)手打造的原生流式多模態(tài)座艙產(chǎn)品已經(jīng)量產(chǎn)上車，并向用戶進行OTA推送。
在去年11月的2024絕影實力AI DAY上，商湯絕影發(fā)布了“A New Member For U”產(chǎn)品，原生流式多模態(tài)大模型是打造該產(chǎn)品的關(guān)鍵之一。
隨著商湯絕影的多模態(tài)艙外識別功能量產(chǎn)上車，它已經(jīng)能夠?qū)崿F(xiàn)“前車識別”、“交通標志識別”和“沿途風光識別”等功能，以及能和車內(nèi)駕乘人員進行交流與互動。
目前，小米、小鵬、比亞迪等企業(yè)紛紛上車多模態(tài)識別功能，多模態(tài)大模型上車已成為行業(yè)趨勢。這一趨勢的背后，是技術(shù)進步和市場需求的雙重推動。
從技術(shù)角度看，多模態(tài)識別技術(shù)通過整合來自不同傳感器的數(shù)據(jù)（如圖像、聲音、文本等），能夠?qū)崿F(xiàn)對環(huán)境或用戶行為的更全面、更準確的感知和理解，以提高車輛的智能化水平和車輛的安全性和用戶體驗。
從市場需求角度看，隨著消費者對汽車智能化、網(wǎng)聯(lián)化需求的不斷增加，多模態(tài)識別功能已成為吸引消費者的重要賣點。企業(yè)紛紛上車多模態(tài)識別功能，也是為了滿足市場需求，提升產(chǎn)品競爭力。
商湯絕影方面表示，多模態(tài)能力是AI向AGI進化的核心推動力。其指出，大模型的發(fā)展從單一模態(tài)到多模態(tài)是不可阻擋的趨勢，AI想要提升全面理解世界和理解“人”的能力，向AGI演進，從而真正在工作和生活中幫助人類，AI就必須能夠支持并實現(xiàn)多種模態(tài)的感知、理解和交互。
商湯絕影原生流式多模態(tài)大模型是基于商湯“日日新5o”打造，其能讓文字、語音、視頻等模態(tài)一同輸入，經(jīng)由模型統(tǒng)一處理后輸出相應(yīng)模態(tài)的信息。
該多模態(tài)大模型量產(chǎn)上車，也成為大模型加速深度融入智能汽車的一個例證。