近日,高通宣布與 Meta 正在合作優(yōu)化 Meta Llama 2 大語(yǔ)言模型直接在終端側(cè)的執(zhí)行,不依賴于云服務(wù)的單獨(dú)使用。這將使 Meta Llama 2 大語(yǔ)言模型從 2024 年開始能夠在智能手機(jī)、PC、VR/AR 頭顯和汽車等終端上運(yùn)行。
高通計(jì)劃支持基于 Llama 2 的終端側(cè) AI 部署,以賦能打造激動(dòng)人心的全新 AI 應(yīng)用。如果大型語(yǔ)言模型可以在手機(jī)上運(yùn)行,而不是在大型數(shù)據(jù)中心運(yùn)行,它可以降低運(yùn)行人工智能模型的巨大成本,并為用戶提供更加私密、可靠和個(gè)性化的體驗(yàn)。
高通將在高通設(shè)備上提供 Meta 的開源 Llama 2 型號(hào),將支持智能虛擬助手等應(yīng)用程序。Meta Llama 2 可以做許多與 ChatGPT 相同的事情,但它可以打包在一個(gè)較小的程序中,這允許它在手機(jī)上運(yùn)行。
高通的芯片包括一個(gè)“張量處理器單元”或 TPU,非常適合人工智能模型所需的各種計(jì)算。然而,與配備尖端 GPU 的數(shù)據(jù)中心相比,移動(dòng)設(shè)備上可用的處理能力相形見絀。
Meta Llama 之所以引人注目,是因?yàn)?Meta 發(fā)布了它的“權(quán)重”,這是一組有助于控制特定 AI 模型如何工作的數(shù)字。這樣做將允許研究人員和最終的商業(yè)企業(yè)在自己的計(jì)算機(jī)上使用人工智能模型,而無(wú)需征得許可或付費(fèi)。其他值得注意的 LLM,如 OpenAI 的 GPT-4 或 谷歌 Bard,都是閉源的,它們的權(quán)重是保密的。
高通過(guò)去曾與 Meta 密切合作,特別是在其 Quest VR 設(shè)備的芯片上。它還演示了一些在其芯片上運(yùn)行緩慢的人工智能模型,例如開源圖像生成器 Stable Diffusion。
關(guān)注我們
公眾號(hào):china_tp
微信名稱:亞威資訊
顯示行業(yè)頂級(jí)新媒體
掃一掃即可關(guān)注我們