家 6 月 12 日消息，蘋果在昨日的 WWDC24 上重磅公布了 Apple Intelligence（蘋果智能），將為 iPhone、Mac 等設(shè)備引入一系列 AI 功能。
隨后，蘋果機(jī)器學(xué)習(xí)官網(wǎng)公布了 Apple Intelligence 的詳細(xì)信息。據(jù)蘋果官方介紹，Apple Intelligence 擁有兩個基礎(chǔ)模型：
-
本地模型：設(shè)備上約 30 億參數(shù)的語言模型，測試得分高于諸多 70 億參數(shù)的開源模型（Mistral-7B 或 Gemma-7B）；
-
云上模型：可通過私有云計(jì)算并在 Apple 芯片服務(wù)器上運(yùn)行的更大的基于服務(wù)器的語言模型。
蘋果表示，Apple Intelligence 由多個高性能生成模型組成，這些模型專門針對用戶的日常任務(wù)，并且可以動態(tài)適應(yīng)他們當(dāng)前的活動。Apple Intelligence 中內(nèi)置的基礎(chǔ)模型針對用戶體驗(yàn)進(jìn)行了微調(diào)，例如編寫和精煉文本、對通知進(jìn)行優(yōu)先級排序和總結(jié)、為用戶與家人和朋友的對話創(chuàng)建有趣圖像，以及采取應(yīng)用內(nèi)操作來簡化應(yīng)用之間的交互。
在預(yù)訓(xùn)練方面，蘋果的基礎(chǔ)模型在 AXLearn 框架上進(jìn)行訓(xùn)練，這是蘋果于 2023 年發(fā)布的開源項(xiàng)目。它構(gòu)建在 JAX 和 XLA 之上，使蘋果能夠在各種訓(xùn)練硬件和云平臺上可擴(kuò)展地訓(xùn)練模型，包括 TPU 以及云和本地 GPU。
IT之家注意到，蘋果承諾在訓(xùn)練基礎(chǔ)模型時(shí)，該公司從不使用用戶的私人個人數(shù)據(jù)或用戶交互，并且會使用過濾器來刪除互聯(lián)網(wǎng)上公開的個人身份信息，例如社會保障和信用卡號碼。蘋果還過濾了臟話和其他低質(zhì)量內(nèi)容，以防止其包含在訓(xùn)練語料庫中。除了過濾之外，蘋果還執(zhí)行數(shù)據(jù)提取、重復(fù)數(shù)據(jù)刪除以及應(yīng)用基于模型的分類器來識別高質(zhì)量文檔。
在優(yōu)化方面，蘋果在設(shè)備端模型和服務(wù)器端模型都使用了 grouped-query-attention，設(shè)備上模型使用 49K 的詞匯大小，而服務(wù)器模型使用 100K 的詞匯大小，其中包括額外的語言和技術(shù)標(biāo)記。
通過優(yōu)化，蘋果號稱在 iPhone 15 Pro 上，能夠?qū)崿F(xiàn)每個 prompt token 約 0.6 毫秒的首次 token 延遲，以及每秒 30 個 token 的生成速率。
在指令跟蹤評估（IFEval）測試中，蘋果本地模型性能優(yōu)于包括 Phi-3-mini、Mistral-7B 和 Gemma-7B 等模型，且與 DBRX-Instruct、Mixtral-8x22B 和 GPT-3.5-Turbo 相比毫不遜色；而云上模型水平基本與 GPT-4-Turbo 持平。
