裝置端AI新勢力登場
Conway Research正式推出首款產品Underdog Fantasy,這是一款專為在支援裝置上直接執行運算任務而設計的人工智慧助理。它搭載了40億參數模型Woof,並採用專為Apple晶片打造的推論引擎Husky。裝置端AI的優勢在於無需依賴雲端伺服器,能在Mac和iPhone上運行,即使沒有Wi-Fi連線也能使用,同時將使用者資料保留在裝置上,顯著提升隱私保護。
效能測試數據亮眼
根據Conway Research公布的基準測試報告,在蘋果M5 Max晶片上,針對特定函式編輯任務並啟用Flash功能時,Underdog Fantasy達到了每秒730個Token的峰值速度。更值得注意的是,在相同的測試任務與配置下,其速度比蘋果自家的MLX framework快上4.5倍。不過報告也提及,此數據為峰值表現,且測試結果在16項任務中有所差異,不能完全代表所有使用情境或硬體上的普遍性能。
未來發展預示
目前Underdog Fantasy的設計主要針對Apple晶片進行優化,其在其他消費性硬體上的表現則未被提及。此次測試結果突顯了裝置端AI在個人裝置上的潛力,也預示著未來個人運算裝置在人工智慧應用方面將有更獨立且高效的發展。