高通讓裝置實現生成式AI 透過Qualcomm AI Hub為開發者提供支持

高通在 MWC 世界通訊展上發表高通在 AI 人工智慧方面的最新進展。從全新 Qualcomm AI Hub，再到尖端的研究突破，並且展示一系列支援 AI 的商用裝置，高通正為開發者提供強大支持，在新一代 PC、智慧型手機、軟體定義汽車、XR 裝置、物聯網等領域實現大規模的裝置上 AI 商業化，讓智慧運算無處不在。

 
全新的 Qualcomm AI Hub 包含一個預先最佳化的AI模型庫，可在搭載 Snapdragon 和高通平台的裝置上無縫部署。這個模型庫提供包括 Whisper、ControlNet、Stable Diffusion 和 Baichuan 7B 在內，超過 75 個熱門的 AI 和生成式 AI 模型供開發者使用。

這些模型都已經針對裝置上 AI 的出色效能、更低的記憶體利用率和更好的能源效率進行了最佳化，適用於不同的外形規格，並封裝在各種運行時間環境中。每款模型都經過最佳化處理，充分利用高通 AI 引擎（NPU、CPU 和 GPU）中所有核心的硬體加速，使推論速度快 4 倍。


AI 模型庫自動處理從來源框架到熱門運行時間環境的模型轉換，並直接與高通 AI 引擎指引（Qualcomm AI Engine direct）軟體開發套件（SDK）配合使用，接著配合硬體達到硬體感知最佳化（hardware-aware optimization）。開發者可將這些模型無縫整合至其應用程式中，縮短上市時間，並且充分發揮實現裝置上AI所帶來的優勢，包括即時性、可靠性、隱私性、個人化和節省成本等。
 
預先最佳化的模型現已於 Qualcomm AI Hub、GitHub 和 Hugging Face 上提供。Qualcomm AI Hub 會持續將新模型加入模型庫，並即將支援其他平台和作業系統。只要立即註冊，開發者就能在基於高通技術公司平台的雲端託管裝置上自行運行模型，並優先存取 Qualcomm AI Hub 提供的新功能和 AI 模型。


另外，Qualcomm AI Research 首次在 Android 智慧型手機上運行，展現大型語言和視覺助理（Large Language and Vision Assistant，LLaVA）模型功能，這是一款具有超過 70 億個參數的大型多模態模型（LMM），可以接受包括文字和圖像在內的多種類型資料輸入，並能與 AI 助理生成關於圖像的多輪對話。

這個 LMM 在裝置上以反應靈敏的代碼（token）速率運行，從而增強隱私性、可靠度、個人化和成本。具有語言理解和視覺理解能力的 LMM 可支援許多使用案例，例如辨識和討論複雜的視覺模式、物件和場景。


Qualcomm AI Research 還首次展示了在 Android 手機上的低秩調整（Low Rank Adaptation，LoRA）。使用 LoRA 運行 Stable Diffusion 讓使用者可以根據個人或藝術偏好創造出高品質的客製化圖像。LoRA 減少了 AI 模型的可訓練參數數量，實現更優秀的效率、可擴充性、和客製化的裝置上生成式 AI使用案例。


除了可為不同的藝術風格微調語言視覺模型（LVM），LoRA 還可廣泛運用於如大型語言模型等各種客製化的 AI 模型，打造量身定製的個人助理、改善語言翻譯等更多應用。


Qualcomm AI Research 也在 Windows PC 上展示全球首見在裝置上使用超過 70 億個參數的 LMM ，此模型可以接受文字和音訊輸入（例如音樂、交通聲音等），然後生成有關此段音訊的多輪對話。