[其它] 無需聯網本地就運行，iPhone 或電腦 AI 聊天機器人 MLC LLM

sun7005

目前 AI 聊天機器人基本都需要連接到雲端進行處理，而可以本地運行的機器人對配置的要求卻極高。好在近期出現了輕量化且無需聯網的聊天機器人。
   


一款名為 MLC LLM 的全新開源項目已在 GitHub 上線，並且可以完全本地運行無需聯網。該項目對硬件配置的要求也較低，集顯老電腦，甚至是 iPhone 都可以運行。
MLC LLM 項目介紹稱「MLC LLM 是一種通用解決方案，它允許將任何語言模型本地部署在一組不同的硬件後端和本地應用程式上，此外還有一個高效的框架，供每個人進一步優化自己用例的模型性能。一切都在本地運行，無需伺服器支援，並通過手機和筆記型電腦上的本地 GPU 加速。我們的使命是讓每個人都能在裝置上直接開發、優化和部署 AI 模型。」
該項目開發者來自卡內基梅隆大學的 Catalyst 計劃、SAMPL 機器學習研究小組以及華盛頓大學、上海交通大學和 OctoML 等。
MLC LLM 使用 Vicuna-7B-V1.1 搭建，雖然是基於 Meta 的 LLaMA 的輕量級 LLM，表現不如 GPT3.5 或 GPT4，但其體積和對性能的要求較低。
據外媒 tomshardware 的測試，目前 6GB RAM 的 Apple iPhone 14 Pro Max 和 iPhone 12 Pro Max 手機可成功運行 MLC LLM，安裝大小為 3GB。但 4GB RAM 的 Apple iPhone 11 Pro Max 就無法運行 MLC LLM 了。
當前 MLC LLM 可在 Windows、Linux、macOS 和 iOS 平台上安裝運行，暫時沒有發布適用於 Android 的版本。
值得一提的是，ThinkPad X1 Carbon（第6 代，搭載 i7-8550U 處理器 + Intel UHD 620 GPU）能成功安裝運行 MLC LLM，但在對話時需要將近30秒才能回覆，且幾乎沒有連續對話能力，期待後續改進。