使用 Apple Foundation Model 建立 OpenAI API Compatibility 的 API Server
自從 iOS 18 推出 Apple Intelligence Beta 之後其實蘋果就偷偷內建了 Apple Foundation Model 在你的手機 / 電腦裡面（如果你有啟用 AI 的話）那這個 AI 可以怎麼要調用呢？根據蘋果一貫的做法你必須要寫 Swift 來調用底層的功能，Shortcuts 有開放調用又是另外一個故事了。
你可能有在 threads 上面看過一篇分享在講說 gety-ai/apple-on-device-openai 專案直接把 Apple Foundation Models 包成 OpenAI 相容 API，/v1/chat/completions、SSE 都能跑，換個 endpoint 就能在 Apple Silicon Mac 離線推論，0 token 費、資料完全留本機。
不過我們今天要來介紹的是另外一個專案
你想在 NodeJS 環境中使用 Apple 的最新 foundation models（Apple Intelligence）嗎？這個專案提供了「非官方」的 Apple foundation models 綁定，並且完美支援 Vercel AI SDK，讓 Apple AI 能簡單整合進各類前端框架（React, Next.js, Vue, Svelte）以及後端服務。
特色一覽：
-
🍎 Apple Intelligence 整合，直接呼叫在 Apple Silicon 裝置上的模型
-
🧠 同時支援 Vercel AI SDK
-
🌊 支援 Streaming，回應可即時流式傳輸，格式與 OpenAI 相容
-
🎯 可產生結構化物件資料（支援 Zod/JSON Schema）
-
💬 支援 OpenAI 風格 chat completions 與訊息歷史
-
🔧 Tool Calling：可自訂函數結合模型調用
-
📝 TypeScript 全型別安全
安裝時推薦用 bun 套件管理工具，只需一行指令就完成整合，並且提供範例、物件產生及工具調用 API 文件，操作容易入門。
如果你是 Mac 使用者、AI 開發者，想在本地端享受 Apple 最新 AI 能力，同時又想有跨平台程式體驗，這個專案絕對值得嘗試。
 |
| bun run examples/19-openai-server.ts |
這個專案還有一個超貼心的亮點，就是作者 Meridius-Labs 不只主程式寫得詳細，還用心準備了超多範例檔案和操作說明。
你不論是想「直接輸出簡單文字」、開發「互動式對話介面」，還是要串接「OpenAI 相容 API」通通都找得到對應的 example。範例涵蓋：
-
基本文字生成
-
即時串流輸出
-
結構化物件資料（像 JSON、Zod schema）
-
chat interface 對話互動
-
Tool Calling 多工具串接
-
完整 Apple AI + Vercel SDK 端到端 workflow
-
OpenAI API 服務部署（openai-server.ts）
每個範例的註解很詳細，包含 direct run、各種 error handling、效能檢查，甚至 terminal 實測與多工具結合都說明給你。同時 README.md 也有最新版執行步驟和常見問題解法，真的是超級貼心，無論你是新手還是熟手都能快速上手。
留言
張貼留言