使用 Apple Foundation Model 建立 OpenAI API Compatibility 的 API Server
自從 iOS 18 推出 Apple Intelligence Beta 之後其實蘋果就偷偷內建了 Apple Foundation Model 在你的手機 / 電腦裡面(如果你有啟用 AI 的話)那這個 AI 可以怎麼要調用呢?根據蘋果一貫的做法你必須要寫 Swift 來調用底層的功能,Shortcuts 有開放調用又是另外一個故事了。 你可能有在 threads 上面看過一篇分享在講說 gety-ai/apple-on-device-openai 專案直接把 Apple Foundation Models 包成 OpenAI 相容 API,/v1/chat/completions、SSE 都能跑,換個 endpoint 就能在 Apple Silicon Mac 離線推論,0 token 費、資料完全留本機。 不過我們今天要來介紹的是另外一個專案