it's free*.ai

Ollama

Ollama 是本機的預設選項:一個 CLI、一個模型庫、localhost:11434/v1 上的 OpenAI 相容服務。`ollama pull llama3.3` 拉一次,之後當一般供應商呼叫。

Ollama 是本機的預設選項:一個 CLI、一個模型庫、localhost:11434/v1 上的 OpenAI 相容服務。`ollama pull llama3.3` 拉一次,之後當一般供應商呼叫。

macOS、Linux、Windows。沒有配額。除非你主動選擇 Cloud,請求不會離開你的機器。想要圖形介面選 LM Studio;想要正式級批次處理選 vLLM。

最大上下文
Whatever your RAM allows
免費額度
無限且私密
註冊要求
什麼都不用 —— 無帳號

端點

基底網址http://localhost:11434/v1
速率限制None — it is your machine

程式碼範例

npm install openai
import OpenAI from 'openai'

const client = new OpenAI({
  baseURL: 'http://localhost:11434/v1',
  apiKey: 'not-needed'
})

const response = await client.chat.completions.create({
  model: 'llama3.3',
  messages: [{ role: 'user', content: 'Explain closures in one paragraph.' }]
})

console.log(response.choices[0].message.content)

值得注意

你能免費使用的模型5