it's free*.ai

Ollama

O Ollama é o padrão local: um CLI, uma biblioteca de modelos, um servidor compatível com OpenAI em localhost:11434/v1. `ollama pull llama3.3` uma vez, e depois chama como qualquer outro provedor.

O Ollama é o padrão local: um CLI, uma biblioteca de modelos, um servidor compatível com OpenAI em localhost:11434/v1. `ollama pull llama3.3` uma vez, e depois chama como qualquer outro provedor.

macOS, Linux, Windows. Sem cota. A requisição nunca sai da máquina, a menos que você opte pelo Cloud. Para GUI, LM Studio; para batching de produção, vLLM.

Contexto máximo
Whatever your RAM allows
Nível gratuito
Ilimitado e privado
Requisito
Nada — sem conta

Endpoint

URL basehttp://localhost:11434/v1
Limite de taxaNone — it is your machine

Exemplos de código

npm install openai
import OpenAI from 'openai'

const client = new OpenAI({
  baseURL: 'http://localhost:11434/v1',
  apiKey: 'not-needed'
})

const response = await client.chat.completions.create({
  model: 'llama3.3',
  messages: [{ role: 'user', content: 'Explain closures in one paragraph.' }]
})

console.log(response.choices[0].message.content)

Vale saber

Modelos que você obtém de graça5