vLLM
vLLM ist die Serving-Engine, die die Produktion wirklich nutzt: PagedAttention, Continuous Batching, ein OpenAI-kompatibler Server unter localhost:8000/v1. Die GPU bringt man selbst mit.
vLLM ist die Serving-Engine, die die Produktion wirklich nutzt: PagedAttention, Continuous Batching, ein OpenAI-kompatibler Server unter localhost:8000/v1. Die GPU bringt man selbst mit.
`vllm serve Qwen/Qwen3-8B`, und fertig. CUDA oder ROCm; auf dem Mac lieber zu MLX greifen. Keine Quota, kein Key, nichts verlässt die Maschine.
- Max. Kontext
- Set with --max-model-len
- Gratis-Tarif
- Unbegrenzt und privat
- Anforderung
- Nichts — kein Konto
Endpunkt
Basis-URL
http://localhost:8000/v1Ratengrenze
None — it is your machine- OpenAI-kompatibel
- Text
- Vision
Codebeispiele
npm install openaiimport OpenAI from 'openai'
const client = new OpenAI({
baseURL: 'http://localhost:8000/v1',
apiKey: 'not-needed'
})
const response = await client.chat.completions.create({
model: 'Qwen/Qwen3-8B',
messages: [{ role: 'user', content: 'Explain closures in one paragraph.' }]
})
console.log(response.choices[0].message.content)pip install openaifrom openai import OpenAI
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="not-needed",
)
response = client.chat.completions.create(
model="Qwen/Qwen3-8B",
messages=[{"role": "user", "content": "Explain closures in one paragraph."}],
)
print(response.choices[0].message.content)curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/Qwen3-8B",
"messages": [{"role": "user", "content": "Explain closures in one paragraph."}]
}'Wissenswert
- Erst den Server starten: `vllm serve Qwen/Qwen3-8B`.
- Braucht eine CUDA- oder ROCm-GPU; auf dem Mac lieber zu MLX greifen.
Modelle, die Sie gratis bekommen5
- Qwen 3
qwen3 - Llama 3.3 70B
llama-3.3-70b - GPT-OSS 120B
gpt-oss-120b - DeepSeek R1
deepseek-ai/DeepSeek-R1 - DeepSeek V4
deepseek-v4-flash
