Zelf hosten
De API in een Docker-container, het model als gemounte map. Hoe je image en model krijgt, spreken we samen af.
docker run -p 8000:8000 \
-v "$PWD/modellen/ontleder:/modellen/ontleder:ro" \
taalfeedback
curl -s localhost:8000/health| GPU en externe diensten | Niet nodig |
|---|---|
| Model | ±514 MB, niet in de image; zonder model start de API niet |
| 1 vCPU, 2 GB | Eén zin ±0,15 s, 300 woorden ±1,8 s, piek 1,2 GB |
| Laptop (Apple M5) | Eén zin 7 ms, 300 woorden 111 ms, piek 1,8 GB |
| Eis | 300 ms voor 300 woorden op 2 vCPU: daar is nog niet gemeten |
Snelheid gemeten met het vorige model; het huidige is dat model met twee kleine toevoegingen en is apart nog niet gemeten. Zelf hosten kent geen rate limit, en dan gelden jouw eigen logs.