Välj inte modell först och problem sedan. Samla representativa indata, definiera vad ett godkänt svar är och jämför kandidater på samma maskin, med samma runtime och inställningar.
Sex saker att jämföra
Uppgiftskvalitet
Löser modellen de faktiska fallen, även kantfall?
Svenska och ton
Blir svaret korrekt, begripligt och konsekvent på ditt språk?
Format
Följer modellen schema, rubriker eller JSON när det krävs?
Kapacitet
Ryms modellen med kontext och marginal på målmaskinen?
Svarstid
Är första respons och fortsatt generering snabb nog?
Villkor
Tillåter licensen den användning, ändring och distribution du planerar?
Storlek och kvantisering
Fler parametrar kan ge högre kapacitet, men större är inte automatiskt bättre för en avgränsad uppgift. Kvantisering minskar modellvikternas minnesbehov och kan göra lokal körning möjlig på mindre hårdvara. Samtidigt kan kvaliteten påverkas. Jämför därför inte olika kvantiseringar som om de vore identiska versioner. Räknesättet för viktposten, vad ett steg mellan Q4, Q5 och Q8 kostar i gigabyte och kvalitet och ett prov du kan köra själv står i Vilken kvantisering ska du välja?.
Kontext är en kostnad
En modell kan marknadsföras med ett långt kontextfönster utan att det är klokt att använda hela fönstret lokalt. Längre indata tar tid att behandla och använder mer minne. Testa den längd som arbetslasten faktiskt behöver och kontrollera att modellen fortfarande hittar rätt information när underlaget växer.
Gör testet upprepningsbart
- Använd provpaketet från pilotspecifikationen — 15–30 exempel som täcker normalfall, svåra fall och sådant modellen ska avstå från. Bygg det en gång och återanvänd det här.
- Bestäm bedömningsregler innan du ser modellernas svar.
- Frys modellfil, kvantisering, runtimeversion, prompt och inställningar.
- Kör varje kandidat på samma hårdvara och spara kvalitet, fel, svarstid och minne.
- Välj den minsta kandidat som klarar tröskeln med rimlig marginal.
Ett modellnamn räcker inte i ett driftbeslut. Spara exakt variant, fil eller digest, kvantisering, runtime och datum för testet.
Licensen är en del av modellen
”Öppen modell” beskriver inte automatiskt vad du får göra. Läs den licens som följer just den version du laddar ner och kontrollera begränsningar för kommersiell användning, vidare distribution, härledda modeller och krav på information till användare. Vid osäkerhet behövs en juridisk bedömning, inte en gissning från modellen.
Källor
- Hugging Face — GGUF-format, metadata och kvantiseringstyper
- llama.cpp — konvertering, kvantisering och kvalitetsrisk vid rekvantisering
- LM Studio — modellhämtning och val av kvantiserad variant
Källorna kontrollerades 1 september 2026 och ska kontrolleras på nytt senast 30 september 2026. Läs alltid modellkortet och licensen för den exakta modellversionen.