Välj den minsta driftformen som löser dagens arbetslast. Flytta upp en nivå först när användare, integration eller samtidighet kräver det.
Tre nivåer
1. Grafisk skrivbordsapp
Passar för modellprov, personligt arbete och lärande. Installation och modellbyte är ofta synliga och lätta att förstå. Nackdelen är att konfigurationen lätt blir personlig, svår att reproducera och olämplig som delad tjänst.
2. Lokal tjänst på en arbetsstation
En runtime med lokalt API gör att skript och andra verktyg kan anropa modellen. Den är ett bra nästa steg när piloten behöver automatiseras. Bind tjänsten till den lokala maskinen tills autentisering, nätverksgräns och loggning har beslutats.
3. Serverruntime för flera användare
Fler användare kräver köhantering, resursgränser, autentisering, övervakning och en ansvarig ägare. Servern är inte bara en starkare dator; den är en tjänst som måste kunna belastas, uppdateras och återställas utan att användarna gissar vad som händer.
Beslutstabell
| Fråga | Skrivbord | Lokal tjänst | Server |
|---|---|---|---|
| Användare | En | En eller ett fåtal kontrollerade klienter | Flera |
| Integration | Manuell | Lokalt API | Nätverkstjänst |
| Driftansvar | Användaren | Maskinens ägare | Namngiven tjänsteägare |
| Minimikontroll | Version och lagringsplats | Bindadress och API-åtkomst | Identitet, kvoter, loggar och reservrutin |
Guiden namnger med flit ingen produkt, eftersom nivån ska väljas före verktyget. När nivån är bestämd blir jämförelsen konkret: två vanliga alternativ ställda mot varandra efter arbetsflöde. Har valet blivit Ollama och lagringsplatsen behöver ändras finns en separat procedur för att flytta modellkatalogen utan en ny nedladdning.
Kontrollera kompatibiliteten
Modellfil, runtime och hårdvaruacceleration måste passa ihop. Dokumentera vilket modellformat och vilken kvantisering som används och vilken backend som faktiskt belastar GPU eller CPU. Ett verktyg kan starta modellen genom att flytta delar till långsammare minne; det är funktionellt men kan ge en helt annan svarstid än du planerat för — minnesbudgeten avgör om det händer.
Undvik dold inlåsning
Spara prompts, inställningar och testfall utanför ett enda grafiskt verktyg. Om möjligt bör klienten anropa en dokumenterad lokal API-yta så att runtime eller modell kan bytas. Det betyder inte att alla produkter är utbytbara, men det gör skillnader synliga.
Testfallen behöver ett känt svar för att vara värda något. För en sökning i egna dokument betyder det tio frågor där rätt stycke är bestämt i förväg — hur ett sådant facit byggs och räknas om finns i genomgången av lokal dokumentsökning med facit.
Godkänn först när du kan svara på detta
- Var lagras modellfiler, historik och loggar?
- Vilka nätverksadresser lyssnar tjänsten på?
- Hur identifieras och begränsas användare?
- Vilken exakt version är testad?
- Hur uppdateras och återställs installationen?
- Vad gör användaren när tjänsten är nere?
Driftformsbeslutet
Skriv ner valet medan skälen är färska. Ett beslut utan nedskrivet uppgraderingsvillkor blir kvar tills något går sönder — och då är det inte längre ett val.
Exemplet är påhittat och följer samma fall som de övriga guiderna: sammanfattning av mötesanteckningar. Kopiera formen, inte värdena.
| Fält | Exempel | Vad raden ska bevisa |
|---|---|---|
| Vald nivå | Nivå 2, lokal tjänst på en arbetsstation | Att valet är den minsta nivå som löser dagens arbetslast |
| Motivering | Piloten ska anropas från ett skript, men bara förvaltaren använder den ännu | Att nivån följer av behovet och inte av tillgänglig hårdvara |
| Användare nu och planerat | En i dag; fyra projektledare när piloten är godkänd | Att uppgraderingen är förutsedd, inte en överraskning |
| Bindadress och port | Loopback; ingen lyssnare på övriga gränssnitt | Att tjänsten inte är exponerad innan autentisering är beslutad |
| Driftansvarig | Namngiven förvaltare — på nivå 2 är det maskinens ägare | Att ansvaret följer med nivån |
| Testad version | Runtime och modell enligt vad de själva rapporterar, med testdatum | Att beslutet gäller ett känt läge och går att återskapa |
| Uppgraderingsvillkor | Flytta till nivå 3 när någon utanför förvaltarens maskin ska nå tjänsten | Att nästa nivå har en utlösare i stället för ett godtyckligt tillfälle |
| Omprövas senast | Datum eller den händelse som utlöser omprövning | Att beslutet inte blir permanent av glömska |
Kopiera tom mall
DRIFTFORMSBESLUT — <tjänstens namn> Fattat: <datum> Av: <namn> Vald nivå ............ 1 skrivbord / 2 lokal tjänst / 3 server Motivering ........... Användare nu ......... Användare planerat ... Bindadress och port .. Driftansvarig ........ Testad version ....... runtime / modell / datum Uppgraderingsvillkor . Omprövas senast ...... Avfärdade nivåer och varför Nivå <n> ...........
Källor
- Ollama — server, bindadress, lokal-only och konfiguration
- LM Studio — lokal server, CLI, SDK:er och kompatibilitetsytor
- llama.cpp — CLI, server och stödda hårdvarubackends
Källorna kontrollerades 1 september 2026 och ska kontrolleras på nytt senast 30 september 2026. API:er och standardvärden är versionskänsliga.