Kom i gang • Sjekkliste • Beste praksis

Kom i gang med Ollama og LLM – steg for steg

Denne sjekklisten tar deg fra installasjon til en fungerende lokal LLM‑stack: modellvalg, ytelse, API-integrasjon, RAG og grunnmur for KI‑agenter.

Gå til guider Les FAQ

1) Installer og verifiser

  • Installer Ollama for ditt operativsystem.
  • Åpne terminal og kjør en modell:
ollama run llama3

Tips: Hvis du får treg respons, start med en mindre modell og sjekk ressursbruk.

Hurtigsjekk
  • Status: ollama list
  • Hjelp: ollama --help
  • Server: kjører normalt lokalt på port 11434

2) Velg riktig modell

Generell assistent

Bruk en balansert instruksjonsmodell til tekst, oppsummering og Q&A. Start med 7–8B.

Kode

Velg en kodefokusert modell hvis du jobber mye i terminal/IDE og ønsker bedre kodefullføring.

RAG / interne data

Prioritér stabil instruksjonsfølge, god “grounding” og tydelige svarformat.

Praktisk regel: mindre modeller gir ofte bedre interaktiv fart, mens større modeller kan gi høyere kvalitet på komplekse oppgaver – spesielt med god kontekst.

3) Koble på API i et prosjekt

Ollama eksponerer et lokalt HTTP‑API. Det gjør integrasjon enkel i alt fra scripts til web‑apper.

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Skriv en kort guide til Ollama på norsk."
}'
Beste praksis
  • Logg prompts/svar for feilsøking (uten sensitive data).
  • Sett tidsouts og maks tokens.
  • Bruk “system prompt” for rolle og regler.

4) RAG: svar på egne dokumenter

RAG (Retrieval‑Augmented Generation) betyr at du henter relevant kontekst fra egne data før modellen svarer. Resultatet er mer presise svar, mindre hallusinasjon og bedre sporbarhet.

  • Del opp dokumenter i biter (chunks).
  • Lag embeddings og indeksér i en vektordatabase.
  • Hent topp‑K biter og legg i prompt.
Sikkerhet

RAG gjør det fristende å putte “alt” i indeksen. Bruk tilgangsstyring, og separer data per team/prosjekt.

5) KI‑agenter: fra svar til handling

En agent er en LLM som får verktøy og en oppgaveflyt. Eksempel: hent status fra et API, lag et sammendrag og opprett en oppgave i et system. Nøkkelen er kontroll: begrens verktøy, valider input og logg alt.

Verktøy

HTTP-kall, filsystem, søk, databaser, interne API-er – men kun det agenten trenger.

Guardrails

Regler, whitelists, rate‑limits og menneske‑i‑loopen for kritiske handlinger.

Eval

Mål kvalitet med testsett og “golden prompts”. Overvåk drift med logging og metrikk.