Guider • Oppskrifter • Eksempler

Guider for Ollama, LLM, RAG og KI‑agenter

Her er en praktisk samling av oppskrifter som dekker de vanligste behovene – fra modellstyring og ytelse til integrasjon i apper og bygging av agent‑workflows.

Start med sjekklisten Vanlige spørsmål

Installasjon og grunnoppsett

Installer Ollama

Last ned fra offisiell side. Start deretter en modell fra terminalen.

ollama run llama3

Oppdater og rydd

Hold oversikt over hva du har lastet ned og frigjør plass.

ollama list
ollama rm <modell>

Ytelse

Start med en mindre modell. GPU/VRAM gir ofte stor effekt på respons‑tid.

Modeller: valg, versjoner og “model files”

I praksis ønsker du en modell for “generell assistent”, eventuelt en egen for kode og en for RAG/QA. Når du trenger konsistens kan du pakke en konfigurert modell med en fast systemprompt. 

# Eksempel (konsept): lag en egen modell med fast instruksjon
# (bruk Modelfile og bygg etter Ollama-dokumentasjonen)
Tips
  • Bruk tydelige svarformat: punkter, JSON, tabeller.
  • Sett “kildekrav” for RAG: “Svar kun basert på konteksten”.
  • Evaluer med egne testspørsmål – ikke bare “føles bra”.

Integrasjon: fra script til applikasjon

Du kan integrere med alt som kan gjøre HTTP-kall.

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Skriv en funksjon som validerer e-postadresser i JavaScript."
}'
Produksjon
  • Cache svar på dyre spørsmål.
  • Rate-limit per bruker og per endepunkt.
  • Logg, men maskér sensitive data.

RAG: “chat med dokumenter” som faktisk fungerer

Chunking

Del dokumenter i passende biter (ikke for store, ikke for små) og behold metadata.

Embeddings

Gjør tekst til vektorer, og bruk en indeks for rask relevans-søk.

Grounding

Legg inn kontekst + kildeliste i prompt. Be om svar med referanser.

KI‑agenter: arkitektur og sikkerhet

Agent‑mønsteret kombinerer en LLM med et sett verktøy og en planleggingssløyfe. For å lykkes må du begrense hva agenten kan gjøre, og bygge inn verifikasjon.

  • Definér verktøy (funksjoner) med eksplisitt input‑schema.
  • Whitelist domener/endepunkter for nettverkskall.
  • Bruk “human approval” for kritiske handlinger.
  • Evaluer med scenario‑tester og overvåk i drift.
Agent‑eksempel

Oppgave: “Les en loggfil, finn feil, lag en kort rapport og foreslå tiltak.”

Verktøy: fil-lesing (kun lese), regex‑søk, oppsummering, eksport til Markdown.