Hvilket arbeid fortjener de sterkeste AI-modellene?

Nye modeller gjør modellvalg mer aktuelt. Men den sterkeste modellen er ikke nødvendigvis riktig for hele arbeidsflyten.

De siste månedene har det blitt lansert flere nye AI-modeller. Hver lansering inviterer til den samme sammenligningen av hvilken modell som er best. For en virksomhet er det ofte mer nyttig å spørre hvilken kapasitet de ulike delene av arbeidet faktisk krever.

En arbeidsflyt består sjelden av én stor oppgave. Den består av flere steg med ulike krav til vurdering, kontekst, hastighet og kontroll. En enkel sortering eller et uttrekk fra et dokument trenger sjelden den kraftigste modellen. Andre steg kan kreve informasjon fra flere kilder, flere vurderinger og lengre resonnementer, og dermed mer kapasitet. Bruker dere den samme kraftige modellen på alle stegene, betaler dere fort for kapasitet arbeidsflyten ikke trenger.

Modellvalg er derfor en del av arbeidsdesignet. Det handler om å sette sammen modell, verktøy, kontroll og menneskelig godkjenning slik at arbeidet ender i en leveranse noen kan bruke.

Start med leveransen

Før dere velger modell, bør dere beskrive hva som skal være ferdig. Da blir det også lettere å se hva de ulike stegene i arbeidet krever.

• Hvor kompleks er oppgaven, og hvor mye kontekst trenger den?
• Hvilke vurderinger må modellen gjøre underveis? - Hvor viktig er responstid og volum?
• Hva kan skje hvis resultatet er feil?
• Hvilke deler krever menneskelig vurdering?
• Hvilke systemer og data skal modellen få tilgang til?

Tenk på en kundeserviceflyt. En effektiv modell kan trekke ut ordrenummer og lage et første svarutkast. En sterkere modell kan vurdere en sak som avviker fra standardvilkårene og krever informasjon fra flere kilder. En refusjon eller en endring i et kjernesystem bør likevel ha en tydelig godkjenningsregel.

Faste beregninger, tilgangsstyring og strukturerte oppdateringer bør ofte ligge i vanlig programvare. En språkmodell trenger ikke eie en operasjon som et deterministisk system kan utføre mer presist.

Se på kostnaden for hele arbeidsflyten

Pris per million tokens sier noe om en del av kostnaden. Det sier ikke hvor mye kontroll, omarbeiding eller ventetid som følger med.

Bruk derfor kostnad per godkjent leveranse som en tankeøvelse. Hvor mye arbeid og modellbruk skal til før resultatet er godt nok til å brukes? Spør:

• Hvor mye oppfølging krever resultatet?
• Hvor ofte må arbeidet gjøres på nytt?
• Hva skjer når kildene er uklare eller systemet stopper?

Regnestykket skal gjøre arbeidet rundt modellen synlig. En rimelig modell er ikke nødvendigvis rimelig hvis den fører til mer kontroll og omarbeiding. En sterkere modell kan være verdt kostnaden når den reduserer slikt arbeid, men det må vurderes i den konkrete arbeidsflyten.

En enkel regel er ofte nok: Bruk en effektiv modell som standard (som for eksempel Luna i ChatGPT eller Sonnet i Claude), og eskaler når oppgaven krever mer kontekst, tvetydig vurdering eller strengere kontroll. Bruk vanlig programvare for faste regler. La et menneske godkjenne handlinger som er vanskelige å reversere eller som påvirker kunder, økonomi eller avtaler.

Modellruting handler om den samme avveiningen: oppgavens kompleksitet, risiko, responstid og kostnad må ses samlet. Modellvalget skjer inne i arbeidsflyten. Det er ikke en rangering som gjelder likt for alle oppgaver.

Bygg kontrollen rundt arbeidsflyten

Modellene kommer til å endre seg. Kildegrunnlaget, tillatelsene, testene og stoppunktene bør derfor ikke være bundet til ett modellnavn.

I kundeserviceeksemplet kan modellen som lager svarutkast byttes ut etter hvert som bedre eller rimeligere alternativer kommer. Reglene for hvilke kundedata den får lese, når en refusjon krever godkjenning og hva som skal logges, bør bestå uavhengig av modellvalget.

Et godt oppsett kan bruke separate steg for å finne mulige feil, teste funnene og håndtere tilgang, lagring og andre faste operasjoner med vanlig programvare. Da blir det også enklere å teste en ny modell uten å bygge hele arbeidsflyten på nytt.

Før en agent får lese, endre eller sende noe, bør dere vite hvilke kilder den bruker, hvilke tillatelser den har, hvordan resultatet testes og hvor et menneske må ta over.

Test én arbeidsflyt

Dere trenger ikke lage en modellstrategi for hele virksomheten før dere begynner. Velg heller én gjentakende arbeidsflyt dere kjenner godt.

1. Beskriv leveransen og hva som gjør den god nok.
2. Samle et representativt utvalg oppgaver som kan brukes som et evalueringssett.
3. Sammenlign en effektiv modell, en sterkere modell og eventuelle programvare- eller kontrollsteg.
4. Skriv ned hvilken rute som gir stabil kvalitet, og når arbeidet skal eskaleres.

Dette utvalget kan være starten på et evalueringssett – ofte kalt evals. Poenget er å vurdere arbeidsflyten mot de samme, representative oppgavene hver gang dere endrer modell, instruksjoner, kilder eller verktøy. Da kan dere måle om resultatene er korrekte, om agenten bruker riktige kilder, følger reglene og stopper når saken krever menneskelig vurdering.

Her ligger også mye av arbeidet som ikke synes i en demo. Noen må definere hva som er godt nok, lage og vedlikeholde oppgavene, fange opp grensetilfeller, kontrollere resultatene og finne ut hvorfor feil oppstår. Uten denne evalueringssløyfen er det vanskelig å vite om agenten faktisk blir bedre, eller bare ser imponerende ut på ett enkelt eksempel.

Evals er derfor ikke et tillegg rundt løsningen. De er en del av løsningen. En kompetent partner kan bidra med å bygge denne kontrollen inn i arbeidsflyten, slik at kvalitet, risiko og forbedring blir mulig å følge opp over tid.

Dere trenger ikke ha et perfekt kostnadsregnskap før dere begynner. En relativ sammenligning kan være nok til å oppdage at problemet ligger i kildene, kontrollen eller arbeidsflyten rundt modellen.

Neste gang en ny modell lanseres, trenger dere derfor ikke starte med spørsmålet om dere bør bytte. Test hvor den nye modellen gjør en merkbar forskjell i en arbeidsflyt dere allerede kjenner. Se hvor en enklere modell er god nok, hvor mer kapasitet gir bedre resultater, og hvilke steg som ikke trenger en språkmodell i det hele tatt.

Da får dere et mer nyttig svar enn en generell modellrangering kan gi: hvilken kapasitet akkurat denne arbeidsflyten trenger for å levere stabilt i drift.