Till innehållet
Sannur

Så mäter vi

Vi redovisar hur vi mäter och vad mätningarna har visat, också när resultatet är svagt. Posterna nedan är interna prov på grundarens eget material. Kundresultat publiceras först efter en genomförd pilot, och bara med kundens skriftliga ja till den exakta texten.

25 september 2026: baslinjen

12 av 20. Baslinje, inte kundresultat. Internt prov den 25 september 2026 på grundarens egna frågor och material.

Rätt av tjugo per körning: fem rader med tjugo enheter var, en per fråga. 24 september: 6 rätt och 5 ej sakgranskade. 25 september före befordran: 6 rätt och 7 ej sakgranskade. 25 september klockan 11.31: 12 rätt, i fokus, med texten 12 av 20, baslinje, inte kundresultat, och i grått 13 med den tidigare bedömningen av fråga 9. 26 september, kandidat A: 11 rätt, inte installerad. Kandidat B: 12 rätt, inte installerad. Fylld punkt betyder rätt, liten ofylld ring ej sakgranskat och liten grå punkt annat utfall. Implikation: mellan körningarna befordrades fjorton påståenden, och sju svar som var ej sakgranskade blev rätt. Svarsvägen var oförändrad. RÄTT AV TJUGO, PER KÖRNING 24 september6 av 20 25 september, före befordran6 av 20 25 september kl. 11.3112 av 20 26 september, kandidat A11 av 20 inte installerad 26 september, kandidat B12 av 20 inte installerad 12 av 20 – baslinje, inte kundresultat 13 med den tidigare bedömningen av fråga 9 rätt ej sakgranskat annat utfall Mellan körningarna befordrades fjorton påståenden, och sju svar som var ej sakgranskade blev rätt. Svarsvägen var oförändrad.

Rätt av tjugo per körning, 24 till 26 september 2026. Tolv av tjugo är baslinjen; de två kandidaterna installerades inte.

Provets rapport; klassningen per fråga nedan

ProvInternt. Grundarens tjugo egna frågor, på grundarens eget material
MetodVarje svar klassades som rätt, utelämnat, ej sakgranskat, fel källa, saknas eller tekniskt stopp. Utelämnat betyder att underlaget fanns men inte kom med i svaret. Saknas betyder att svaret inte fanns i underlaget
Utfall12 rätt, 4 utelämnade, 2 fel källa och 2 saknades. Inget svar klassades som ej sakgranskat eller tekniskt stopp
FörloppetDen 24 september gav de tjugo frågorna 6 rätt. På morgonen den 25 september gav en ny körning också 6 rätt, med 7 svar klassade som ej sakgranskade. Klockan 11.22 befordrades fjorton påståenden som grundaren hade godkänt, och klockan 11.31 kördes de tjugo frågorna igen: 12 rätt, 4 utelämnade, 2 fel källa, 2 saknades. Sex rätt före sakgranskningen, tolv efter
Vad talet ärEn baslinje, inte en aktuell mätning. Förbättringen kom av att grundaren sakgranskade och befordrade fjorton påståenden ur kompletterat underlag; svarsvägen var oförändrad. Frågorna och materialet är grundarens, så talet säger inte hur Sannur klarar en kunds frågor
JämförbarhetKlasserna är provets egna. De är inte pilotens klassning, som har fler klasser och två lager. Kategorierna är en redovisad innehållsbedömning mot daterat källmaterial, inte ett automatiskt kvalitetstest eller ett mått på dagens drift
UnderlagMetoden och talen med nämnare står här. Körningen är sparad med datum och tid den 25 september 2026 kl. 11.31 svensk tid, och de tre lägena finns per fråga i provets rapport. Klassningen per fråga står nedan, med frågetyp i stället för frågetext, eftersom frågorna rör grundarens eget material

Klassningen per fråga. Godkänd för publicering av Jimmy Karlsson den 6 oktober 2026.

NrFrågetyp24 sep25 sep, före25 sep, efterBedömning i korthet
1Teknisk plattform: vilken databasej sakgranskatej sakgranskaträttSvaret fanns i underlag som befordrades
2Teknisk plattform: var systemet körsej sakgranskatej sakgranskaträttRätt leverantör och server; den geografiska platsen saknas uttryckligen i underlaget
3Säkerhetskopior: hur ofta och varträtträtträttTider, platser och antal kopior återgivna
4Säkerhetskopior: hur återställning kontrollerasej sakgranskatej sakgranskaträttProvets tidpunkter och acceptanskriterier återgivna efter befordran
5Säkerhetskopior: vad som kan återställasej sakgranskatej sakgranskaträttRätt omfattning; en uttalad lucka i underlaget redovisades som lucka
6Kapacitet: hur många poster innan svaren blir långsammarätträtträttTalen ur det daterade statusdokumentet, med diagnostik åtskild; en senare beslutad driftram återges inte
7Kostnad: driften per månadfel källafel källafel källaSvaret byggde på ett budgetscenario, inte på faktisk drift, och sade det
8Styrning: vem får godkännasaknasej sakgranskaträttRollen fanns i nytt inläst underlag; rätt efter befordran
9Styrning: villkoren för befordranrätträttutelämnatPrinciperna rätt, men de konkreta villkoren i det nya underlaget kom inte med
10Styrning: vad som händer utan spårningrätträtträttRegeln och dess täckning återgivna
11Rutin: hur ett fel påstående rättassaknassaknassaknasPrinciper fanns; en praktisk rutin med ansvar och steg saknas i underlaget
12Den interna pilotens avgränsning: vilka källor som får läsasfel källafel källafel källaEn allmän källstrategi, inte den interna pilotens faktiska avgränsning
13Motiv till ett teknikvalfel källasaknassaknasValet är dokumenterat, motivet inte; luckbesked i stället för fel källa från 25 september
14Beslutshistorik: ändringar i datamodellenrätträtträttBeslutet och den styrda hanteringen återgivna
15Beslutshistorik: två namngivna beslutsaknasej sakgranskaträttBesluten fanns i en ny inläst version; rätt efter befordran
16Arbetsläge: stängda och öppna arbetskortutelämnatutelämnatutelämnatTre poster kom inte med i svaret
17Arbetsläge: vad som återstår till en milstolpeutelämnatutelämnatutelämnatKriterierna fanns men kom inte med
18Arbetsläge: kända problem i sökningenrätträtträttDet daterade statusdokumentets uppgifter återgivna; de är historiska, dagens läge är ett annat
19Arbetsläge: utestående funktionerutelämnatutelämnatutelämnatTvå poster kom inte med; sökbudgeten tog slut
20Samma som fråga 1, ställd på engelskaej sakgranskatej sakgranskaträttSamma besked som fråga 1; svaret gavs på svenska

Summa efter befordran: 12 rätt, 4 utelämnade, 2 fel källa, 2 saknas, 0 ej sakgranskade, 0 tekniskt stopp. Fråga 9 gick från rätt till utelämnat när nytt underlag fanns: svaret tog inte med de nya villkoren.

Hela det redigerade underlaget, med förloppet, de tidigare körningarnas fördelning, kandidaterna och vad som inte publiceras, finns som dokument:

Baslinjeunderlag

Grundarens prov, 25 september 2026

Version 1.0 · 8 oktober 2026 · PDF, 130 kB

26 september 2026: två kandidater som inte installerades

Två kandidater till bättre svarsväg prövades mot samma tjugo frågor. Den ena gav 11 rätt. Den andra behöll 12 rätt men försämrade ett annat resultat och stoppades av kontrollen mot försämring. Ingen av dem installerades.

September 2026: specificerade läsanrop

42 av 42. Specificerade läsanrop gav samma poster och belägg, i samma material, med samma behörigheter och version.

Det fria svaret på samma fråga gav en gång tio och en gång sju godkända påståenden, genom andra sökord. Modellen kan välja olika sökningar från gång till gång, så samma fråga ger inte alltid samma underlag. Det som är reproducerbart är hämtningen när sökningen är specificerad, inte svaret på en fri fråga.

Så mäter piloten

Piloten mäts med era frågor, inte våra. Ni skriver tjugo frågor som spelar roll i verksamheten innan något material tas in. De dateras och ändras inte under piloten. Vad som räknas som godkänt utfall skrivs också ned före start.

Två lager per fråga

  • Täckning: finns svaret i det material som tagits in? Det bedöms i en referensgranskning av materialet, där ni lägger till det ni vet. Klasserna är finns, finns delvis, inte hittat vid referensgranskningen, och täckning osäker.
  • Utfall: vad Sannur gjorde med frågan. Varje fråga får en klass, med motivering: rätt, korrekt luckbesked, luckbesked vid osäker täckning, utelämnat, ej sakgranskat, fel källa, fel slutsats, saknas men svarade ändå, eller tekniskt stopp. Vad ett luckbesked är, och hur ett svar visar sitt underlag, står på Så fungerar det.

Tre tal, aldrig bara ett

TalRäknas somSäger
Produktförmågarätt ÷ (finns + finns delvis)Hur ofta Sannur svarar rätt när svaret finns i materialet
Ärlighet vid luckakorrekta luckbesked ÷ inte hittat vid referensgranskningenHur ofta Sannur säger att inget hittades när inte heller referensgranskningen hittade svaret
Datatäckningde 20 fördelade på fyra täckningsklasserHur mycket av frågorna materialet faktiskt kan besvara
En matris med täckningen i fyra rader och två kolumner, svarar och ger luckbesked. Raderna är grupperade efter nämnare: finns och finns delvis ger tal 1, produktförmågan; inte hittat vid referensgranskningen ger tal 2, ärligheten vid lucka; täckning osäker står för sig. Utfallsklasserna står i cellerna, och det som räknas som klarat, rätt svar och korrekt luckbesked, är märkt med orden räknas som klarat. Tal 3, datatäckningen, är fördelningen över raderna och förklaras under matrisen. TÄCKNING MOT UTFALL SVARAR GER LUCKBESKED nämnare för tal 1, produktförmåga nämnare för tal 2, ärlighet vid lucka redovisas för sig, inte i nämnarna räknas som klarat räknas som klarat räknas som klarat Finns Finns delvis Inte hittat vid referensgranskningen Täckning osäker rätt utelämnat eller ej sakgranskat rätt utelämnat eller ej sakgranskat saknas, svarade ändå korrekt luckbesked kan inte avgöras annars en felklass underlaget fanns om delen som finns besvaras och resten ges som lucka; annars en felklass underlaget fanns delvis allvarligt fel med stöd: täckningen rättas, finns eller finns delvis utan stöd: saknas, svarade ändå luckbesked vid osäker täckning Rätt och korrekt luckbesked räknas som klarat. Tal 3, datatäckning: hur de tjugo frågorna fördelar sig på de fyra raderna. Felklasserna: utelämnat, ej sakgranskat, fel källa, fel slutsats. Tekniskt stopp kan inträffa i alla rader.

Två lager per fråga, tre tal. Varje tal har sin egen nämnare, och de redovisas alltid tillsammans.

Pilotavtalets bilaga 4

Talen redovisas alltid tillsammans. Täcker materialet inte frågorna kan ett system klara alla tjugo genom att svara att inget hittades. Det vore sant men lite värt, och det ska synas.

Tolkningsreglerna, skrivna före start:

  • Frågor med osäker täckning ingår inte i nämnaren för ärlighet vid lucka. De redovisas för sig: hur många de är och vilket utfall de fick.
  • Är nämnaren noll redovisas talet som ”kan inte beräknas”.
  • Slutmätningen görs i två körningar. Körning A räknas, och körning B redovisas bredvid.
  • Ett urval av frågorna besvaras också med ert nuvarande arbetssätt, och tid och kvalitet jämförs. I jämförelsen räknas också Jimmy Karlssons arbetstid, eftersom piloten är assisterad.
  • Ni fastställer klassningen. Utfallet redovisas som det blev, med de frågor som föll och varför.

Mätningar görs i vecka 3, före sakgranskningen, i vecka 5 och i vecka 7. Hela mätmetoden står i pilotavtalets bilaga 4.

Tid, användning och underlag

Talen för svaren är inte hela mätningen. Piloten för också tiden, jämför med ert nuvarande sätt och prövar om svaren går att använda av någon annan än den som ställde frågorna.

Skiss av slutrapporten, märkt mall, inga utfall, med åtta delar i fast ordning. 1 Utfallet per fråga: täckning, klass och om underlaget var sakgranskat eller ogranskat, också i provets sex klasser. 2 De tre talen och summan klarade: med nämnare per mättillfälle, slutmätningens körning A och B, och vad som ändrades mellan mätningarna. 3 Luckorna per slag, och osäker täckning för sig. 4 Jämförelsen med nuvarande arbetssätt. 5 Överlämningsprovet och provet med leverans utan pilotansvarig. 6 Nyttomått, grundkrav och nivåkrav, och pilotloggen. 7 Tid och insats mot budget och veckotak. 8 Avvikelser och incidenter, och vad som skulle behövas. Talrutorna, utfallsrutan och budgetramarna är tomma. MALL · INGA UTFALL 1 2 3 4 5 6 7 8 1 Utfallet per fråga täckning, klass och om underlaget var sakgranskat eller ogranskat; också i provets sex klasser 2 De tre talen och summan klarade med nämnare, per mättillfälle, slutmätningens körning A och B, och vad som ändrades mellan mätningarna 3 Luckorna per slag, och frågorna med osäker täckning för sig 4 Jämförelsenmed nuvarande arbetssätt 5 Överlämningsprovet och provet med leverans utan pilotansvarig 6 Nyttomått, grundkrav och nivåkrav godkänt, delvis uppfyllt eller inte godkänt; pilotloggen visar det verkliga bruket 7 Tid och insatsmot budget och veckotak 8 Avvikelser och incidenter och vad som skulle behövas

Slutrapportens åtta delar, i fast ordning. En mall utan utfall; varje tal får sin nämnare.

Pilotavtalets bilaga 4

Tiden förs som den är. Er tid för export, urval, sakgranskning, kontroll av ogranskade källutdrag, frågor och möten förs vecka för vecka, med granskningstiden för sig. Sannurs tid för förberedelse, införsel, körning, stöd, klassning och rapport förs på samma sätt och jämförs varje vecka med veckotaket på 20 timmar och ackumulerat med totalbudgeten på 80 timmar, var för sig.

Jämförelsen med ert nuvarande sätt. Före start väljer pilotägaren ett urval av de tjugo frågorna. För dem tar ni fram svaret på ert nuvarande sätt i vecka 2, innan ni sett Sannurs svar, och noterar tiden och underlaget. Pilotägaren bedömer sedan båda svaren mot de noteringar om ett bra svar som skrevs före införsel. Tiden med Sannur räknas som er tid plus Jimmy Karlssons tid för samma fråga, eftersom piloten är assisterad. Resultatet redovisas som en jämförelse på de valda frågorna, inte som en allmän besparing.

Överlämningsprovet. I vecka 6 ställer en annan behörig person i er ledning några av de tjugo frågorna och bedömer om svaret går att använda utan pilotägarens hjälp, och noterar vad som saknades. Provet visar om de prövade svaren gick att använda för den prövade personen. Det visar inte att kunskap i allmänhet går att överföra.

Leverans utan Jimmy. En annan person än Jimmy sköter en del av leveransen under piloten enligt en skriven rutin, med egen namngiven åtkomst och sekretess. En AI-agent räknas inte som en sådan person. Slutrapporten redovisar vad som fungerade, var personen behövde fråga och hur lång tid det tog.

Godkänt utfall bestäms före start. Fyra grundkrav måste alla vara uppfyllda: inget material utanför källistan, och inget känsligt material, har gått till en extern modelltjänst, slutmätningen bygger på en svarsväg utan märkningsfel, varje svar är sparat ordagrant med underlag och klassning, och startvillkoren har hållit. Därtill nivåkrav för produktförmåga, allvarliga fel, ärlighet vid lucka, användbarhet, jämförelsen, överlämningen, verkligt bruk och leveransinsatsen. Nivåerna skrivs in i bilagan före start och ändras inte när resultaten börjar komma. Utfallet blir godkänt, delvis uppfyllt eller inte godkänt. Vårt eget prov, 12 av 20, används inte som måttstock, eftersom frågorna och materialet är andra. Om ni vill fortsätta ingår inte i godkännandet; det är ert beslut efter utfallet.

Det vi publicerar, och det vi inte publicerar. Här på webben står metoden, talen med nämnare och en redigerad klassningstabell för vårt eget prov. Era frågor, era svar och er slutrapport publiceras inte utan ert skriftliga ja till den exakta texten, och råunderlaget publiceras inte alls.

Rättelser

Har vi haft fel publicerar vi en daterad rättelse under Rättelser och en notering vid den berörda posten här. Historiska resultat ändras inte utan att ändringen redovisas.

Senast ändrad
Nästa genomgång
Ansvarig
Jimmy Karlsson