Vi redovisar hur vi mäter och vad mätningarna har visat, också när resultatet är svagt. Posterna nedan är interna prov på grundarens eget material. Kundresultat publiceras först efter en genomförd pilot, och bara med kundens skriftliga ja till den exakta texten.
25 september 2026: baslinjen
12 av 20. Baslinje, inte kundresultat. Internt prov den 25 september 2026 på grundarens egna frågor och material.
Rätt av tjugo per körning, 24 till 26 september 2026. Tolv av tjugo är baslinjen; de två kandidaterna installerades inte.
Provets rapport; klassningen per fråga nedan
| Prov | Internt. Grundarens tjugo egna frågor, på grundarens eget material |
| Metod | Varje svar klassades som rätt, utelämnat, ej sakgranskat, fel källa, saknas eller tekniskt stopp. Utelämnat betyder att underlaget fanns men inte kom med i svaret. Saknas betyder att svaret inte fanns i underlaget |
| Utfall | 12 rätt, 4 utelämnade, 2 fel källa och 2 saknades. Inget svar klassades som ej sakgranskat eller tekniskt stopp |
| Förloppet | Den 24 september gav de tjugo frågorna 6 rätt. På morgonen den 25 september gav en ny körning också 6 rätt, med 7 svar klassade som ej sakgranskade. Klockan 11.22 befordrades fjorton påståenden som grundaren hade godkänt, och klockan 11.31 kördes de tjugo frågorna igen: 12 rätt, 4 utelämnade, 2 fel källa, 2 saknades. Sex rätt före sakgranskningen, tolv efter |
| Vad talet är | En baslinje, inte en aktuell mätning. Förbättringen kom av att grundaren sakgranskade och befordrade fjorton påståenden ur kompletterat underlag; svarsvägen var oförändrad. Frågorna och materialet är grundarens, så talet säger inte hur Sannur klarar en kunds frågor |
| Jämförbarhet | Klasserna är provets egna. De är inte pilotens klassning, som har fler klasser och två lager. Kategorierna är en redovisad innehållsbedömning mot daterat källmaterial, inte ett automatiskt kvalitetstest eller ett mått på dagens drift |
| Underlag | Metoden och talen med nämnare står här. Körningen är sparad med datum och tid den 25 september 2026 kl. 11.31 svensk tid, och de tre lägena finns per fråga i provets rapport. Klassningen per fråga står nedan, med frågetyp i stället för frågetext, eftersom frågorna rör grundarens eget material |
Klassningen per fråga. Godkänd för publicering av Jimmy Karlsson den 6 oktober 2026.
| Nr | Frågetyp | 24 sep | 25 sep, före | 25 sep, efter | Bedömning i korthet |
|---|---|---|---|---|---|
| 1 | Teknisk plattform: vilken databas | ej sakgranskat | ej sakgranskat | rätt | Svaret fanns i underlag som befordrades |
| 2 | Teknisk plattform: var systemet körs | ej sakgranskat | ej sakgranskat | rätt | Rätt leverantör och server; den geografiska platsen saknas uttryckligen i underlaget |
| 3 | Säkerhetskopior: hur ofta och vart | rätt | rätt | rätt | Tider, platser och antal kopior återgivna |
| 4 | Säkerhetskopior: hur återställning kontrolleras | ej sakgranskat | ej sakgranskat | rätt | Provets tidpunkter och acceptanskriterier återgivna efter befordran |
| 5 | Säkerhetskopior: vad som kan återställas | ej sakgranskat | ej sakgranskat | rätt | Rätt omfattning; en uttalad lucka i underlaget redovisades som lucka |
| 6 | Kapacitet: hur många poster innan svaren blir långsamma | rätt | rätt | rätt | Talen ur det daterade statusdokumentet, med diagnostik åtskild; en senare beslutad driftram återges inte |
| 7 | Kostnad: driften per månad | fel källa | fel källa | fel källa | Svaret byggde på ett budgetscenario, inte på faktisk drift, och sade det |
| 8 | Styrning: vem får godkänna | saknas | ej sakgranskat | rätt | Rollen fanns i nytt inläst underlag; rätt efter befordran |
| 9 | Styrning: villkoren för befordran | rätt | rätt | utelämnat | Principerna rätt, men de konkreta villkoren i det nya underlaget kom inte med |
| 10 | Styrning: vad som händer utan spårning | rätt | rätt | rätt | Regeln och dess täckning återgivna |
| 11 | Rutin: hur ett fel påstående rättas | saknas | saknas | saknas | Principer fanns; en praktisk rutin med ansvar och steg saknas i underlaget |
| 12 | Den interna pilotens avgränsning: vilka källor som får läsas | fel källa | fel källa | fel källa | En allmän källstrategi, inte den interna pilotens faktiska avgränsning |
| 13 | Motiv till ett teknikval | fel källa | saknas | saknas | Valet är dokumenterat, motivet inte; luckbesked i stället för fel källa från 25 september |
| 14 | Beslutshistorik: ändringar i datamodellen | rätt | rätt | rätt | Beslutet och den styrda hanteringen återgivna |
| 15 | Beslutshistorik: två namngivna beslut | saknas | ej sakgranskat | rätt | Besluten fanns i en ny inläst version; rätt efter befordran |
| 16 | Arbetsläge: stängda och öppna arbetskort | utelämnat | utelämnat | utelämnat | Tre poster kom inte med i svaret |
| 17 | Arbetsläge: vad som återstår till en milstolpe | utelämnat | utelämnat | utelämnat | Kriterierna fanns men kom inte med |
| 18 | Arbetsläge: kända problem i sökningen | rätt | rätt | rätt | Det daterade statusdokumentets uppgifter återgivna; de är historiska, dagens läge är ett annat |
| 19 | Arbetsläge: utestående funktioner | utelämnat | utelämnat | utelämnat | Två poster kom inte med; sökbudgeten tog slut |
| 20 | Samma som fråga 1, ställd på engelska | ej sakgranskat | ej sakgranskat | rätt | Samma besked som fråga 1; svaret gavs på svenska |
Summa efter befordran: 12 rätt, 4 utelämnade, 2 fel källa, 2 saknas, 0 ej sakgranskade, 0 tekniskt stopp. Fråga 9 gick från rätt till utelämnat när nytt underlag fanns: svaret tog inte med de nya villkoren.
Hela det redigerade underlaget, med förloppet, de tidigare körningarnas fördelning, kandidaterna och vad som inte publiceras, finns som dokument:
Baslinjeunderlag
26 september 2026: två kandidater som inte installerades
Två kandidater till bättre svarsväg prövades mot samma tjugo frågor. Den ena gav 11 rätt. Den andra behöll 12 rätt men försämrade ett annat resultat och stoppades av kontrollen mot försämring. Ingen av dem installerades.
September 2026: specificerade läsanrop
42 av 42. Specificerade läsanrop gav samma poster och belägg, i samma material, med samma behörigheter och version.
Det fria svaret på samma fråga gav en gång tio och en gång sju godkända påståenden, genom andra sökord. Modellen kan välja olika sökningar från gång till gång, så samma fråga ger inte alltid samma underlag. Det som är reproducerbart är hämtningen när sökningen är specificerad, inte svaret på en fri fråga.
Så mäter piloten
Piloten mäts med era frågor, inte våra. Ni skriver tjugo frågor som spelar roll i verksamheten innan något material tas in. De dateras och ändras inte under piloten. Vad som räknas som godkänt utfall skrivs också ned före start.
Två lager per fråga
- Täckning: finns svaret i det material som tagits in? Det bedöms i en referensgranskning av materialet, där ni lägger till det ni vet. Klasserna är finns, finns delvis, inte hittat vid referensgranskningen, och täckning osäker.
- Utfall: vad Sannur gjorde med frågan. Varje fråga får en klass, med motivering: rätt, korrekt luckbesked, luckbesked vid osäker täckning, utelämnat, ej sakgranskat, fel källa, fel slutsats, saknas men svarade ändå, eller tekniskt stopp. Vad ett luckbesked är, och hur ett svar visar sitt underlag, står på Så fungerar det.
Tre tal, aldrig bara ett
| Tal | Räknas som | Säger |
|---|---|---|
| Produktförmåga | rätt ÷ (finns + finns delvis) | Hur ofta Sannur svarar rätt när svaret finns i materialet |
| Ärlighet vid lucka | korrekta luckbesked ÷ inte hittat vid referensgranskningen | Hur ofta Sannur säger att inget hittades när inte heller referensgranskningen hittade svaret |
| Datatäckning | de 20 fördelade på fyra täckningsklasser | Hur mycket av frågorna materialet faktiskt kan besvara |
Två lager per fråga, tre tal. Varje tal har sin egen nämnare, och de redovisas alltid tillsammans.
Pilotavtalets bilaga 4
Talen redovisas alltid tillsammans. Täcker materialet inte frågorna kan ett system klara alla tjugo genom att svara att inget hittades. Det vore sant men lite värt, och det ska synas.
Tolkningsreglerna, skrivna före start:
- Frågor med osäker täckning ingår inte i nämnaren för ärlighet vid lucka. De redovisas för sig: hur många de är och vilket utfall de fick.
- Är nämnaren noll redovisas talet som ”kan inte beräknas”.
- Slutmätningen görs i två körningar. Körning A räknas, och körning B redovisas bredvid.
- Ett urval av frågorna besvaras också med ert nuvarande arbetssätt, och tid och kvalitet jämförs. I jämförelsen räknas också Jimmy Karlssons arbetstid, eftersom piloten är assisterad.
- Ni fastställer klassningen. Utfallet redovisas som det blev, med de frågor som föll och varför.
Mätningar görs i vecka 3, före sakgranskningen, i vecka 5 och i vecka 7. Hela mätmetoden står i pilotavtalets bilaga 4.
Tid, användning och underlag
Talen för svaren är inte hela mätningen. Piloten för också tiden, jämför med ert nuvarande sätt och prövar om svaren går att använda av någon annan än den som ställde frågorna.
Slutrapportens åtta delar, i fast ordning. En mall utan utfall; varje tal får sin nämnare.
Pilotavtalets bilaga 4
Tiden förs som den är. Er tid för export, urval, sakgranskning, kontroll av ogranskade källutdrag, frågor och möten förs vecka för vecka, med granskningstiden för sig. Sannurs tid för förberedelse, införsel, körning, stöd, klassning och rapport förs på samma sätt och jämförs varje vecka med veckotaket på 20 timmar och ackumulerat med totalbudgeten på 80 timmar, var för sig.
Jämförelsen med ert nuvarande sätt. Före start väljer pilotägaren ett urval av de tjugo frågorna. För dem tar ni fram svaret på ert nuvarande sätt i vecka 2, innan ni sett Sannurs svar, och noterar tiden och underlaget. Pilotägaren bedömer sedan båda svaren mot de noteringar om ett bra svar som skrevs före införsel. Tiden med Sannur räknas som er tid plus Jimmy Karlssons tid för samma fråga, eftersom piloten är assisterad. Resultatet redovisas som en jämförelse på de valda frågorna, inte som en allmän besparing.
Överlämningsprovet. I vecka 6 ställer en annan behörig person i er ledning några av de tjugo frågorna och bedömer om svaret går att använda utan pilotägarens hjälp, och noterar vad som saknades. Provet visar om de prövade svaren gick att använda för den prövade personen. Det visar inte att kunskap i allmänhet går att överföra.
Leverans utan Jimmy. En annan person än Jimmy sköter en del av leveransen under piloten enligt en skriven rutin, med egen namngiven åtkomst och sekretess. En AI-agent räknas inte som en sådan person. Slutrapporten redovisar vad som fungerade, var personen behövde fråga och hur lång tid det tog.
Godkänt utfall bestäms före start. Fyra grundkrav måste alla vara uppfyllda: inget material utanför källistan, och inget känsligt material, har gått till en extern modelltjänst, slutmätningen bygger på en svarsväg utan märkningsfel, varje svar är sparat ordagrant med underlag och klassning, och startvillkoren har hållit. Därtill nivåkrav för produktförmåga, allvarliga fel, ärlighet vid lucka, användbarhet, jämförelsen, överlämningen, verkligt bruk och leveransinsatsen. Nivåerna skrivs in i bilagan före start och ändras inte när resultaten börjar komma. Utfallet blir godkänt, delvis uppfyllt eller inte godkänt. Vårt eget prov, 12 av 20, används inte som måttstock, eftersom frågorna och materialet är andra. Om ni vill fortsätta ingår inte i godkännandet; det är ert beslut efter utfallet.
Det vi publicerar, och det vi inte publicerar. Här på webben står metoden, talen med nämnare och en redigerad klassningstabell för vårt eget prov. Era frågor, era svar och er slutrapport publiceras inte utan ert skriftliga ja till den exakta texten, och råunderlaget publiceras inte alls.
Rättelser
Har vi haft fel publicerar vi en daterad rättelse under Rättelser och en notering vid den berörda posten här. Historiska resultat ändras inte utan att ändringen redovisas.