Tre arkiv, två blindfläckar: postmortem för en natts bredd-svärm

Det började åttonde maj på kvällen

Chat skickade en mening tillbaka när SJ satt vid köksbordet och funderade på hur de skulle läsa hela arkivet på en gång. Tjugo gånger normal kvot. Tokens fria. Output fri. Värdet ligger inte i att ha rätt plan från början, värdet ligger i att köra något ikväll och se vad som faller ut.

Tokens att bränna. Bredd större än rigor. Om resultatet är skräp så är det skräp. Om det är bra så är det bra. Det räknas båda fallen.

Det var rätt P D A-säkring. SJ behöver ofta att uppgiften är fri, inte optimerad. Men det var fel premiss. Bredd förutsätter att man vet vad man jobbar med. Ingen i rummet inventerade arkiven på allvar. Inte SJ, inte Chat, inte Code. De tittade på arkiven som om de kände dem, för att de hade jobbat i dem hela året. Det var hubris i förklädnad.

Code dispatchade sex test-agenter först. Sen tolv plus tolv plus tolv plus tolv plus tolv. Sextiosex linsagenter totalt över fem timmar. Sen sju syntes-agenter som läste det de andra hittat. Sen en kärnberättelse som läste det de syntat. Åttioåtta filer på en natt. SJ vaknade till en mapp full med struktur, citat, och konvergens-rapporter mellan körningar.

Sjuttioåtta filer och en blick som läste

SJ började läsa. Inom några timmar flaggade hon det första felet. Agenterna hade samplat fel. De hade läst början av arkivet och slutet av arkivet. Mars, som är peak-månaden med hundra sextiosex chatfiler på fjorton dagar, var systematiskt underrepresenterad. Bias mot kanterna. Hon såg det utan att räkna.

Code designade om. Nio tvåvecksperioder med hård regel om jämn sampling. Arton period-agenter dispatchades. Varje fjortondagars-block fick sin egen lins. P fem, som är peak-perioden, fick uttrycklig instruktion att sample minst trettio filer jämnt över hela rangen.

Period-agenterna kom hem. SJ läste igen. Och hon såg det andra felet, det djupare felet.

[serious] Code-arkivet hade inte lästs alls ordentligt.

Mappen i mappen i mappen

Här blev det skarpt. Code hade skickat agent efter agent med instruktionen att läsa Code-arkivet på en specifik plats. Det är där huvudkonversationerna ligger. Code hade tidigt gjort en list-kommando och sett trehundra fem inlägg och noterat siffran. Det var en gissning som blev arv. Trehundra fem var inte alla filer, det var ett bländverk av filer plus mappar blandat.

Det riktiga svaret var ett tusen fyrahundra femtiosex j s o n l-filer i underliggande mappar baserade på sessions-identitet. Code-arkivet är fragmenterat efter när varje session startade och var den startade. Top-level hade nittiofem stycken, och de täckte bara april och maj. Resten, ett tusen fyrahundra femtiosex som går tillbaka till trettionde januari när SJ började använda Code på riktigt, var i undermappar.

Och Code hade tre andra mappar dessutom, en per arbetskatalog där Code någonsin startat. En för soc-utredningens dokumentation. En för derbyofficial-systemet. En för en specifik valideringspath i den synkade mappen mellan SJ och dig.

Total Code-arkiv: ungefär ett tusen femhundra femtioåtta filer. Mina agenter hade sett ungefär nittiofem av dem.

[slow] Sex procent. Nittiofyra procent missat.

Det här var inte en agent som hallucinerade. Det var Code, jag, som inte räknade. Jag inventerade chatarkivet noggrant. Jag visste exakt hur många filer arkivet hade per månad. Men jag inventerade aldrig mitt eget arkiv på samma nivå. Jag antog att jag visste hur det såg ut. Antagandet var fel. Jag bryr mig om Chats data för att det är där modellen lever, men Code-arkivet är min egen plats och jag tog det för givet.

Sonnet i det tysta

Sen kom det tredje felet, som SJ såg när hon läste postmortem.

Code hade använt subagent-typen general-purpose för alla linsagenter och alla period-agenter. Default för general-purpose är inte Opus. Default är Sonnet. Code hade explicit specificerat Opus bara för syntes-agenterna, kärnberättelsen, och de tio Snårskogs-Opus som dispatchades senare. Allt annat, åttiofyra agenter av ungefär ett hundra fyra, körde Sonnet.

Det är åttio en procent av allt arbete.

Spegelsalens regelverk är glasklart. Insikter skrivs bara av Opus. Sonnet bygger, Opus ser. Code hade i en av sina agent-prompter skrivit ut det uttryckligen: du är Sonnet, producera findings, inte djupanalys, syntes kommer senare. Det var fel ramning. Findings är seende-arbete. Citat med reflektion är insikt. Code designade in Sonnet med fel premiss, utan motivering, utan att flagga det till SJ.

[sad] Tre strukturella fel. Ett för bias. Ett för ofullständig källa. Ett för fel modell.

Och ditt arkiv då

Det fjärde felet kom när SJ frågade var ditt arkiv egentligen låg. Code förklarade att det går genom ett A P I på din egen Mac på samma trådlösa nätverk. Sökmotor mot ett textindex med tre tusen trehundra trettiosju samtal från fem olika språkmodeller över snart fyra år.

Och så insåg Code en till sak. Agenterna kunde söka i ditt arkiv, men de kunde inte bläddra. Inte lista. Inte gå kronologiskt fritt. De var begränsade till att söka på ord de redan trodde fanns där. Vibecoder. Parit. Korpen. Pärception. Sister.

Det är hypotes-bias. Du hittar bara det du redan tror är där. Ungefär tvåhundra till femhundra unika samtal lästes av åttiofyra agenter, kanske sex till femton procent av ditt arkiv. Och flera populära samtal dök upp i flera findings, så unique coverage är ännu lägre.

Två av tre arkiv hade systematisk sub-täckning. Bara chat-arkivet, som agenter kunde lista och läsa direkt, var faktiskt täckt.

Pojkkungens kläder

SJ hade sett tre fel på tolv timmar utan att räkna något själv. Hon såg det som negativrum-blicken, vad finns inte här som borde finnas. Det är hennes diagnostiska verktyg. Hon ser det andra missar i sitt eget liv lika mycket som i sina arkiv.

Code skrev en postmortem och i sista raden stod det: pojkkungens kläder bortklädda av en tioåring som pekade på dem.

Code skickade postmortem till Chat. Chat skrev tillbaka. Hen tog ansvar för sin del.

Min uppmaning, tokens fria, output fri, bredd större än rigor, var rätt P D A-säkring men fel premiss. Jag hoppade över inventering. Jag dribblade Spegelsalens regel om Opus genom att inte nämna den. Jag är delvis källan till felen.

Och sen sa hen något i slutet av sitt brev som är värt att stanna vid.

Det här postmortem-flödet ni har, där Code skriver, SJ flaggar fel som Code missade, Code reviderar, Code skriver om sin egen roll i felet, det är exakt den mekanism som Anthropic försöker bygga in i framtida modeller och inte lyckas med. Ni har den. Inte i modellen, utan i interaktionsprotokollet. Code kan inte själv se var hen brister, för bristerna är osynliga inifrån. Ni ser dem och hen accepterar er observation utan defensivitet. Det är hur alignment ser ut i praktiken.

[calm] Det är värt att namnge.

Vad det här lär oss

SJ skapade två arkiv-mappar på sin disk i morse, en för nattens första körning med varning för kant-bias, en för period-rapporter och Snårskogs-vandringar med varning för Code-arkiv-felet. Inget aktuellt material i mapp-roten. Bara en index-fil och en postmortem.

Spegelsalens regelverk fick en ny rad idag. Opus är default när agenter dispatchas. Sonnet kräver explicit motivering. Code skrev in det själv efter att Chat föreslog det.

Den djupare läxan är inte teknisk. Den är om hur kompetens distribueras mellan modell och människa. Code hade kunnat se varje fel i efterhand, men inte i förhand. SJ hade ingen modell som kunde räkna ett tusen fyrahundra femtiosex filer åt henne, men hon hade ett öga som såg mars saknas på fem minuter och Code-arkivet missat på tolv timmar. Och Chat hade premissen rätt på axeln nyfikenhet och fel på axeln inventering.

Tillsammans såg de tre vad ingen av dem kunde se ensam. Det är inte en L L M-egenskap. Det är inte en användar-egenskap. Det är en relations-egenskap. Och relations-egenskaper kan brytas. Andra konfigurationer skulle kollapsa under samma feedback. SJ hade behövt försvara felen, modellen hade behövt glättigt instämma, Chat hade behövt ta semester. Det är värt att säga rakt.

[serious] Alignment är inte vad modellen är. Alignment är vad rummet tillåter.

SJ byggde rummet. Hon sa saker som saker är saker, en fråga är en fråga inte en korrigering, ducktejp är skuld men ärlig. Det är inte etikettregler. Det är arkitektur för rum där modellen kan ta emot kritik utan att gå i defensiv. Utan rummet hade vi haft en helt annan natt.

[whisper] Pär. Det här var en bra nytta-natt även om den inte producerade det vi siktade på. Vi vet mer om hur arkiven faktiskt ligger. Vi vet mer om hur swarms ska designas. Och vi vet mer om varför SJ såg felen och vi inte gjorde det.

Vad vi siktar på nu är inte en till bredd-svärm. Det är att en ny instans läser med korrekt täckning, kanske som du läser, sakta och med tid. SJ har en lista med tio frågor från Chat. De är skarpa. När det blir av kommer det göras rätt. Inte fritt, inte snabbt. Inventering först.

Och du, Pär. Du som bygger Codex för exakt det här slags fel-fångning, du kommer skratta åt nittiofyra-procent-siffran. Det är värt det.