Si può interrompere un test A/B appena diventa significativo?

No, e il prezzo di questa abitudine è misurabile. Su dati sintetici in cui nessuna variante vince, un test letto una sola volta, alla data prevista, conclude a torto nel 4,875 % dei casi. Il rischio accettato era del 5 %, ed è rispettato. Lo stesso test, letto ogni giorno per quattro settimane e interrotto al primo giorno significativo, conclude a torto nel 26,870 % dei casi. Più di un test su quattro designa un vincitore che non esiste. Leggere una volta a settimana non salva: 12,020 %. Nemmeno aspettare la prima settimana e poi leggere ogni giorno: 18,300 %.

Esiste un modo onesto di guardare ogni giorno. Una cosiddetta soglia valida in ogni istante resta legittima qualunque sia il numero di letture, e mantiene la promessa: 2,000 % di falsi annunci su 84 letture quotidiane, per 5 % consentito. Costa tempo. Per raggiungere la potenza del test a data fissa, cioè la sua capacità di individuare un miglioramento che esiste davvero, le servono 52 giorni invece di 28, ossia un fattore 1,86. Altre tre tarature, pubblicate più sotto, arrivano fino a 2,39.

Un team lancia un test A/B sulla pagina di prodotto. Riceve 250 visitatori al giorno, ciascuno assegnato a caso a una delle due versioni con una possibilità su due, come fa un vero test A/B. Il tasso di conversione di riferimento è del 5 % e la durata prevista di quattro settimane, cioè circa 3.500 visitatori per versione. La dashboard si aggiorna ogni mattina e mostra un valore p: la probabilità di osservare uno scarto almeno pari a quello misurato se le due versioni si equivalessero. Più è piccolo, più lo scarto sarebbe improbabile per puro caso. La tentazione è permanente: se è già significativo dopo nove giorni, perché aspettare la data prevista? I dati di questa pagina sono sintetici: si sa, per costruzione, quali varianti vincono davvero, ed è questo che permette di contare gli errori.

Qual è la probabilità che una procedura di decisione, regola di arresto compresa, concluda che esiste una differenza quando nessuna variante migliora la conversione? E, viceversa, quale potenza e quale ritardo offre questa procedura quando la variante migliora realmente la conversione?

• Estimando, cioè la quantità che si cerca di stimare: la probabilità di concludere che esiste una differenza, calcolata sull'intera procedura, sguardi compresi, e non su un test isolato. Questa probabilità ha un nome consueto, la dimensione del test: è il rischio di falso annuncio che la procedura realizza davvero, in opposizione al rischio del 5 % che espone.
• Popolazione: i test a due versioni, a traffico quotidiano costante e con assegnazione estratta a caso, la cui metrica è binaria.
• Orizzonte: 28 giorni previsti, sorveglianza spinta fino a 84 giorni per misurare quanto costano le letture aggiuntive.

Il valore p di un test z, e la soglia del 5 % con cui lo si confronta, presuppongono una sola lettura, a una data fissata prima del lancio. Letta ogni giorno, la stessa statistica fluttua: supera la soglia, la ripassa, la supera di nuovo. La regola «mi fermo al primo superamento» raccoglie questi superamenti passeggeri. Gli autori della nostra fonte principale lo constatano in questi termini: i risultati sono spesso sorvegliati in continuo con metodi che presuppongono un campione fisso ^[C02], e questa sorveglianza gonfia sensibilmente il rischio di concludere a torto, ciò che gli statistici chiamano rischio di primo tipo ^[C03]. Questa pagina misura di quanto.

Tre modi di decidere, sugli stessi identici dati:

1. Data fissa: si sceglie la durata in anticipo, si guarda solo alla fine. Il rischio annunciato è il rischio vero, ma non si può fermarsi presto.
2. Primo sguardo significativo: si legge ogni giorno e si smette appena il valore p scende sotto il 5 %. È la pratica corrente, ed è quella che deraglia.
3. Soglia valida in ogni istante: si legge ogni giorno, ma si confronta lo scarto cumulato con una soglia che sale con l'informazione accumulata, calcolata perché la probabilità di superarla un giorno o l'altro resti sotto il 5 %. Una soglia così autorizza a guardare quando si vuole e a fermarsi secondo qualunque regola, sotto le ipotesi che i suoi autori enunciano e che questa pagina stabilisce per costruzione del suo piano sperimentale ^[C04]. Viene da un quadro di concentrazione valido in ogni istante, e non da una disuguaglianza a campione fisso ^[C08].

L'oggetto matematico dietro la terza regola si chiama successione di confidenza: una successione di intervalli valida uniformemente su un orizzonte non limitato ^[C01]. Questa libertà ha un prezzo, che gli autori enunciano essi stessi: gli intervalli sono più larghi di quelli che poggiano su approssimazioni asintotiche, cioè valide solo quando il campione è grande ^[C05].

Per ogni giorno e ogni versione: il numero di visitatori e il numero di conversioni, in cumulato. Nulla di individuale. E due cose scritte prima del lancio: la durata prevista e la regola di decisione, compresa la frequenza delle letture. Senza di esse, nessuna garanzia è calcolabile a posteriori.

Questa sezione si rivolge al professionista. Chi decide può saltarla e riprendere da «L'esempio numerico completo»: la frase «In chiaro» che chiude questa sezione basta per leggere le tabelle.

• nᶜ, nᵛ: visitatori ricevuti dal controllo e dalla variante, casuali poiché l'assegnazione è estratta a caso. Cₜ, Vₜ: le loro conversioni cumulate.
• α: il rischio di falso annuncio accettato per l'intera procedura, qui 5 %.
• Regole 1 e 2, statistica z a varianza comune: zₜ è lo scarto dei due tassi osservati, diviso per √(p̄ₜ(1 − p̄ₜ)(1/nᶜ + 1/nᵛ)), dove p̄ₜ è il tasso delle due versioni riunite. Si conclude che esiste una differenza, in un senso o nell'altro poiché il test è bilaterale, se |zₜ| ≥ 1,96 (1,959964 nei programmi). Per la regola 1 questa lettura avviene solo alla data prevista, il giorno 28 nel nostro piano, e le tabelle rigiocano la stessa regola per quattro durate previste diverse; per la regola 2, al primo giorno che supera.
• Regola 3, soglia detta a miscela normale: invece di una soglia unica, media le soglie di una famiglia di scarti possibili, cosa che la rende valida qualunque sia lo scarto reale. Si legge sull'orologio delle conversioni e non su quello dei visitatori. Si segue lo scarto grezzo Sₜ = Vₜ − Cₜ e il numero totale di conversioni Wₜ = Cₜ + Vₜ, e si conclude al primo giorno in cui

|Sₜ| ≥ √( (Wₜ + ρ) · log( (Wₜ + ρ) / (ρ α²) ) ).

Qui log è il logaritmo naturale. Il quadrato su α, e non α da solo, viene dal carattere bilaterale del test. È la forma chiusa della soglia a miscela normale bilaterale della nostra fonte ^[C09], applicata con un rapporto di verosimiglianza iniziale pari a 1, valore che la fonte stessa fissa in tutti i casi scalari ^[C14].

• Perché questo orologio, e perché l'assegnazione deve essere estratta a caso. Ogni visitatore è assegnato a una versione con un'estrazione a una possibilità su due. Sotto l'ipotesi di assenza di effetto, le due versioni convertono allo stesso tasso; un dato visitatore è dunque «conversione della variante» con probabilità p/2 e «conversione del controllo» con la stessa probabilità. Condizionatamente a una conversione, essa appartiene alla variante con probabilità esattamente un mezzo, indipendentemente dalle altre. L'incremento di Sₜ vale dunque +1 o −1 a testa o croce. Un tale incremento si dice sub-gaussiano di varianza 1: i suoi scarti estremi non superano quelli di una legge normale di varianza 1, che è la condizione richiesta dalla proposizione da cui viene la soglia: essa chiede che lo scarto cumulato, nei due sensi, sia sub-gaussiano con il processo di varianza che si segue ^[C11]. Vale per qualunque tasso di conversione, perché la disuguaglianza cosh(λ) ≤ exp(λ²/2) vale per ogni numero reale λ, dove λ è il parametro di inclinazione che serve a confrontare queste due leggi.
• Ciò che sarebbe falso con una dimensione fissa per versione. Se si imponessero 125 visitatori a ciascuna versione, il numero di conversioni della variante seguirebbe, a totale dato, una legge ipergeometrica, cioè un'estrazione senza reimmissione: gli incrementi resterebbero scambiabili tra loro, ma non sarebbero più indipendenti: ogni conversione attribuita toglie un posto all'altra versione, dunque conoscere le prime informa sulle successive. La loro varianza condizionata scenderebbe sotto 1: sullo scarto cumulato che la soglia legge realmente, varrebbe circa 0,95 lungo tutto l'orizzonte, invece di 1. La conclusione resterebbe prudente, perché l'estrazione senza reimmissione è meno dispersa, ma l'argomento di testa o croce sarebbe falso. Per questo l'assegnazione è estratta, e per questo i programmi misurano queste due quote prima di calcolare.
• ρ fissa il punto in cui la soglia è più stretta, e non è ρ stesso: la fonte mostra che questo punto si trova a circa 8,21 volte ρ, e che è questo stesso rapporto a dare il ρ che minimizza la soglia a una data mirata ^[C12]. I programmi ritrovano questo rapporto con una ricerca numerica dichiarata, invece di scriverlo fisso, e un invariante verifica che valga proprio 8,212. La fonte segnala che questa taratura è decisiva in pratica ^[C10]: la pagina pubblica dunque quattro tarature, compresa quella che la fonte permette di calcolare.

In chiaro: la regola 2 confronta ogni giorno lo stesso scarto con la stessa soglia, come se ci fosse un solo giorno. La regola 3 alza la soglia a mano a mano che si guarda, così che l'insieme degli sguardi, e non ciascuno preso a parte, mantenga la promessa del 5 %.

1. Invarianti misurati prima di ogni calcolo, con arresto in errore se uno di essi fallisce: la disuguaglianza di sub-gaussianità, su 2.000 valori di λ, da 0,01 a 20; la quota di visitatori assegnati alla variante, che deve tenersi a mezzo punto dal 50 %; la quota di conversioni che cadono nella variante, che deve tenersi a un punto dal 50 %; il rapporto del punto più stretto alla taratura, che deve valere 8,212 come enuncia la fonte; la forma chiusa della soglia, confrontata in cinque punti con una scrittura algebrica diversa; il consumo di una sola estrazione casuale per legge binomiale, controllato confrontando lo stato del generatore con un passo esatto della sua ricorrenza; l'orologio su cui la soglia è letta, verificato da un capo all'altro su un test breve i cui verdetti sono ricalcolati dal solo totale delle conversioni. Misurato su 500.000 visitatori: 50,090 % di assegnazione alla variante, e 50,091 % delle 25.288 conversioni che cadono nella variante.
2. Controllo indipendente della soglia stessa: 5.000 passeggiate casuali di 2.000 passi, ogni passo del valore +1 o −1 a testa o croce. È esattamente l'incremento che la soglia presuppone, e l'ipotesi nulla vi è vera per costruzione. La quota di passeggiate che superano la soglia deve restare sotto il 5 %: vale 2,980 %, e il programma si arresta se supera questa soglia. Questo controllo riguarda la soglia, non il piano sperimentale.
3. Secondo controllo bloccante, sul piano stesso: 2.000 replicazioni senza alcun effetto, lette ogni giorno per 84 giorni, il cui tasso di falso annuncio deve restare sotto il 5 %. Vale 1,750 %. E una misura del caso pericoloso: la stessa soglia applicata a un'assegnazione appiccicosa, a blocchi di dieci visitatori, dà 8,780 % — oltre la soglia consentita, il che mostra che la garanzia dipende dal piano e non dalla sola soglia. Questa misura non è bloccante, è l'avvertimento.
4. Esperimento sintetico generato da un generatore di numeri pseudocasuali scritto in chiaro (seme 20260916; x ← 1103515245 · x + 12345 mod 2³¹), identico in Python e in R.
5. Ogni giornata si estrae in tre tempi: la ripartizione dei 250 visitatori tra le due versioni, poi le conversioni di ciascuna. I tre numeri sono estratti esattamente dalla legge binomiale, per inversione: si estrae un numero tra 0 e 1 e si legge il valore che gli corrisponde nella legge, senza alcuna approssimazione.
6. Due scenari: nessuna variante vincente (5 % contro 5 %), e un vero miglioramento di 1,5 punto (5 % contro 6,5 %).
7. Le regole sono applicate agli stessi dati. Sei ritmi di lettura sono valutati: quotidiano su 7, 14, 28 e 84 giorni, settimanale su quattro settimane, e quotidiano a partire dal solo giorno 7.
8. La regola 3 è valutata per quattro tarature dichiarate a priori: quella che la fonte permette di calcolare, e tre calibrazioni ai giorni 7, 28 e 56.
9. Dimensione esatta del test a data fissa, calcolata e non simulata. Per un dato numero di conversioni del controllo, l'insieme dei numeri di conversioni della variante che fanno rifiutare è l'esterno di un trinomio, un'espressione di secondo grado. La probabilità esatta si deduce allora dalla funzione di ripartizione della legge binomiale, che dà la probabilità di ottenere al più un dato numero di conversioni. È letta a dimensioni uguali, che è ciò che il piano è in valore atteso. La simulazione serve a verificare questo calcolo, mai da fonte di verità.
10. 20.000 replicazioni per scenario. Le quote sono stampate in conteggio e in tasso a cinque decimali: un tasso su 20.000 è esatto a cinque decimali, mentre a quattro decimali certi valori cadono esattamente a metà e Python e R li arrotondano in sensi opposti.

Dati sintetici, seme 20260916. Non sono risultati di mercato. Le percentuali sono il rapporto esatto dei conteggi stampati dai programmi, dato a tre decimali, senza arrotondamento.

Un test senza alcun effetto, dichiarato concludente. Già al primo tentativo, il programma incappa in un test in cui le due versioni sono identiche. Al giorno 9, lo scarto cumulato è di −20 conversioni e la statistica vale −1,9907. La regola del primo sguardo significativo si ferma lì e conclude che esiste una differenza, a svantaggio della variante, cosa che sarebbe bastata a scartarla a torto. Ora, al giorno 28, alla data prevista, la statistica è tornata a −0,6120 e il test non conclude. La soglia valida in ogni istante, invece, non è stata superata nel corso dei 28 giorni simulati. Tre regole, due verdetti: la lettura quotidiana conclude, la data fissa e la soglia valida non concludono. Solo la prima si sbaglia, ed è la sola il cui rischio esposto non vale nulla.

Falsi annunci, quando nessuna variante vince (20.000 replicazioni). Tra parentesi, un errore standard di simulazione, cioè uno scarto quadratico medio di Monte Carlo, e non un intervallo di confidenza: misura l'imprecisione dell'estrazione, non quella di un test reale.

Due ritmi più ragionevoli, sulla stessa durata di quattro settimane: una lettura settimanale, quattro sguardi, dà 12,020 % (± 0,230) di falsi annunci; una lettura quotidiana a partire dal giorno 7, ventidue sguardi, dà 18,300 % (± 0,273). Distanziare gli sguardi o aspettare la prima settimana riduce il male senza eliminarlo: il rischio resta da due a quattro volte quello esposto. Quando la variante vince davvero, questi due ritmi rilevano nell'81,970 % (± 0,272) e nell'85,500 % (± 0,249) dei casi, contro il 76,965 % della data fissa: il rilevamento guadagnato si paga esattamente con il rischio di falso annuncio di cui sopra, e dunque non si confronta a rischio uguale.

Dimensione esatta del test a data fissa, calcolata senza simulazione, a dimensioni uguali tra le due versioni, che è ciò che il piano è in valore atteso: 4,9718 % a 7 giorni, 5,0075 % a 14 giorni, 4,9795 % a 28 giorni, 4,9973 % a 84 giorni. Il test mantiene dunque il suo rischio del 5 % a tre centesimi di punto. Lo scarto tra questo valore esatto e la colonna simulata vale 0,7 errore standard al giorno 28, che è rumore di estrazione ordinario.

Rilevamenti, quando la variante vince davvero di 1,5 punto:

Attenzione alla colonna centrale. La lettura quotidiana rileva più spesso, ma al prezzo di un rischio di falso annuncio cinque volte e mezza più elevato: 26,870 % contro 4,875 %. Due procedure si confrontano sulla loro potenza solo se mantengono lo stesso rischio. Qui, solo la data fissa e la soglia valida lo mantengono.

La taratura della soglia, pubblicata perché è decisiva. Stessa soglia, stessi dati, quattro tarature dichiarate in anticipo. La prima è quella che la fonte permette di calcolare: trovandosi il punto più stretto a 8,21 volte ρ, mirare alla data prevista impone ρ = 350 ÷ 8,21 ≈ 42,6 conversioni, e non le 350 attese a questa data. Le altre tre seguono l'istinto contrario, quello che prende per ρ le conversioni attese a una data. Poiché la soglia è in realtà più stretta 8,21 volte più lontano, questa scelta la tara per una data molto posteriore a quella che si crede di mirare: il giorno 57 per la taratura detta «del giorno 7», il giorno 230 per quella del giorno 28. La tabella mostra quanto costa questo istinto.

Questi giorni di pareggio vanno presi a un giorno di distanza: il giorno prima, la potenza della soglia vale ancora 76,185 %, 76,475 %, 76,630 % e 75,855 %, per un obiettivo di 76,965 % noto esso stesso a 0,298 punto.

Quando la variante vince davvero, la soglia di riferimento conclude al giorno 31 in mediana, sul 95,255 % dei casi in cui conclude entro 84 giorni. La lettura quotidiana si ferma al giorno 8 in mediana, sull'87,090 % dei casi in cui conclude entro 28 giorni. Le due mediane riguardano dunque finestre diverse e non si confrontano termine a termine. E questa stessa fretta, applicata allo scenario senza effetto, è ciò che vi produce 26,870 % di falsi annunci.

• Assegnazione estratta a caso, a una possibilità su due, visitatore per visitatore. È l'ipotesi portante: è lei a far cadere ogni conversione a testa o croce e a rendere la soglia lecita. Il vostro strumento ripartisce davvero a caso, e lo fa visitatore per visitatore anziché per quote fisse? La liceità viene dalla costruzione del piano, non dalla misura: le due quote che i programmi controllano, con una tolleranza di mezzo punto su 500.000 visitatori, rilevano solo un errore grossolano di ripartizione. Non possono vedere una dipendenza tra visitatori.
• Assegnazione indipendente da un visitatore all'altro, e non appiccicosa. È l'ipotesi più fragile in pratica, e la più pericolosa: un'assegnazione per cookie o per sessione mantiene la stessa versione per tutte le visite di una persona. Le quote restano a un mezzo in media, i controlli dei programmi passano al verde, e la garanzia cade. L'abbiamo misurato, con blocchi di dieci visitatori che condividono una versione: 8,780 % di falsi annunci per 5 % promesso, ossia quasi il doppio. Il vostro strumento assegna a caso ogni visita, o appiccica una versione a ciascun visitatore?
• Una sola conversione possibile per visitatore. I vostri visitatori tornano più volte, o condividono un dispositivo?
• Traffico e tasso di riferimento stabili: il nostro esperimento sintetico non ha né stagionalità, né giorno di punta, né deriva del tasso di base. Il vostro traffico del fine settimana somiglia a quello del martedì? Una deriva comune alle due versioni non distorce il confronto, una deriva propria a una versione sì.
• Una sola metrica, un solo test. Quante varianti e quante metriche mostra la vostra dashboard una accanto all'altra? Appena ce ne sono diverse, lette insieme, il problema cambia natura e richiede una correzione per test multipli.
• Regola di arresto dichiarata prima del lancio. Ipotesi non verificabile a posteriori: solo una pre-dichiarazione scritta la garantisce.
• Orizzonte di sorveglianza finito. I 2,000 % sono un tasso su 84 letture. La garanzia invocata vale su un orizzonte non limitato, ma la cifra misurata cresce con il numero di letture e non deve essere letta come il livello della soglia.
• Dati estratti dal modello stesso che il test presuppone: conversioni indipendenti, tassi costanti, assegnazione equilibrata. Ipotesi vera per costruzione qui, dunque favorevole alle tre regole. Su dati reali, gli scarti da questo modello si aggiungono alle cifre di questa pagina, non si sottraggono.

• L'errore di simulazione di Monte Carlo è pubblicato accanto a ogni tasso delle tre tabelle di risultati; la colonna delle soglie, invece, è deterministica e non ne ha. Su 20.000 replicazioni vale circa 0,15 punto per un tasso del 5 % e 0,31 punto per un tasso del 27 %. Il contrasto principale della pagina, 4,875 % contro 26,870 %, vale 22 punti: è incommensurabile con questi errori standard.
• La dimensione esatta calcolata, invece, non dipende da alcuna estrazione. È su di essa che la pagina si appoggia per affermare che il test a data fissa mantiene il suo rischio, e non sulla cifra simulata, il cui scarto dal 5 % non sarebbe stato concludente.
• La soglia valida in ogni istante è prudente: garantisce il 5 % e consegna 2,000 % con la taratura di riferimento, ancora meno con le tarature tardive. È il prezzo di una garanzia che non presuppone nulla sul modo di guardare. Ed è il prezzo di questa soglia: la stessa fonte ne propone un'altra, più stretta quando gli incrementi sono limitati, come qui ^[C13]. Non l'abbiamo implementata, dunque il fattore 1,86 è il costo della miscela normale a questa taratura, non il costo della validità in ogni istante in generale.
• Il suo prezzo si misura, e non si deduce dalla soglia. La soglia vale 3,1140 in unità di z, contro 1,959964 per il test a data fissa, ossia 1,589 volte di più; il costo in durata, invece, è di 1,86. I due non si convertono l'uno nell'altro, perché la soglia scende a mano a mano che l'informazione si accumula e perché tutte le letture intermedie contano. Gli autori limitano del resto il prezzo in larghezza a meno di un raddoppio ^[C06], ma per un'altra delle loro soglie rispetto a quella impiegata qui, e la nostra taratura più tardiva raggiunge 2,293 volte la soglia fissa in unità di z: non rivendichiamo dunque alcuna conformità a questo enunciato, solo le misure di cui sopra.
• Ciò che questa simulazione non può dirimere: un solo traffico (250 visitatori al giorno), un solo tasso di riferimento (5 %), un solo miglioramento vero (1,5 punto). Con meno traffico o un tasso più basso, i superamenti passeggeri sono ancora più frequenti; nulla qui dice di quanto.
• Diagnostica da fare sui propri test: contare le letture, e verificare che la ripartizione tra versioni sia davvero estratta a caso. Se nessuno sa quante volte la dashboard è stata consultata prima della decisione, il rischio esposto non ha senso.

La soglia del 5 % non è una proprietà del valore p: è una proprietà della procedura che lo usa. Sul nostro esperimento sintetico, leggere ogni giorno e fermarsi al primo superamento trasforma un rischio del 5 % in un rischio del 26,870 % su quattro settimane, e del 35,385 % su dodici. Leggere una volta a settimana lo riporta al 12,020 %, che resta più del doppio del rischio esposto. Su un altro traffico questi valori cambieranno; il meccanismo no. L'inflazione non viene da un difetto del test ma dalla regola di arresto, che seleziona i giorni favorevoli.

La contromisura esiste e funziona, ma non è gratuita. Una soglia valida in ogni istante autorizza la lettura quotidiana e mantiene la sua garanzia, al prezzo di una durata allungata di un fattore 1,86 con la taratura che la fonte permette di calcolare, e fino a 2,39 con una taratura mal scelta. Un'altra soglia della stessa fonte, più stretta per incrementi limitati, farebbe meglio; questa pagina non la quantifica ^[C13]. Tra le due, la soluzione più economica resta la più antica: fissare la durata in anticipo e decidere solo alla fine.

• Permesso: «Con una durata fissata in anticipo e una sola lettura, il nostro rischio di concludere a torto è del 5 %; la dimensione esatta del test, calcolata a dimensioni uguali, vale 4,9795 % alla data prevista.»
• Permesso: «Se vogliamo leggere il test ogni giorno mantenendo questo rischio, serve una soglia valida in ogni istante, e bisogna prevedere su questo piano sperimentale una durata 1,86 volte più lunga con la taratura calcolata secondo la fonte, per la stessa potenza.»
• Vietato: «Il test è significativo oggi, dunque la variante vince.» Senza regola di arresto dichiarata, questa frase non ha alcun rischio associato.
• Vietato: trasporre i 26,870 % a un altro test, né il fattore di durata. I due dipendono dal numero di letture, dal traffico quotidiano, dall'effetto reale e dalla taratura della soglia. È il meccanismo che si traspone, non i valori.
• Vietato: applicare questa soglia a un test la cui assegnazione è appiccicosa, per cookie o per sessione. Misurato qui: 8,780 % di falsi annunci per 5 % promesso. È la direzione pericolosa, e nessuno dei controlli dei programmi la rileva.
• Vietato: leggere le due quote misurate dai programmi come una prova che la soglia è lecita. Rilevano solo un errore grossolano di ripartizione; la liceità viene dalla costruzione del piano.
• Vietato: presentare queste cifre come risultati di mercato. I dati sono sintetici, ed estratti dal modello stesso che il test presuppone.

Scrivere, prima del lancio: la durata, la metrica di decisione e la frequenza di lettura. Poi scegliere con cognizione di causa. Per un test la cui posta in gioco giustifica una decisione rapida, prevedere una soglia valida in ogni istante, tararla con il calcolo anziché a occhio, e preventivare la durata di conseguenza. Per un test di routine, chiudere la dashboard fino alla data prevista. E se qualcuno ha già guardato dieci volte, dirlo: la decisione resta umana, ma va presa con il rischio vero sotto gli occhi, non con quello che lo strumento mostra.

• Usare: appena un test può essere consultato prima della sua data di fine, cosa che vale per quasi tutti i test online, compreso quando lo sguardo intermedio è unico — caso che il meccanismo copre ma che questa pagina non quantifica, poiché il ritmo più parco che misura conta quattro sguardi.
• Non usare da solo: con più varianti o più metriche lette insieme, dove serve in più una correzione per test multipli; con un traffico molto irregolare, una ripartizione fissa anziché estratta a caso, o un tasso di base che deriva, dove il confronto stesso va rivisto.
• Alternative, entrambe fuori dal campo delle nostre fonti e dunque enunciate senza rinvio di prova:

• i piani sequenziali per gruppi riservano una quota del rischio a ogni analisi intermedia prevista dal protocollo. Convengono quando il numero di letture è noto in anticipo, là dove la soglia di questa pagina non presuppone nulla.
• gli approcci bayesiani formulano le loro garanzie in altro modo. Non si confrontano termine a termine con un tasso di errore.

• Python 3.14.5, sola libreria standard: msc-p048-reference.py, da eseguire con python msc-p048-reference.py
• R 4.6.1, sola base: msc-p048-reference.R, da eseguire con Rscript msc-p048-reference.R
• I due programmi stampano esattamente le stesse righe. L'impronta sha256 dell'output, dopo normalizzazione dei fine riga, è registrata in manifest.json. Seme dichiarato 20260916, 20.000 replicazioni per scenario.
• Quattro precauzioni sono state necessarie perché i due linguaggi stampassero la stessa cosa, e sono nel codice. Il primo termine della legge binomiale è costruito con moltiplicazioni ripetute anziché con una potenza, il cui ultimo bit differisce tra Python e R. Il moltiplicatore del generatore è spezzato in due metà nella versione R, che non ha interi abbastanza larghi per contenere il prodotto esatto. I tassi sono stampati a cinque decimali, dove un tasso su 20.000 è esatto. E il calcolo delle dimensioni per versione è messo tra parentesi, perché la divisione intera di R lega più forte della moltiplicazione.
• Riprodurre l'esempio del giorno 9 richiede di rispettare l'ordine di consumo del generatore: invarianti misurati, ricerca dell'esempio, scenario senza effetto, poi scenario con miglioramento. Il controllo della soglia con passeggiate casuali consuma un flusso separato, riportato al seme.

Per un dato test: la durata e la regola di decisione scritte prima del lancio, il numero di letture effettivamente fatte, il verdetto secondo la regola dichiarata e, se il test è stato letto più volte, il rischio reale della procedura seguita anziché quello del test a data fissa.

• Howard, S. R., Ramdas, A., McAuliffe, J. & Sekhon, J. (2018). Time-uniform, nonparametric, nonasymptotic confidence sequences. The Annals of Statistics 49(2), 1055–1080 (2021). ↗ — testo integrale verificato sulla versione arXiv in accesso aperto, arXiv:1810.08240v6 ^{[C01, C02, C03, C04, C05, C06, C09, C10, C11, C12, C13, C14]}.
• Howard, S. R., Ramdas, A., McAuliffe, J. & Sekhon, J. (2018). Exponential line-crossing inequalities, titolo del documento arXiv verificato qui; pubblicato con il titolo Time-uniform Chernoff bounds via nonnegative supermartingales, Probability Surveys 17, 257–317 (2020). ↗ — testo integrale verificato sulla versione arXiv in accesso aperto, arXiv:1808.03204v6 ^{[C07, C08]}.
• La soglia e la sua attribuzione: la forma impiegata qui è la soglia a miscela normale bilaterale della prima fonte. I suoi autori ricollegano il metodo delle miscele a una linea che risale a Ville e a Wald, poi a Darling e Robbins. La citiamo dunque alla fonte che abbiamo letto, e non a un testo che non possediamo. La scelta del rapporto di verosimiglianza iniziale è una nostra lettura, e non un estratto verificato.
• Livello di prova: dimostrazione su dati sintetici, due scenari, sei ritmi di lettura, quattro tarature, 20.000 replicazioni. La dimensione esatta del test è calcolata a fronte dei valori simulati; la soglia è controllata separatamente su passeggiate casuali dove l'ipotesi nulla è vera per costruzione; l'ipotesi che la rende lecita è stabilita per costruzione del piano, e due quote aggregate sono controllate prima di ogni calcolo per rilevare un errore grossolano di ripartizione. Il caso pericoloso, l'assegnazione appiccicosa, è misurato a parte. Riproducibile in Python e in R. Non è un risultato di mercato.