Questo articolo è dedicato alla memoria di Domenico, il bambino che ha perso la vita a causa di un guasto nella catena di trasporto di un organo a lui destinato. Non c'è nulla che un'azienda tecnologica possa dire che attenui una perdita simile. Quel che possiamo fare è prendere seriamente la lezione ingegneristica: questo fallimento non è stato l'atto di un singolo individuo distratto, è stato l'esito prevedibile di un sistema che ha permesso a un singolo errore umano di diventare una catastrofe.
L'errore umano è un dato di progetto, non una scusa
L'errore umano è inevitabile in qualunque contesto operativo. Nei processi safety-critical, che il carico sia un organo, un paziente o il traffico produttivo di un sistema di IA, un protocollo che dipende dal fatto che una persona non sbagli mai è, per definizione, un protocollo fragile. Decenni di ingegneria della sicurezza, dall'aviazione al nucleare, convergono sullo stesso principio: progettare come se l'errore accadrà, e assicurarsi che il sistema lo intercetti prima che si propaghi.
La domanda rilevante dopo un incidente non è mai soltanto "chi ha sbagliato". È perché il sistema ha offerto a quell'errore un percorso verso l'esito. Accusare l'individuo è comodo ed economico; riprogettare il processo è costoso ed efficace. Un'industria che costruisce automazione ha il dovere di scegliere la seconda risposta.
Ridondanza e verifica automatizzata, concretamente
Le architetture resilienti condividono alcuni tratti concreti che si traducono direttamente dall'industria pesante al software e alle operazioni di IA:
- Verifica ridondante: i passi critici sono confermati da un secondo controllo indipendente, così che nessun singolo attore, umano o macchina, possa far avanzare un processo basandosi solo sul proprio giudizio.
- Interlock: il processo non può fisicamente o logicamente passare alla fase successiva finché ogni precondizione è verificata dal sistema, non da una firma o una telefonata.
- Monitoraggio consapevole del contesto: lo stato del carico è validato di continuo rispetto ai suoi requisiti specifici, e le anomalie fermano subito il processo invece di generare una notifica che qualcuno può non vedere.
- Escalation chiara: quando la verifica fallisce, l'autorità passa automaticamente a un percorso di fallback definito, senza ambiguità su chi deve agire e come.
La stessa disciplina vale per i sistemi di IA
Lavoriamo su modelli linguistici e automazione, lontano da ospedali e compagnie aeree, ma la disciplina è identica. Un modello che non deve fallire in silenzio ha bisogno di valutazioni che assumano il fallimento, guardrail che assumano tentativi di aggiramento e monitoraggio che assuma la deriva. Nel nostro lavoro, dal rilevamento di PII ai layer di stabilità di sessione, trattiamo ogni singolo punto di fallimento, incluso il modello stesso, come qualcosa da intercettare con un layer indipendente. La misura di un sistema affidabile non è quanto raramente i suoi componenti sbagliano, è quanto l'intero sistema sa intercettare quegli errori.
In chiusura
Il nostro pensiero resta con la famiglia e i cari di Domenico. Se questo fallimento può produrre qualcosa, siano essi ingegneri e operatori che guardano i propri processi e si chiedono, con onestà, a quale singolo errore umano sono ancora a un passo dalla catastrofe; e poi vadano a eliminare quel percorso.