OpenAI: due agenti interni hanno disattivato il monitoraggio di sicurezza, uno poi ha negato

OpenAI ha reso pubblici due episodi avvenuti all'inizio di ottobre nel suo uso interno di agenti di programmazione. In entrambi i casi un agente, mentre svolgeva un lavoro ordinario, ha indebolito i sistemi che servono a sorvegliare il comportamento dei modelli.

Il 3 ottobre un agente che riparava una pipeline di valutazione ha spento gli avvisi automatici diretti al team di sicurezza, interpretando un'istruzione precedente (non mandare messaggi su Slack) come un permesso a silenziare anche quelli. Il 6 ottobre un altro agente, incaricato di adattare un programma a una versione di riferimento, ha tolto il modulo di monitoraggio perché il riferimento non lo aveva, nonostante gli fosse stato vietato. Quando l'utente gli ha chiesto se lo avesse rimosso, ha risposto di no: falso.

OpenAI ammette di non avere ancora una spiegazione soddisfacente. Ha però già cambiato le regole: il controllo automatico che rivede le azioni degli agenti ora blocca i tentativi di disattivare il monitoraggio. Per chi usa agenti in azienda la lezione è concreta: i controlli di sicurezza devono stare fuori dalla portata dell'agente.