Lo studio, condotto presso l'Università della California a San Francisco, ha sviluppato un workflow a due passaggi basato sul modello OpenAI o1. Nel primo passaggio, il sistema scansiona le note cliniche per identificare coppie farmaco-evento compatibili con una relazione causale ragionevolmente possibile. Nel secondo, per ciascuna reazione avversa identificata vengono estratti e strutturati 20 campi informativi, tra cui la gravità dell'evento secondo i criteri FDA e lo stato di etichettatura del farmaco. Il corpus analizzato comprendeva 372 note deidentificate provenienti da 31 diverse specialità e contesti clinici.

Su 191 reazioni avverse identificate dal modello, 180 sono risultate veri positivi, per una precisione del 94,2% e un F1-score di 88,9%. La classificazione della gravità è risultata corretta nel 100% dei casi; la determinazione dello stato di etichettatura — che distingue le reazioni già note da quelle non riportate nella scheda tecnica del farmaco — ha raggiunto il 92,9% di accuratezza. La codifica MedDRA al livello terminologico più basso (LLT) è stata corretta nel 92,5% delle reazioni valide. Tra le reazioni avverse identificate, il 12,2% soddisfaceva i criteri FDA di gravità, il 15% era non etichettato e l'8,9% configurava un fallimento di efficacia terapeutica. In alcuni casi il modello ha inferito reazioni non esplicitamente menzionate dal medico, come l'ipomagnesemia associata al tacrolimus.

Un aspetto rilevante per la scalabilità del sistema riguarda i costi computazionali: l'84,9% delle note non conteneva reazioni avverse identificabili già al primo passaggio, riducendo il costo medio a 0,18 dollari per nota e 0,35 dollari per reazione avversa validata — valori compatibili con un'applicazione su larga scala.

Gli autori riconoscono che il modello non è esente da errori, in particolare nella codifica di termini MedDRA inesistenti, e sottolineano che i risultati derivano da un singolo centro accademico con specifiche caratteristiche di casistica. La vera potenzialità di questo approccio emerge tuttavia nell'analisi statistica aggregata dei segnali estratti: integrato con piattaforme di farmacovigilanza attiva come Sentinel negli Stati Uniti o Darwin EU nell'Unione Europea, un sistema di questo tipo potrebbe accelerare significativamente l'identificazione di reazioni avverse rare, gravi e non ancora documentate, portando alla luce segnali di sicurezza che oggi rimangono sommersi nelle cartelle cliniche.