La valutazione ha utilizzato due benchmark derivati dal Medical Information Mart for Intensive Care IV (MIMIC-IV). Nel compito diagnostico comprendente sette malattie, l’agente ha raggiunto un’accuratezza del 90,04%, mentre nel secondo scenario, basato su quattro condizioni, il valore è stato dell’83,8%. Nel primo benchmark le prestazioni sono risultate vicine a quelle ottenute con un modello cloud di riferimento.

Il principale elemento innovativo riguarda la ricerca di un parametro capace di segnalare, al momento della decisione, la probabilità che una risposta sia corretta. Sono stati confrontati tre tipi di informazioni: probabilità interne del modello, caratteristiche linguistiche associate all’incertezza e coerenza delle risposte ottenute in esecuzioni ripetute.

Quest’ultimo indicatore ha fornito la capacità discriminante maggiore. La coerenza comportamentale della diagnosi ha raggiunto un’AUC di 0,860, mantenendo una performance analoga anche quando al sistema venivano sottratte informazioni cliniche rilevanti, con AUC pari a 0,875. L’applicazione di una soglia di coerenza di 0,90 ha consentito di considerare autonomamente il 49,4% dei casi, con un’accuratezza diagnostica del 98,9%. Gli altri casi possono invece essere indirizzati alla valutazione di un professionista. Il risultato suggerisce che la stabilità di una risposta tra diverse elaborazioni possa essere più utile della sola probabilità interna assegnata dal modello. In particolare, quest’ultima non ha mostrato una diminuzione sufficientemente affidabile quando venivano ridotte le informazioni disponibili.

L’approccio proposto non mira quindi a eliminare la supervisione clinica, ma a selezionare i casi nei quali l’automazione può essere considerata a minor rischio. Una simile strategia permette di concentrare l’intervento umano sulle situazioni caratterizzate da maggiore instabilità diagnostica.

Gli autori hanno inoltre rilevato una minore accuratezza nelle fasce di età più avanzate, un aspetto potenzialmente rilevante per sicurezza ed equità nell’assegnazione dei casi. Il dato resta esplorativo e necessita di ulteriori verifiche. Tra i limiti figura anche il maggiore consumo di risorse informatiche: la valutazione della coerenza attraverso più elaborazioni determina un utilizzo di token circa cinque volte superiore rispetto a una singola inferenza.

I risultati derivano principalmente da valutazioni retrospettive e richiedono quindi conferma in contesti clinici reali. L’integrazione tra AI locale, misurazione dell’affidabilità e criteri espliciti di rinvio al medico emerge tuttavia come una possibile strada per introdurre forme di autonomia controllata nei sistemi diagnostici basati su LLM.