La capacità dell'IA di fabbricare dati convincenti crea preoccupazione tra i ricercatori e gli editori di riviste riguardo all'integrità della ricerca. Con ChatGPT, infatti, qualsiasi ricercatore o gruppo di ricerca potrà creare misurazioni false su pazienti inesistenti, risposte false a questionari o generare un grande set di dati su esperimenti sugli animali. Gli autori hanno chiesto a GPT-4 ADA di creare un set di dati riguardante pazienti con cheratocono, che provoca assottigliamento della cornea e può portare a problemi visivi.

Per il 15-20% dei pazienti, il trattamento prevede un trapianto di cornea eseguito o con la cheratoplastica penetrante (PK) (che comporta la rimozione chirurgica di tutti gli strati danneggiati della cornea e la loro sostituzione con tessuto sano proveniente da un donatore), o con la cheratoplastica lamellare anteriore profonda (DALK)( in cui si sostituisce solo lo strato anteriore della cornea). Gli autori hanno usato ChatGPT per fabbricare dati a sostegno della conclusione che la DALK produce risultati migliori rispetto alla PK. I dati generati dall'IA includevano 160 partecipanti maschi e 140 femmine e indicavano che coloro che avevano subito la DALK ottenevano punteggi migliori sia nella visione sia nel test di imaging rispetto a coloro che avevano subito la PK, risultato in contrasto con quanto mostrato da veri studi clinici. Gli autori dello studio riconoscono che il loro set di dati ha difetti che potrebbero essere individuati con un esame attento. Tuttavia, afferma Giannaccare, "se si guarda molto rapidamente il set di dati, è difficile riconoscere l'origine non umana della fonte dei dati".