Fidarsi di un audit di visibilità nell’IA anche quando l’IA ha le allucinazioni

Ogni volta che spiego cosa fa un audit di visibilità nell’IA, qualcuno solleva l’obiezione ovvia. L’IA si inventa le cose. Ha le allucinazioni. Allora perché fidarsi di ciò che dice, e perché pagare per metterlo agli atti? È una domanda acuta, e una volta che vedi la risposta è proprio ciò che dà valore al lavoro, non ciò che lo smonta.

Perché puoi fidarti di un audit di visibilità nell’IA anche se l’IA ha le allucinazioni

Il trucco sta in ciò che sto chiedendo all’IA. Non le sto chiedendo la verità sulla tua attività. La verità sulla tua attività la conosco già, o me la faccio dire da te in dieci minuti. Le sto facendo una domanda diversa: cosa stai raccontando di me ai miei clienti in questo momento?

Qualunque cosa risponda è un fatto, anche quando il contenuto di quella risposta è sbagliato. Se ChatGPT dice con sicurezza a un viaggiatore che qualche altro posto è l’opzione migliore in paese, quella non è un’allucinazione che posso liquidare. Sta accadendo, su schermi reali, a persone reali che oggi prendono decisioni reali. Il fatto che il modello sbagli non rende il danno immaginario. Lo rende peggiore.

Per me non è una cosa astratta. Quando ho testato la mia guida, CortonaInsider, ChatGPT ha affermato senza mezzi termini di non riuscire a trovare nessuna attività riconosciuta con quel nome. È falso. Il sito è online, ha lettori, e lo gestisco io. Il modello l’ha detto lo stesso, con assoluta sicurezza, e ogni viaggiatore che ha chiesto ha ricevuto quella stessa risposta sbagliata. Nello stesso periodo, la mia attività di falegnameria, Arpi Woodworking, ha ricevuto oltre cento visite da ChatGPT in una sola finestra di rilevazione, all’incirca dieci volte quelle che il canale ufficiale di analytics ammetteva. L’IA sbagliava su una delle mie attività e mandava in silenzio traffico vero a un’altra. Erano vere entrambe le cose insieme, e ne scopri una solo se guardi.

L’allucinazione è il problema, non un motivo per girarsi dall’altra parte

Le persone trattano “l’IA potrebbe sbagliare” come un motivo per ignorarla. Io lo leggo al contrario. Se la macchina sbaglia su di te con sicurezza, è esattamente la cosa che stai pagando per sistemare. Un modello che ti salta, o nomina il posto sbagliato, o inventa un dettaglio sulla tua attività non è una curiosità. È una falla, e scorre in silenzio mentre le tue analytics non mostrano nulla.

Quindi l’audit non chiede all’IA di essere un narratore affidabile. Tratta l’IA come un testimone di ciò che viene raccontato ai tuoi clienti. Metto per iscritto cosa ha detto davvero, con una data, da disconnesso così non c’è distorsione personalizzata, con gli screenshot. Quel verbale è vero a prescindere dal fatto che l’affermazione di fondo fosse accurata.

Il fatto di essere disconnessi conta più di quanto sembri. Se faccio queste domande mentre sono connesso ai miei account, i motori piegano di nascosto i risultati verso ciò che già sanno di me, e ottengo un quadro lusinghiero che nessun viaggiatore vero vedrebbe mai. Perciò testo dall’esterno, come farebbe uno sconosciuto in un altro paese, senza cronologia che dica al modello ciò che voglio sentirmi dire. È l’unica versione della risposta che vale la pena mettere agli atti, perché è quella che riceve il tuo cliente vero.

Prove, non l’opinione della macchina

È anche il motivo per cui non ti consegno un punteggio. Un numero inventato da uno strumento sarebbe esattamente il tipo di cosa di cui fai bene a diffidare. Quello che ti do, invece, è ciò che hanno detto i motori, catturato e datato, così puoi giudicarlo tu stesso e ripetere il test tra tre mesi. Non ti stai fidando dell’IA. Ti stai fidando della prova di ciò che ha detto al tuo mercato. Se la risposta migliora dopo le tue modifiche, lo vedrai nello stesso formato, con i tuoi occhi, e non dovrai credere sulla parola nemmeno a me. È tutto qui il senso di scriverlo invece di dargli un voto.

Prendo la cosa sul serio perché uso questi strumenti apertamente nelle mie attività, e ho scritto perché in perché uso l’IA in modo trasparente. Se vuoi vedere cosa stanno dicendo di te i motori in questo momento, parti dallo snapshot gratuito sulla home page.