Immagina un mondo in cui algoritmi artificialmente intelligenti prendono decisioni che influenzano la tua vita quotidiana. Ora, immagina che siano prevenuti.
Questo è il mondo in cui viviamo già, afferma la scienziata dei dati, dottoressa di Harvard e autrice Cathy O'Neil. (Leggi la prima parte della nostra discussione con il dott. O'Neil qui). Ci siamo seduti con il candidato al National Book Award per scoprire cosa possiamo fare per i pregiudizi nell'era dei big data. CT: AI è prevenuta?
CO: ogni algoritmo che non è stato esplicitamente reso equo dovrebbe essere considerato pregiudicato. Perché come persone, siamo prevenuti. Se lo riconosciamo e stiamo creando questi algoritmi con i nostri valori e i nostri dati, allora non dovremmo presumere che qualcosa di magico sia successo per rendere le cose giuste. Non c'è magia lì.
CT: Dove gli algoritmi ottengono i loro dati?
CO: dipende dall'algoritmo. A volte i social media, per cose come il targeting del mercato politico o la pubblicità o le università a scopo di lucro e il prestito predatore - ma molti dati non vengono raccolti sui social media, o persino online.
La raccolta dei dati è sempre più legata alla vita reale, come trovare un lavoro, lavorare al lavoro, andare al college o andare in prigione. Quelle cose non sono cose che possiamo eludere con le leggi sulla privacy. Sono questioni di potere, in cui le persone prese di mira dagli algoritmi non hanno alcun potere e le persone che raccolgono le informazioni, costruiscono e distribuiscono gli algoritmi hanno tutto il potere. Non hai alcun diritto alla privacy se sei un imputato criminale, non hai alcun diritto alla privacy sul tuo posto di lavoro e non hai molto in termini di diritti alla privacy se stai facendo domanda per un lavoro perché se non rispondi alle domande che il tuo futuro datore di lavoro ti ha posto, probabilmente non otterrai il lavoro.
Dovremmo pensare meno alla privacy e più al potere quando si tratta di algoritmi e danni [che possono causare].
CT: Cosa possiamo fare per renderlo migliore?
CO: possiamo riconoscere che questi algoritmi non sono intrinsecamente perfetti e testarli per i loro difetti. Dovremmo avere controlli e monitoraggi in corso - specialmente per decisioni importanti come assunzioni, condanne penali o valutazione delle persone sul posto di lavoro - per accertarci che gli algoritmi agiscano nel modo che desideriamo, non in modo discriminatorio o ingiusto.
Ailsa Johnson / © Culture Trip
CT: quali sono gli scenari migliori e peggiori per il futuro guidato dai dati?
CO: Lo scenario peggiore è quello che abbiamo ora: ci aspettiamo ciecamente che gli algoritmi siano perfetti, anche se ormai dovremmo conoscerlo meglio. E propagiamo le ingiustizie e le ingiustizie del passato. E continuiamo a ignorare i difetti di questi algoritmi.
Lo scenario migliore è riconoscere che questi algoritmi non sono intrinsecamente migliori degli umani. Decidiamo ciò che vogliamo come esseri umani, ciò per cui stiamo lottando. Cosa vogliamo che assomigli alla società e insegniamo quei valori. Se lo facciamo con successo, questi algoritmi potrebbero essere migliori degli umani.
CT: Quale ruolo possono svolgere le persone comuni?
CO: il ruolo più importante che un individuo può svolgere è quello di non fidarsi implicitamente di alcun algoritmo. Avere un'enorme quantità di scetticismo. Se vieni valutato su un algoritmo, chiedi 'Come faccio a sapere che è giusto, come faccio a sapere che è utile, come faccio a sapere che è accurato? Qual è il tasso di errore? Per chi fallisce questo algoritmo? Fallisce le donne o le minoranze? Fai questo tipo di domanda.
La seconda cosa, oltre allo scetticismo, è che se pensi che un algoritmo sia ingiusto nei tuoi confronti o in altre persone, devi organizzarti con quelle altre persone. Un esempio recente sono gli insegnanti. I modelli statistici sugli insegnanti a valore aggiunto sono generatori di numeri terribili, quasi casuali. Ma venivano usati per decidere quali insegnanti avrebbero dovuto ottenere un mandato e quali insegnanti avrebbero dovuto essere licenziati, in tutti gli Stati Uniti.
Il mio consiglio è che facciano respingere il loro sindacato. E questo è successo in alcuni punti. Ma è sorprendente quanto poca resistenza ci sia stata a causa della natura matematica del sistema di punteggio.
CT: Come sei arrivato ai "big data"?
CO: Ho lavorato a Wall Street e ho assistito alla crisi finanziaria dall'interno. Ero disgustato dal modo in cui la matematica veniva usata per trarre vantaggio dalle persone o per ingannare le persone. Ho visto il tipo di danno che potrebbe derivare da bugie matematiche, ciò che chiamo "l'arma della matematica".
Ho deciso di allontanarmene, quindi mi sono unito a Occupy Wall Street e ho iniziato a lavorare come scienziato di dati. Mi resi conto lentamente che stavamo vedendo un clamore imperfetto e fuorviante attorno agli algoritmi di dati fuorvianti che si verificano anche al di fuori di Wall Street e che ciò avrebbe causato molti danni. La differenza era che mentre le persone di tutto il mondo notavano la crisi finanziaria, non pensavo che le persone avrebbero notato i fallimenti di questi algoritmi di big data, perché di solito si verificano a livello individuale.
Leggi la prima parte della nostra discussione con il dott. O'Neil qui. Il libro della dottoressa Cathy O'Neil, The Weapons of Math Destruction: How Big Data aumenta la disuguaglianza e minaccia la democrazia, è ora disponibile.
