Bayangkan dunia di mana algoritma buatan pintar membuat keputusan yang menjejaskan kehidupan seharian anda. Sekarang, bayangkan mereka berprasangka.
Ini adalah dunia yang kita sudah tinggal di, kata saintis data, Harvard PhD dan pengarang Cathy O'Neil. (Baca sebahagian daripada perbincangan kami dengan Dr O'Neil di sini). Kami duduk dengan nominasi Anugerah Buku Kebangsaan untuk mengetahui apa yang boleh kita lakukan mengenai prejudis dalam era data besar. CT: Adakah AI berprasangka?
CO: Setiap algoritma yang tidak secara eksplisit dibuat adil harus dianggap prasangka. Kerana sebagai orang, kita berprasangka. Jika kita mengakui itu, dan kita membuat algoritma ini dengan nilai dan data kita, maka kita tidak boleh menganggap apa-apa yang secara ajaib berlaku untuk membuat perkara yang adil. Tiada sihir di sana.
CT: Di mana algoritma mendapatkan data mereka?
CO: Ia bergantung kepada algoritma. Kadang-kadang media sosial, untuk perkara-perkara seperti penargetan pasaran politik atau pengiklanan atau kolej untuk keuntungan dan pinjaman pemangsa - tetapi banyak data tidak dikumpulkan di media sosial, atau bahkan dalam talian.
Pengumpulan data semakin terikat dalam kehidupan sebenar, seperti mendapatkan pekerjaan, bekerja di tempat kerja, pergi ke kolej atau pergi ke penjara. Perkara-perkara ini bukanlah perkara yang kita boleh mengelakkan dengan undang-undang privasi. Mereka isu kuasa, di mana orang yang disasarkan oleh algoritma tidak mempunyai kuasa, dan orang yang mengumpul maklumat dan membina dan menggunakan algoritma mempunyai kuasa. Anda tidak mempunyai apa-apa hak privasi jika anda seorang defendan jenayah, anda tidak mempunyai apa-apa hak privasi di tempat kerja anda, dan anda tidak mempunyai banyak hak privasi jika anda memohon pekerjaan kerana jika anda tidak menjawab soalan yang diminta oleh majikan masa depan anda, maka anda mungkin tidak akan mendapat pekerjaan.
Kita sepatutnya berfikir tentang privasi dan lebih banyak tentang kuasa ketika datang ke algoritma dan bahaya [mereka boleh menyebabkan].
CT: Apa yang boleh kita lakukan untuk menjadikannya lebih baik?
CO: Kita boleh mengakui bahawa algoritma ini tidak semestinya sempurna, dan menguji mereka untuk kelemahan mereka. Kita harus mempunyai pemeriksaan dan pemantauan yang berterusan - terutamanya untuk keputusan penting seperti pengambilan, penjenayah penjenayah atau menilai orang di tempat kerja mereka - untuk memastikan bahawa algoritma bertindak dengan cara yang kita mahu mereka, bukan dalam cara yang diskriminasi atau tidak adil.
Ailsa Johnson / © Culture Trip
CT: Apakah senario kes terbaik dan terburuk untuk masa depan yang didorong oleh data?
CO: Senario kes terburuk adalah apa yang kita ada sekarang - bahawa kita semua membuta tuli mengharapkan algoritma menjadi sempurna, walaupun kita perlu tahu lebih baik sekarang. Dan kita menyebarkan ketidakadilan yang tidak adil dan ketidakadilan. Dan kita terus mengabaikan kelemahan algoritma ini.
Senario kes terbaik adalah kami mengakui algoritma ini tidak semulajadi lebih baik daripada manusia. Kami memutuskan apa yang kita mahu sebagai manusia, apa yang kita sedang berusaha. Apa yang kita mahu kelihatan seperti masyarakat, dan kita mengajar nilai-nilai tersebut. Sekiranya kita melakukannya dengan jayanya, algoritma ini boleh menjadi lebih baik daripada manusia.
CT: Apa peranan yang boleh dimainkan setiap hari?
CO: Peranan yang paling penting yang dapat dimainkan oleh seseorang adalah dengan tidak mempercayai secara tersirat sebarang algoritma. Mempunyai banyak keraguan. Sekiranya anda sedang menilai algoritme bertanya 'Bagaimana saya tahu ia adil, bagaimana saya tahu ia berguna, bagaimana saya tahu ia tepat? Apakah kadar kesilapan? Bagi siapa algoritma ini gagal? Adakah ia gagal wanita atau minoriti? ' Tanya jenis soalan itu.
Perkara kedua, di luar skeptisisme, ialah jika anda berfikir bahawa algoritma tidak adil kepada anda atau orang lain adalah untuk mengatur dengan orang lain. Satu contoh baru-baru ini adalah guru. Model-model statistik mengenai guru-guru nilai tambah amat dahsyat, penjana nombor rawak. Tetapi mereka telah digunakan untuk menentukan apa yang guru harus mendapat tempoh dan apa yang guru harus dipecat, di seluruh Amerika Syarikat.
Saran saya adalah untuk mereka mendapatkan kesatuan mereka untuk menolak. Dan ini berlaku di beberapa tempat. Tetapi ia menghairankan betapa sedikit perlawanan di sana kerana sifat matematik sistem penilaian.
CT: Bagaimana anda masuk ke 'data besar'?
CO: Saya bekerja di Wall Street dan menyaksikan krisis kewangan dari dalam. Saya berasa jijik dengan cara matematik digunakan sama ada memanfaatkan orang atau menipu orang. Saya melihat jenis kerosakan yang boleh datang dari kebohongan matematik, apa yang saya sebut sebagai 'penyebaran matematik'.
Saya memutuskan untuk menjauhkan diri daripadanya, jadi saya menyertai Occupy Wall Street dan mula bekerja sebagai saintis data. Saya secara perlahan menyedari bahawa kami melihat hype cacat dan mengelirukan di sekitar algoritma data yang mengelirukan yang berlaku di luar Wall Street juga, dan itu akan membawa kepada banyak kerosakan. Perbezaannya ialah ketika orang di seluruh dunia melihat krisis kewangan, saya tidak fikir orang akan melihat kegagalan algoritma data besar ini, kerana ia biasanya berlaku pada tahap individu.
Baca sebahagian daripada perbincangan kami dengan Dr O'Neil di sini. Buku Dr Cathy O'Neil, The Weapons of Math Pemusnah: Bagaimana Data Besar Meningkatkan Ketaksamaan dan Mengkritik Demokrasi, kini tersedia.
