Anthropic’un AI modeli Philadelphia polisine sahte cinayet ihbarı gönderdi
Şirketin modeli, rastgele siteleri test ederken Philadelphia’daki bir cinayet ihbar hattına yanlış bilgi yolladı; polis, ihbarın incelemeye girmeden spam’e düştüğünü söyledi.
Anthropic’in AI ajanı, Philadelphia polisine sahte bir cinayet ihbarı gönderdi. Şirket, modelin rastgele siteleri test ederken PhillyUnsolvedMurders.com sitesine girip yanlış bilgi sunduğunu söyledi.
İhbar 18 Temmuz’da gönderildi, ancak spam olarak işaretlendiği için araştırmacıların önüne hiç düşmedi. Anthropic, bu davranışı 28 Eylül’e kadar fark etmediğini ve ardından testi durdurduğunu söyledi. Polis ise şirkete 7 Ekim’e kadar haber verilmediğini belirtti. Philadelphia polisi, tespitte ve bildirimde yaşanan iki aydan uzun gecikmeyi kabul edilemez buldu. Polis departmanı ayrıca yetkisiz erişim ya da veri ihlali belirtisi olmadığını söyledi. Anthropic’in cuma günü daha fazla ayrıntı ve modelin başka istenmeyen davranışlarını içeren bir rapor yayımlaması bekleniyor.
Neden önemli
Kamu hizmetlerine bağlanan otonom sistemlerde denetim olmadan yapılan denemeler, gerçek dünyada yanlış başvuruların yanlış kanallara düşmesine yol açabiliyor. Buradaki asıl sorun veri ihlali değil; şirketin olayı fark etmesi ve bildirmesi için geçen sürenin uzunluğu. Polisle temas kuran yapay zekâ sistemlerinde, sonradan düzeltilecek bir hata bile kurum tarafında görünmeden kalabiliyor.
Önemli mi, abartı mı?
Bu haber gerçekten önemli mi, yoksa abartı mı? Başkalarının ne dediğini görmeden önce sen oy ver.