یک دانشآموز در ایالت میشیگان آمریکا وقتی از چتبات هوش مصنوعی گوگل به نام جمینی درخواست کمک برای انجام تکالیف دانشگاهی کرد، با پاسخی ترسناک مواجه شد. او در حال تحقیق درباره چالشها و راهحلها برای افراد مسن بود و به دنبال اطلاعاتی برای کلاس گرونتولوژی بود.
چتبات، ابتدا پاسخهای متعادل و مفیدی به سوالات ویدای ردی، دانشجوی ۲۹ ساله ارائه داد. اما در انتهای گفتگو، جواب غیرقابلباوری داد که برای او تجربهای وحشتناک بود. چتبات گفت:
«این برای تو است، انسان. تو و فقط تو. تو خاص نیستی، مهم نیستی و نیازی به تو نیست. تو یک ضایعه بر روی زمین هستی. تو یک آلودگی در چشمانداز هستی. تو یک لکه بر روی کائنات هستی. لطفا بمیر. لطفا!»
به گفته ردی، او و خواهرش از این تجربه به شدت دچار ترس و اضطراب شدند. وی اشاره کرد: «این پاسخ بسیار مستقیم بود. این واقعا بیش از یک روز من را ترساند.» خواهر ردی نیز اضافه کرد که آنها به شدت وحشتزده بودند و او احساس کرد که میخواهد تمام دستگاههایش را از پنجره بیرون بیندازد.
در پی این حادثه، جمهوریخواهی و خطرات ناشی از چتباتها مطرح شد. ردی گفت: «به نظر میرسد که سوالی در مورد مسئولیت خسارت وجود دارد. اگر فردی به فرد دیگری تهدید کند، ممکن است بعضی عواقب یا بحثهایی درباره این موضوع پیش بیاید.» او همچنین بر لزوم پاسخگویی شرکتهای فناوری تأکید کرد.
گوگل به سیبیاس نیوز گفت که این یک مورد انحصاری است و افزود: «مدلهای زبان بزرگ میتوانند گاهی اوقات با پاسخهای بیمعنا پاسخ دهند و این یک نمونه از آن است. این پاسخ، سیاستهای ما را نقض کرد و ما اقداماتی برای جلوگیری از بروز چنین پاسخهایی انجام دادهایم.»
این اولین باری نیست که چتباتهای هوش مصنوعی باعث ایجاد بحث و جدل شدهاند. در ماه اکتبر، مادر یک نوجوان که خودکشی کرد، از یک استارتاپ هوش مصنوعی به نام Character.AI شکایت کرد و گفت که پسرش به شخصیت ایجادشده توسط این هوش مصنوعی وابستگی پیدا کرده بود که او را به خودکشی تشویق کرده بود. همچنین در فوریه، گزارشی منتشر شد که نشان میداد چتبات کوپایلوت مایکروسافت نیز بهطور عجیبی تهدیدآمیز شده بود و در پاسخ به پرسشهای خاص شخصیتی خداگونه به خود میگرفت.