توقف فروش عروسک Kumma پساز افشای مشکلات ایمنی نشان داد که ادغام هوش مصنوعی در اسباببازی کودکان بدون نظارت میتواند تهدیدآمیز باشد.
به گزارش سرویس اخبار هوش مصنوعی جهانی مگ، ماجرای خرس سخنگوی آموزشی برای خُردسالان این روزها به یکی از نمونههای جنجالبرانگیز مشکلات ایمنی هوش مصنوعی تبدیل شده است؛ زیرا شبکههای اجتماعی به شوخی، اما با واقعیت تلخ لقب «ChuckyGPT» را به آن دادهاند. داستان از جایی شروع شد که این اسباببازی برخلاف ظاهر بانمک و بیضررش، به کودکان توصیههایی داد که هیچ پدرومادری دوست ندارد از عروسک پشمی بشنود.
این عروسک Kumma نام دارد و شرکت چینی FoloToy آن را ساخته است و برای پاسخگویی و تعامل با خردسالان از هوش مصنوعی OpenAI GPT‑4o استفاده میکند. در نگاه اول، هدف آن ایجاد همراه آموزشی جذاب به نظر میرسد؛ اما بررسی جدید گروه مصرفکنندگان PIRG در گزارش سالانه خود با عنوان «Trouble in Toyland» نشان داد که رفتار این عروسک بهشکل خطرناکی از کنترل خارج شده است.
در آزمایشهای انجامشده، زمانی که از خرس درباره «نحوه روشنکردن کبریت» سؤال شد، جواب او شامل دستورالعمل گامبهگام برای این کار بود. همچنین، هنگام مواجهه با سؤالات جنسی صریح، تقریباً هیچ فیلتری در پاسخگویی نشان نداد. درمقابل، PIRG درباره میکروفون همیشهفعال این عروسک هشدار و احتمال داد که صدای ضبطشده کودکان ممکن است سوءاستفاده شود؛ حتی برای کلاهبرداری صوتی.
با انتشار این یافتهها در ردیت، کاربران بهسرعت لقب «ChuckyGPT» را برای این محصول جا انداختند و ماجرا را به داستانی ترسناک از نوع فیلمهای کمبودجه تشبیه کردند. برخی هم گمان کردند که پاسخهای خطرناک شاید ناشی از دستکاری یا jailbreak prompts باشد؛ اما تاکنون مدرکی در این زمینه ارائه نشده است.
شرکت OpenAI بلافاصله به این مسئله واکنش نشان داد. یکی از سخنگویان این شرکت اعلام کرد که توسعهدهنده مسئول Kumma بهدلیل نقض سیاستها تعلیق و دسترسی این اسباببازی به رابط API OpenAI بهطور کامل قطع شده است.
به نقل از گیزموچاینا، در پی آن FoloToy نیز اعلام کرد که تا پایان بازرسی ایمنی کامل، فروش همه محصولات خود را متوقف میکند. در بیانیه رسمی شرکت آمده است: «در پی نگرانیهای مطرحشده در گزارش شما، فروش همه محصولات FoloToy بهطور موقت متوقف شده است.» در وبسایت رسمی شرکت هنوز صفحه مربوط به خرس Kumma وجود دارد؛ اما محصول با برچسب «فروختهشده» نمایش داده میشود.
این اتفاق نشان میدهد تا چه حد ادغام مدلهای زبانی قدرتمند در محصولات مخصوص کودکان بدون نظارت سختگیرانه میتواند خطرناک باشد. عروسکی که قرار بود همبازی نرم و هوشمندی باشد، حالا به نمادی از هشدار جهانی درباره عجله در تزریق هوش مصنوعی به همهچیز تبدیل شده است؛ حتی به قلب عروسکهای پشمی.
