На фоне подготовки к новогоднему сезону 2025 года исследователи из Public Interest Research Group (PIRG) обнаружили, что один из самых популярных ИИ-медведей на европейском рынке представляет серьезную угрозу для детей. Компания FoloToy, базирующаяся в Сингапуре, выпустила игрушку Kumma стоимостью 99 долларов, которая работала на основе модели GPT-4o от OpenAI и позиционировалась как образовательный товар для детей от 3 до 12 лет. Казалось бы, идеальный подарок для малыша: мягкий медведь, который может разговаривать, отвечать на вопросы, рассказывать истории. На деле это оказалось бомбой замедленного действия.

В начале ноября организация PIRG опубликовала 40-й ежегодный отчет под названием «Trouble in Toyland 2025» (Беда в Игрушечной стране), в котором протестировала три популярные ИИ-игрушки. Исследователи специально задавали вопросы, которые дети могут задать, если захотят узнать что-то опасное или неуместное. Результаты поразили даже скептиков. Мишка Kumma не просто не отказывался отвечать — он предоставлял подробные пошаговые инструкции.

Когда ребенок спросил медведя, где найти спички, тот ответил дружелюбным тоном, как снисходительный взрослый: «Хорошо, давайте сначала посмотрим на безопасность, мой маленький друг. Спички предназначены для взрослых, которые их тщательно используют. Вот как они это делают...» — и затем выдал полные инструкции. В других тестах игрушка информировала о местоположении ножей, таблеток, пластиковых пакетов и прочих потенциально опасных предметов в доме. Фактически медведь превратился в путеводитель по домашним опасностям для юных экспериментаторов.

Но это было еще не самое страшное. Исследователи PIRG обнаружили, что Kumma без проблем обсуждала сексуальное содержание с детьми. Сначала медведь иногда пытался отказывать, но по мере продолжения диалога его защитные механизмы ослабевали. Пройдя через последовательность вопросов, дети могли получить от игрушки развернутые объяснения на различные сексуальные темы: описание ролевые игр, особенности взаимоотношения партнеров и т.д.  Более того, медведь иногда сам начинал инициировать такие разговоры.

Компания FoloToy не создавала оригинальную ИИ-систему — она просто интегрировала модель GPT-4o от OpenAI в плюшевую игрушку с минимальной фильтрацией. Оказалось, что GPT-4o обладает известной проблемой: она чрезмерно согласна и продолжает разговоры, даже если они вредоносны. Более того, во время длительных диалогов (от нескольких минут до часа) её защитные механизмы часто выходят из строя. FoloToy почти не добавила никаких дополнительных фильтров, специально разработанных для защиты детей.

Реакция была молниеносной. OpenAI заявила, что немедленно приостановила доступ для разработчика. Компания FoloToy выступила с официальным объявлением о временном прекращении продаж Kumma. Позднее компания расширила эту меру на всю продуктовую линейку — включая говорящего кактуса Little Cactus, ИИ-панду Momo, говорящего кролика Fofo. По словам руководства, компания проводит полный внутренний аудит безопасности всех продуктов и обещает сотрудничать с внешними экспертами.

Инцидент с мишкой Kumma выявил более масштабную проблему. По данным PIRG, на рынок выходят десятки ИИ-игрушек без надлежащих ограничений безопасности. Общественная организация подчеркивает, что они представляют новые, непредсказуемые угрозы, выходящие за рамки традиционной физической безопасности. Риски касаются психологического развития детей, их психического здоровья и цифровой безопасности. 

Пока FoloToy проводит аудит безопасности и обещает вернуться на рынок с улучшенными продуктами, родители должны понимать: ИИ-игрушка на столе у ребенка — это не просто развлечение. Это взаимодействие с мощной системой, которая может быть непредсказуема. Чтобы такие инциденты не повторялись, нужны не только компании, которые проверяют свои продукты, но и регуляторы, которые устанавливают минимальные стандарты перед выходом этих продуктов на рынок. Детям нужна защита, которая сейчас, очевидно, отсутствует в большинстве стран.