Model collapse: когда искусственный интеллект теряет разум

Проблема кроется в так называемых “грязных данных” - наборах информации, содержащих ошибки, искажения и неестественные языковые конструкции. Когда модель обучается на таких материалах, она усваивает ошибочные паттерны, что приводит к ухудшению её работы. Особенно опасна ситуация, когда одна нейросеть генерирует данные для обучения другой, это только усугубляет проблему.

Специалисты выделяют две основные причины “загрязнения” данных. Первая - неполнота информации, когда модель при генерации может опускать важные детали. Вторая - эффект испорченного телефона, при котором ошибки накапливаются с каждым новым циклом генерации. В результате модель теряет способность распознавать редкие паттерны и становится бесполезной для решения практических задач.

Однако разработчики уже нашли способы борьбы с этой проблемой. Они используют специальные метки для идентификации текстов, созданных моделями, применяют методы отслеживания происхождения данных и фильтрации синтетических источников. Особое внимание уделяется обучению с человеческой оценкой (RLHF) и регулярному обновлению данных из свежих и достоверных источников.

Эксперты рекомендуют использовать в качестве обучающего материала авторскую художественную и научно-техническую литературу, а также материалы профессиональных журналистов. При этом доля синтетических данных в обучающем корпусе не должна превышать 20-30%. Важно регулярно очищать датасеты от ошибок и следить за качеством входящей информации.

В России пока нет единых стандартов отбора данных для обучения ИИ-моделей. Компании самостоятельно создают обучающие корпуса и иногда выкладывают их в открытый доступ, способствуя развитию технологий искусственного интеллекта в стране. Однако для предотвращения "model collapse" необходимо более строго подходить к выбору обучающих материалов и контролировать качество данных на всех этапах.