Обнаружен математический принцип, объясняющий непредсказуемость обучения ИИ

Математики выявили ключевой математический принцип, который объясняет, почему даже минимальные изменения в процессе обучения ИИ могут вызывать непредсказуемые изменения в результатах. Эта характеристика нейросетей препятствует достижению одновременно высокой предсказуемости и скорости обучения новых систем ИИ, как сообщается пресс-службой Сиднейского университета. Об этом сообщает сайт ТАСС.

Ранее различия в работе ИИ связывали с внешними случайными факторами, такими как порядок ввода обучающих данных или особенности вычислительных систем, которые могут вызывать вариации в результатах. Однако, по словам профессора Гуна Пулиня из Сиднейского университета, корень проблемы находится гораздо глубже.

Математики отмечают, что одной из ключевых особенностей современных систем ИИ является то, что их обучение может приводить к непредсказуемым последствиям. Это затрудняет воспроизведение ранее полученных моделей и ограничивает доработку существующих нейросетей.

Австралийские ученые выяснили, что непредсказуемость не связана с обучающими наборами данных или несовершенством оборудования, а обусловлена самой математической природой нейросетей. Это стало очевидным при сравнении результатов обучения 500 тысяч простых нейросетей, предназначенных для распознавания изображений и текстов.

Исследования показали, что даже при идентичных внешних условиях результаты обучения ИИ могут значительно различаться. Ученые обнаружили, что даже незначительные изменения во внутренних параметрах нейросети при инициализации, такие как изменение одного бита в переменной, могут привести к серьезным изменениям в процессе обучения, аналогично любым внешним факторам.

Анализируя результаты работы своих нейросетей, ученые разработали набор формул, которые объясняют вариации в поведении нейросетей с помощью закономерностей, присущих фракталам. Эти формулы жестко связывают скорость обучения и предсказуемость работы нейросетей, что накладывает серьезные ограничения на их разработку, резюмировали исследователи.

Больше новостей и эксклюзивных видео смотрите в канале Самара Онлайн 24 в MAX

Читайте также: