Разработан алгоритм для обучения ИИ на фотонных и нейроморфных чипах
Российские исследователи представили новый метод, который позволяет эффективно обучать гибридные нейросети с использованием альтернативных вычислительных систем, включая фотонные, нейроморфные и аналоговые чипы. Информация об этом была опубликована пресс-службой Института искусственного интеллекта AIRI. Об этом пишет сайт Togliatti24.
Станислав Страупе, научный руководитель Центра квантовых технологий Сбербанка, отметил, что в настоящее время активно развиваются специализированные вычислительные устройства для ИИ с различными физическими реализациями, от нейроморфных систем до фотоники. Новый алгоритм позволяет интегрировать такие устройства с цифровой электроникой в гибридные вычислительные системы, обучая модели ИИ без потери качества.
Ученые подчеркивают, что на данный момент фотонные и нейроморфные чипы способны выполнять отдельные операции или решать небольшие задачи, что ограничивает их использование для полной передачи задач, связанных с работой и обучением нейросетей. Однако их можно задействовать как один из компонентов гибридных систем, где основную часть вычислений выполняют классические микрочипы, а специализированный сопроцессор осуществляет наиболее частые вычисления.
Исследователи из Института AIRI, Центра квантовых технологий Сбербанка и "Сколтеха" достигли значительного прогресса в создании этих гибридных систем ИИ, разработав алгоритм, который позволяет обучать нейросети даже без доступа к внутренним градиентам сопроцессора. Эффективность предложенного подхода была проверена на шести цифровых моделях фотонных вычислительных слоев и трех классах задач.
Результаты расчетов показали, что для обучения гибридной нейросети не требуется точно знать, что происходит внутри каждого компонента. Наблюдения за реакцией устройства на случайные изменения в сочетании с приближенной моделью работы сопроцессора позволяют обучать нейросеть так, что она демонстрирует результаты, близкие к полностью цифровым базовым моделям.
В будущем такие гибридные системы могут быть использованы в крупных дата-центрах для обучения больших моделей, а также в устройствах с высокими требованиями к скорости и энергопотреблению. По мнению старшего научного сотрудника AIRI Андрея Черткова, наиболее реалистичный сценарий заключается в том, что тяжелые математические операции будут выполнять физические ускорители, а остальную работу — цифровая часть.
Существующие центральные и графические процессоры, из-за своих архитектурных особенностей, неэффективно справляются с процессом обучения нейросетей, что побуждает ученых искать альтернативы. В частности, разрабатываются фотонные и нейроморфные чипы, которые значительно превосходят классическую электронику в эффективности работы с нейросетями.
Больше новостей и эксклюзивных видео смотрите в канале Самара Онлайн 24 в MAX
