Российские ученые предложили ускоренный метод «сжатия» нейросетей

Исследователи из НИУ ВШЭ в Санкт-Петербурге представили новый подход к уменьшению размера нейронных сетей без заметной потери качества. Метод основан на инструментах статистической физики и позволяет ускорять процесс оптимизации моделей. О первых результатах работы ученые рассказали в статье в журнале Physica A: Statistical Mechanics and its Applications.

Авторы отмечают, что проверили метод на большом числе нейросетевых моделей, которые решают задачи классификации, обработки естественного языка и компьютерного зрения. Согласно проведенным расчетам, предложенный подход показал эффективность на разных архитектурах и позволил ускорить оптимизацию от десяти до пятисот раз по сравнению с традиционными методами.

Над методикой работала группа российских ученых под руководством профессора НИУ ВШЭ (Санкт-Петербург) Сергея Кольцова. Исследователи ставили перед собой задачу снизить требования по объему оперативной памяти, которые предъявляют большие языковые модели и другие крупные нейросети.

В работе подчеркивается, что современные большие языковые модели содержат десятки и сотни миллиардов параметров. Для их вычисления нужны сотни гигабайт памяти, что повышает стоимость эксплуатации и ограничивает доступ к подобным системам. Сейчас для уменьшения таких требований нейросети обычно «сжимают», постепенно удаляя часть параметров и отслеживая влияние этого процесса на качество работы. Этот цикл занимает много времени и ресурсов. Новый подход призван упростить и ускорить эти операции, сообщает ТАСС.

Читайте также:

• Самые выгодные птицы на деревне уже не куры: почему селяне и дачники резко поменяли интересы
• В России увеличились цены на один из атрибутов Нового года: Получится ли его получить на праздник
• Такими вещами не стоит хвастаться даже перед родными: запомните по жизни этот простой совет мудреца
• Зима 2025-2026 обещает стать аномально холодной: чего ждать россиянам в новом году
• Банки из-под кофе больше не выбрасываю: делаю это и они выручают в хозяйстве