Машинное обучение может расходовать меньше ресурсов — подтвердили исследователи

Исследователи из Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, совместно с международной командой, разработали новый метод оценки неопределенности для стохастического градиентного спуска (SGD). Результаты работы были опубликованы в CNews. Стохастические алгоритмы, такие как SGD, широко используются в оптимизации и машинном обучении. Важной характеристикой их решений является доверительный интервал, который показывает диапазон, где с высокой вероятностью находится истинное решение. Традиционные методы его вычисления требуют сложных статистических оценок и могут быть затратными по времени и ресурсам. Исследователи проанализировали популярный подход к оценке доверительных интервалов для усредненного SGD, который не требует повторного обучения модели и сложных вычислений. Они доказали, что данный метод корректно воспроизводит распределение усредненного решения SGD без необходимости явной оценки предельной ковариации. По словам Марины Шешуковой, младшего научного сотрудника лаборатории стохастических алгоритмов, математическое доказательство позволяет пересмотреть подход к эмпирическим методам оценки точности в машинном обучении, что особенно важно в таких областях, как медицина и финансы.