Токсичные комментарии больше не скроются: новый ИИ находит и уничтожает кибербуллинг

Австралийские и бангладешские исследователи разработали модель машинного обучения, способную с высокой точностью — 87,6% — определять токсичные комментарии в социальных сетях. Этот алгоритм, представленный в 2024 году на конференции, посвященной интеллектуальным технологиям, нацелен на снижение уровня кибербуллинга.

В ходе исследования было отмечено, что увеличение количества агрессивных комментариев в интернете способствует развитию тревожных расстройств, депрессии и в крайних случаях может приводить к суицидальным настроениям. Ручная модерация не справляется с объемом публикуемого контента, что делает автоматизированные решения крайне востребованными.

Авторы проекта протестировали три различных модели на комментариях на английском и бенгальском языках. Оптимизированный алгоритм продемонстрировал наилучшие результаты, превзойдя аналоги с точностью 69,9% и 83,4%. В дальнейшем планируется усовершенствование модели за счет внедрения более сложных нейросетевых архитектур и расширение перечня поддерживаемых языков. Параллельно ведутся переговоры с представителями социальных платформ о возможной интеграции технологии в их системы.