Нейросеть обучили на аудиозаписях тысяч дней языковой среды детей

Американские ученые успешно разработали языковую модель, используя аудиозаписи, фиксировавшие первые тысячу дней языковой среды младенцев. Ключевым аспектом для успешного обучения стало многократное повторение услышанных слов, а также возвращение к прослушанному в конце дня для эффективной консолидации, что подтверждает существующие теории об обучении и памяти. Результаты исследования были опубликованы в журнале Science. Эту информацию сообщает издание N + 1.

В процессе овладения языком дети находятся в индивидуальной языковой среде, однако все они в итоге формируют общие представления о речи и словах, не следуя четкой методике обучения. Одной из нерешенных задач лингвистики остается вопрос о том, достаточно ли неструктурированного языкового опыта первых лет жизни для обучения, или также играют роль врожденные способности к овладению языком.

Группа ученых под руководством Ури Хассона из Принстонского университета решила проверить, возможно ли успешно обучить языковую модель, основываясь только на речи, которую слышат дети в первые тысячу дней жизни. Для каждого из восьми детей, участвовавших в исследовании, была создана своя модель, без предварительного внедрения языковых знаний: каждая обучалась исключительно на информации, с которой сталкивался ребенок. Архитектура моделей использовала подход «кодировщик-декодер», который делил процесс обучения на два этапа. На первом этапе кодировщик разбивал непрерывный речевой поток на фрагменты длительностью 20 миллисекунд. На втором этапе декодировщик обучался выявлять закономерности, предсказывая последующие элементы на основе предшествующего контекста.

Данные обрабатывались последовательно день за днем, в том порядке, в котором их получал каждый ребенок в повседневной жизни. Таким образом, ученые стремились смоделировать естественное развитие ребенка — с увеличением продолжительности интервалов бодрствования возрастало и количество полученной информации. Кроме того, в конце каждого дня модель повторно обращалась к материалу, изученному за день, имитируя консолидацию памяти, происходящую во время сна.

При таком подходе к обучению нейросетям потребовался примерно один смоделированный год, чтобы научиться распознавать звуки англоязычной речи, а затем на их основе сформировать словарный запас в несколько тысяч слов — причем динамика его роста практически полностью совпадала с показателями реальных детей.

Критически важным оказался объем входящих данных: модели, получавшие лишь часть записей языковой среды ребенка, усваивали значительно меньше слов — вероятно, из-за необходимости многократного повторения для запоминания. Также важным оказалось возвращение к изученному за день ночью: модели, у которых такая возможность отсутствовала, с трудом усваивали слова, даже если объем информации был достаточно большим.

В будущих исследованиях в языковые модели, помимо записей устной речи, планируется добавить жесты и мимику, чтобы максимально приблизить процесс обучения к реальной жизни.

Иногда дети с рождения усваивают не один язык, а сразу два, становясь билингвами. О том, как билингвизм может помочь в повседневной жизни, можно узнать в материале «Больше — лучше».

Больше новостей и эксклюзивных видео смотрите в канале Самара Онлайн 24 в MAX

Читайте также: