Компания Facebook объявила о разработке новой системы машинного перевода, которая способна выполнять перевод публикации с одного языка на другой напрямую, без английского в качестве промежуточного этапа. Об этом сообщает издание Engadget.
По данным компании, ежедневно только в «Хронике» функцией автоматического перевода пользуются свыше 20 миллиардов раз.
Ранее система Facebook использовала в качестве посредника английский язык. Например, предложение, написанное на китайском, сначала переводилось на английский, а потом уже на русский, что снижало общую точность перевода. Делалось так из-за широкой доступности и большого количества наборов данных переводов на и с английского языка.
В компании говорят, что новая система — M2M-100, — это первая многоязычная модель машинного перевода, которая способна выполнять прямой двусторонний перевод между парами из ста языков. По метрикам BLEU новая модель превосходит англоцентричную на 10 баллов.
Для обучения M2M-100 был накоплен огромный набор данных из более чем 7,5 миллиарда предложений. Тексты брались как из самого Facebook, так и всего интернета. По словам представителей компании, новая модель пригодится не только для функции машинного перевода, но и для изучения самих языков. Набор данных обучения и оценки модели в Facebook пообещали сделать общедоступным для ученых.
