Путь к технологической сингулярности искусственного интеллекта и почему это так важно
Автор: Kirti Vashee
Переводчик: Мария Кудинова
Редактор: Ирина Бодункова
Почему машинный перевод постоянно развивается?
На протяжении всего времени существования машинных технологий (примерно 70 лет) инженеры и разработчики регулярно заявляли о достижении машинами «человеческого уровня». Однако до сих пор не было приведено таких доказательств, которые удовлетворили бы профессиональных переводчиков. Для них реальный опыт использования технологий машинного перевода не соответствует громким заявлениям, сделанным разработчиками переводческих инструментов такого типа.
Отсутствие убедительных доказательств в истории
Исследователи в области машинного перевода вынуждены делать выводы о ходе исследований на основе малых объемов абстрактно представленных данных.
Если рассматривать историю развития машинного перевода, можно заметить, что крупные разработчики переводческих программ часто делали громкие заявления, которые кардинально отличались от мнений профессиональных переводчиков.
Например: «Вот 200 предложений, которые, по мнению переводчиков-любителей, не уступают по качеству человеческому переводу, поэтому мы утверждаем, что мы достигли профессионального уровня перевода в наших технологиях».
Дело в том, что цели и задачи обычного пользователя гораздо более шаблонны и просты. В свою очередь, работа профессионального переводчика отличается разнообразием задач и притязательностью к итоговому переводу.
Translated SRL наконец-то представила убедительные доказательства
В 2022 на конференции Ассоциации машинного перевода генеральный директор компании Translated Марко Тромбетти представил результаты исследований, проведенных за последнее десятилетие.
Наиболее полные данные за все время исследований, представленные в подтверждение неуклонного прогресса технологий машинного перевода
Для оценки прогресса машинного перевода используется показатель времени на редактирование (TTE). Это измерение, которое представляет собой время, затрачиваемое самыми высококлассными профессиональными переводчиками в мире на проверку и исправление переводов, предложенных программой машинного перевода.
В организации заметили, что показатель TTE является более удачным и полноценным показателем качества машинного перевода, чем такие показатели, как редакционное расстояние (ED), COMET или BLEU. Исследователи пришли к выводу, что показатель фактических когнитивных усилий, прилагаемых профессиональными переводчиками при выполнении работы, является более точным и надежным, чем автоматизированные алгоритмы оценки, основанные на балльной системе совпадений.
Последовательная оценка и измерение качества перевода в условиях обычной работы является сложной задачей, поскольку на это сильно влияют разнообразие тематик текстов, профессионализм переводчика и изменение ожидаемого времени выполнения работы.
Важно понимать, что прогресс в производительности машинных технологии, описанный в этой статье, в значительной степени опирается на передовую технологию, лежащую в основе переводчика ModernMT. Суть новшества заключается в ежедневном непрерывном обучении и совершенствовании продукта. Этот процесс контролируется экспертами-переводчиками, а также поддерживается обратной связью с пользователями.
Благодаря непрерывному совершенствованию базы данных, поддерживается высокая скорость обновления информации, которая впоследствии используется программой машинного перевода. Такие методы улучшения информационных баз нетипичны для программ подобного типа и очень эффективны.
Немаловажным вкладом в развитие технологии является экспертная оценка машинного перевода. Несмотря на то, что такие факторы, как общие базы данных, алгоритмы и механизмы вычисления, являются критически важными для успешного перевода, человеческая оценка оказывает существенное влияние на повышение качества машинного перевода.
Качество готовых переводов, направляемых непосредственно заказчику, измеряется количеством ошибок на тысячу слов (EPT). После двух проверок профессиональными редакторами, в большинстве случаев этот параметр разнится от двух до пяти. К этому параметру оценки качества финального перевода обращаются независимо от использования технологии машинного перевода во время работы.
Интерактивная, постоянно совершенствующаяся система машинного перевода вызывает интерес в среде квалифицированных переводчиков, способных профессионально оценить ее преимущества
Проблема автоматизированных алгоритмических систем оценки качества машинного перевода
Как уже упоминалось ранее, в последнее время для определения «лучшей» системы машинного перевода стали использоваться различные автоматизированные системы оценки, такие как BLEU, ED, hLepor и COMET. Зачастую переводческие компании используют несколько систем машинного перевода. Выбор программы зависит от исходного и переводящего языков. Однако такие оценки полезны только для разработчиков систем машинного перевода. Полученные результаты используются для настройки и улучшения программ перевода. Что касается менеджеров по продуктам глобальных рынков, они игнорируют довольно очевидные недостатки систем машинного перевода.
«Балльная оценка качества», основанная на банке предложений и фраз из открытых источников, попросту не способна продемонстрировать потенциал постоянно развивающейся системы машинного перевода, призванной адаптироваться к специфическим требованиям заказчика.
Как уже известно, системы машинного перевода динамичны: технологии перевода постоянно развиваются, и то, что было верно при сравнении их качества вчера, может оказаться неверным завтра. По этим причинам понимание того, каким образом взаимодействуют в системе машинного перевода базы данных, алгоритмы и человек, обычно гораздо важнее, чем статичный сравнительный анализ на основе баллов.
Текст публикуется в ознакомительных целях и не монетизируется.
