Как оценивается качество машинного перевода?

Материал из База знаний AKMW

Для оценки качества машинного перевода нерелевантны критерии, разработанные для оценки качества перевода, выполненного человеком, такие как эквивалентность и адекватность. В данном случае оценивается не готовый продукт, который будет использоваться потребителем, а «сырой» результат, выданный машиной, основная цель которого сэкономить время и усилия человека (постредактора).

Методы оценки качества машинного перевода подразделяются на автоматические и экспертные. Автоматические метрики оценки качества перевода основаны на сравнении перевода с «эталоном» - переводом, выполненным человеком-профессионалом, либо на оценке глубины внесенной правки в процессе постредактирования. К достоинствам автоматических метрик оценки качества перевода относится невысокая стоимость и большая скорость. К недостаткам можно отнести высокую зависимость от качества «эталона» (референтного перевода). Кроме того, отклонение от «эталона» может означать как ошибку, так и допустимый вариант перевода.

Экспертные методы оценки качества машинного перевода представляют собой оценку человеком по определенным критериям.

Такими критериями могут быть:

- отсутствие смысловых ошибок;

К машинному переводу не предъявляется требование полной безошибочности: нужно понимать, что это вариант перевода, который будет обрабатываться человеком в процессе постредактирования. Однако, результат машинного перевода не должен содержать грубых искажений смысла, для исправления которых постредактору необходимо будет заново переводить текст.

- отсутствие немотивированных добавлений и опущений;

Немотивированные добавления и опущения свойственны как человеку, так и системам машинного перевода. К частотной ошибке систем машинного перевода, снижающей качество, относится отсутствие в тексте перевода лексических единиц, а иногда и целых фрагментов, содержащихся в исходном тексте.

- отсутствие недоперевода;

К недопереводу относится оставление в тексте перевода лексических единиц (терминов, наименований, аббревиатур), предложений, фрагментов на языке оригинала, что приводит к дополнительным затратам времени и усилий постредактора.

- соответствие норме языка перевода;

Несмотря на то, что текст машинного перевода будет подвергаться постредактированию, качественный машинный перевод не должен содержать значительных отклонений от нормы языка перевода. Если система машинного перевода калькирует структуру предложения на языке оригинала, постредактору необходимо полностью перестраивать всё предложение, что ставит под сомнение целесообразность использования машинного перевода.

- единообразие терминологии;

Термины, наименования, сокращения, символы и условные обозначения должны переводиться единообразно по всему тексту. Нарушение единообразия терминологии является ошибкой, которую необходимо исправлять постредактору.

- целостность полученного текста.

Для качественного перевода мало одних только лексических соответствий. Текст перевода должен сохранять все связи, присутствующие в исходном тексте и быть переведенным в едином стиле и регистре. Если система машинного перевода не учитывает контекст за рамками одного сегмента, качество такого перевода не может считаться высоким. Преимуществом экспертной оценки качества перевода является то, что она учитывает не только количественные, но и качественные показатели. К недостаткам относится высокая стоимость (оплата услуг эксперта) и субъективность.