I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейHelsinki-NLP разработала opus-mt-en-cs — модель машинного перевода с английского на чешский язык. Она предназначена для перевода отдельных фраз и текстов, в том числе новостных материалов; в карточке приведены результаты оценки на нескольких новостных тестовых наборах. Модель использует архитектуру Transformer в реализации MarianMT и насчитывает 57,2 млн параметров. Текст нормализуется и токенизируется с помощью SentencePiece; максимальная длина контекста составляет 512 токенов. Репозиторий содержит веса PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0.
Helsinki-NLP/opus-mt-en-da — модель машинного перевода на архитектуре Transformer, разработанная проектом OPUS и распространяемая организацией Helsinki-NLP. Она переводит текст с английского на датский; обучение выполнено на данных OPUS. В модели используются нормализация текста и токенизация SentencePiece. Модель относится к семейству Marian и реализована как MarianMTModel; число параметров — 55,3 млн, максимальный контекст — 512 токенов. Доступны веса в форматах PyTorch и TensorFlow. В карточке приведён результат BLEU 60,4 на наборе Tatoeba.en.da. Модель распространяется по лицензии Apache-2.0.
opus-mt-en-ROMANCE — модель машинного перевода Helsinki-NLP для перевода с английского на французский, испанский, португальский, итальянский, румынский и другие романские языки и их варианты. Она построена на архитектуре Marian Transformer, содержит 58,4 млн параметров и рассчитана на контекст до 512 токенов. Для выбора языка перевода перед текстом требуется указать начальный токен целевого языка вида >>id<<; предварительная обработка включает нормализацию и SentencePiece. Модель обучена на данных OPUS и поддерживает перевод на широкий набор языковых вариантов, включая региональные варианты французского, испанского и португальского. В карточке приведён результат для теста Tatoeba.en.la: BLEU 50,1 и chr-F 0,693. Доступны форматы PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0.
Helsinki-NLP/opus-mt-en-sk — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского на словацкий и основана на архитектуре Transformer-align, реализованной как MarianMTModel. Модель обучена на корпусе OPUS; предобработка включает нормализацию и SentencePiece. Размер — 55,9 млн параметров, контекст — до 512 токенов. Доступны веса PyTorch и TensorFlow. Модель подходит для перевода предложений и документов с английского на словацкий. В README приведён результат BLEU 36,8 и chr-F 0,578 на тестовом наборе JW300.en.sk. Модель распространяется по лицензии Apache-2.0.
Helsinki-NLP разработала opus-mt-fr-hu — модель машинного перевода с французского языка на венгерский. Она построена на архитектуре MarianMT с трансформерной моделью, содержит 55,2 млн параметров и использует нормализацию текста и токенизацию SentencePiece. Для перевода применяется корпус OPUS; в карточке приведены результаты на тестовом наборе Tatoeba.fr.hu: BLEU 41,3 и chr-F 0,629. Модель принимает текст на французском и выдаёт перевод на венгерский. Она распространяется под лицензией Apache-2.0; доступны форматы PyTorch и TensorFlow. Контекст модели — до 512 токенов.
Helsinki-NLP/opus-mt-ru-es — модель машинного перевода из проекта OPUS, разработанная Helsinki-NLP. Она переводит текст с русского языка на испанский и предназначена для использования в системах перевода и локализации. Модель основана на архитектуре Transformer и реализована как MarianMTModel; число параметров — 57,6 млн, длина контекста — до 512 токенов. В предобработке используются нормализация текста и SentencePiece. В карточке приведены результаты оценки на наборах newstest2012, newstest2013 и Tatoeba. Модель принимает и выдаёт текст. Распространяется по лицензии Apache-2.0; доступны веса в форматах PyTorch и TensorFlow.
opus-mt-ru-fi — модель машинного перевода из семейства OPUS-MT, разработанная проектом Helsinki-NLP. Она переводит текст с русского языка на финский и предназначена для автоматического перевода фраз и документов. Модель построена на архитектуре MarianMT с Transformer-align; для предварительной обработки используются нормализация текста и SentencePiece. Размер модели — 57,3 млн параметров, контекст — до 512 токенов. В метаданных указаны реализации для PyTorch и TensorFlow. В карточке приведён результат BLEU 40,1 и chr-F 0,646 на тестовом наборе Tatoeba.ru.fi; эти показатели относятся к указанному набору и не гарантируют такого же качества на других текстах. Модель распространяется по лицензии Apache-2.0.
Helsinki-NLP/opus-mt-ru-lt — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer с выравниванием. Она переводит текст с русского языка на литовский; для токенизации применяются нормализация и SentencePiece с словарями размером 32 тыс. токенов. Модель содержит 57,4 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. В карточке приведён результат BLEU 43,5 и chr-F 0,675 на наборе Tatoeba-test.rus.lit. Модель подходит для перевода отдельных текстов и локализации русскоязычных материалов на литовский. Распространяется по лицензии Apache-2.0.
Helsinki-NLP/opus-mt-ru-uk — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer-align и реализованная как MarianMTModel. Она переводит текст с русского языка на украинский. Модель содержит 54,7 млн параметров, использует нормализацию и токенизацию SentencePiece с словарями spm32k; длина контекста — 512 токенов. Модель подходит для перевода фраз, сообщений и документов с русского на украинский. В README приведён результат BLEU 64,0 на тесте Tatoeba для этой языковой пары; качество на других наборах и для специализированной лексики может отличаться. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.
Helsinki-NLP/opus-mt-sv-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст со шведского языка на английский и предназначена для перевода отдельных текстов и интеграции в автоматизированные переводческие системы. Модель основана на архитектуре Transformer-align и реализована как MarianMTModel; содержит 54,1 млн параметров. Для обработки текста используются нормализация и SentencePiece, длина контекста — до 512 токенов. В карточке приведён результат BLEU 64,5 на тестовом наборе Tatoeba.sv.en. Модель работает с текстом и поддерживает направление перевода sv→en. Распространяется по лицензии Apache-2.0. Качество может различаться в зависимости от тематики и стиля исходного текста; опубликованный показатель относится к указанному тестовому набору и не гарантирует аналогичный результат на других данных.
opus-mt-sv-es — модель машинного перевода из семейства OPUS-MT, разработанная проектом Helsinki-NLP. Она переводит текст со шведского языка на испанский и основана на архитектуре Transformer-align с предварительной обработкой нормализацией и SentencePiece. Для обучения использован корпус OPUS. Модель содержит 54,9 млн параметров, работает с библиотеками Transformers и Marian и распространяется в форматах PyTorch и TensorFlow; длина контекста — 512 токенов. Модель подходит для перевода фраз и текстов со шведского на испанский. В карточке приведена оценка BLEU 52,1 и chr-F 0,683 на тестовом наборе Tatoeba.sv.es. Лицензия — Apache-2.0.
Qwen2.5-7B-Stair_FS4 — полноразмерно дообученная SardineLab модель на базе Qwen/Qwen2.5-7B-Instruct для многоязычного перевода частей документов с учётом контекста предыдущих частей. Она использует плотную архитектуру Qwen2 и принимает контекст отдельными блоками: для каждой позиции в четырёхчастном документе доступны от нуля до трёх предшествующих частей. При обучении документы сегментировали в диапазоне 256–512 токенов и объединяли в группы по четыре части; максимальная длина последовательности — 32 768 токенов, размер модели — 7,1 млрд параметров. Модель предназначена для перевода между английским и немецким, испанским, французским, итальянским, корейским, нидерландским, португальским, русским и китайским языками, в обоих направлениях. Контекстная схема ориентирована на сохранение согласованности перевода на уровне документа. Для воспроизведения обработки и настроек оценки авторы отсылают к коду и статье Doc2FRC; рекомендуется соблюдать предложенный формат из четырёх частей и передавать контекстные блоки в хронологическом порядке. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0.
SalamandraTA-2b-instruct — многоязычная языковая модель для перевода, разработанная подразделением Language Technologies Unit Барселонского суперкомпьютерного центра (BSC). Она дообучена для выполнения инструкций на основе SalamandraTA-2b-base и предназначена для перевода предложений и абзацев, постредактирования машинного перевода, проверки грамматики, оценки переводов, подготовки альтернативных вариантов, распознавания именованных сущностей и перевода с учетом контекста. Модель имеет плотную архитектуру LlamaForCausalLM и около 1,7 млрд параметров по метаданным; в README приведено точное число 2 253 490 176 параметров. Длина контекста — 8192 токена. Модель ориентирована на 35 европейских языков и три языковые разновидности; языки карточки перечисляют только часть поддерживаемых языков. Она принимает текстовые инструкции и выдаёт текст, а разговорный режим общего назначения не поддерживается. Модель предназначена для исследовательского и коммерческого использования и распространяется по лицензии Apache-2.0. Авторы отмечают, что инструкция-настройка предварительная; оценки возможных смещений и точности по языкам, диалектам и областям применения ограничены, поэтому качество следует проверять для конкретных сценариев.
SalamandraTA-7B-instruct-GGUF — квантизированная GGUF-версия SalamandraTA-7b-instruct v3, разработанная группой машинного перевода AI Institute при Barcelona Supercomputing Center. Модель предназначена исключительно для задач машинного перевода и связанных сценариев: перевода предложений, абзацев и документов, терминологически управляемого перевода, обработки структурированного текста, включая HTML и XML, постредактирования переводов и распознавания именованных сущностей. Модель поддерживает 40 языков и 3 языковых варианта, включая европейские и неевропейские языки: арабский, японский, хинди, корейский и упрощенный китайский. Она основана на SalamandraTA-7b-base, дообученной из Salamandra-7b; точная архитектура и размер контекста в README не указаны. Веса FP16 квантизированы в формат Q4_K_M с использованием llama.cpp; размер файла составляет около 4,1 ГБ. Квантизация обеспечивает компромисс между размером и качеством, но дает снижение примерно на 1–2 BLEU по сравнению с полноточной версией. Модель подходит для интеграции в системы перевода и локального или серверного инференса через совместимые инструменты, включая vLLM. Она не предназначена для диалогового использования и не обучалась следовать чат-инструкциям. Модель распространяется по лицензии GNU GPL v3.0; пользователи и разработчики производных систем несут ответственность за оценку рисков, смягчение возможных предвзятостей и соблюдение применимых требований законодательства.
SeamlessM4T v2 Large — мультимодальная многоязычная модель перевода и речи семейства SeamlessM4T, разработанная командой авторов карточки. Репозиторий содержит вариант на архитектуре UnitY2, в метаданных указаны 664,9 млн параметров, контекст 4096 токенов и формат safetensors. Модель предназначена для распознавания речи и перевода между речью и текстом: поддерживает преобразование речи в текст, текста в речь, а также речевой перевод с речевым или текстовым результатом. По README, модель принимает речь на 101 языке и текст на 96 языках, а генерирует речь на 35 языках. Архитектура UnitY2 с иерархическим преобразованием символов в речевые единицы и неавторегрессионным декодированием ускоряет генерацию речи и повышает её качество по сравнению с первой версией. В метаданных репозитория указана лицензия CC BY-NC 4.0, допускающая использование с некоммерческими ограничениями.
SeamlessM4T v2 Large — мультимодальная многоязычная модель перевода от Meta, построенная на архитектуре UnitY2. Она поддерживает распознавание речи, перевод речи в текст и текста в текст, а также перевод речи и текста с синтезом речи. По карточке модели, она принимает речь на 101 языке, текст на 96 языках и генерирует речь на 35 языках. Версия v2 улучшает качество и скорость генерации речи по сравнению с SeamlessM4T v1. Репозиторий содержит вариант на 664,9 млн параметров, доступный через Transformers; длина контекста — 4096 токенов. Лицензия CC-BY-NC-4.0 разрешает использование на условиях указания авторства и запрещает коммерческое применение.
Tower-7B-d2d — языковая модель Unbabel, опубликованная в рамках исследования Doc2FRC. Это полно-параметрически дообученная версия Unbabel/TowerInstruct-Mistral-7B-v0.2 на базе Mistral с 7,1 млрд параметров, предназначенная для перевода целых документов между английским и девятью другими языками: немецким, испанским, французским, итальянским, корейским, нидерландским, португальским, русским и китайским. Модель обучалась на параллельных данных DocBlocks непосредственно для перевода «документ в документ» и поддерживает контекст до 32 768 токенов. Модель принимает текстовый запрос с исходным и целевым языками и выдаёт перевод в виде текста. Она ориентирована на сохранение связности перевода на уровне документа; рекомендованный формат запроса использует ChatML-подобную структуру. Для воспроизведения настроек вывода и оценки авторы направляют к материалам проекта Doc2FRC. Модель распространяется по лицензии CC BY-NC-SA 4.0; доступна только для использования на условиях этой лицензии.
Tower-7B-Uni_2c1t — модель компании SardineLab для машинного перевода фрагментов документов. Она создана полнопараметрическим дообучением Unbabel/TowerInstruct-Mistral-7B-v0.2 и построена на плотной архитектуре Mistral с 7,1 млрд параметров. Модель обучена совместно работать с запросами без контекста и с одним или двумя предыдущими фрагментами исходного текста, передаваемыми в хронологическом порядке. Данные разбиваются на фрагменты длиной 256–512 токенов. Модель переводит между английским и немецким, испанским, французским, итальянским, корейским, нидерландским, португальским, русским и китайским языками в обоих направлениях. Контекст модели — до 32 768 токенов. Она предназначена для документного перевода, при котором предыдущие фрагменты помогают учитывать контекст между частями текста. Для загрузки контрольных точек PyTorch авторы рекомендуют PyTorch 2.6 или новее. Лицензия CC BY-NC-SA 4.0 допускает использование с указанием авторства и на условиях «одинаково распространяемых» материалов, но запрещает коммерческое использование.
TowerBase-13B-v0.1 — языковая модель Unbabel, Instituto Superior Técnico и CentraleSupélec University of Paris-Saclay, созданная продолжением предобучения Llama 2 на 20 млрд токенов монолингвальных и двуязычных данных. Это плотная архитектура Llama с 12,9 млрд параметров и контекстом до 4096 токенов. Модель рассчитана на английский, португальский, испанский, французский, немецкий, нидерландский, итальянский, корейский, китайский и русский языки. Она подходит для перевода и смежных задач, включая постредактирование машинного перевода и исправление грамматики, в режиме few-shot; её также можно дообучать для выполнения этих задач. Лицензия — CC-BY-NC-4.0; базовая Llama 2 распространяется по Llama 2 Community License. Модель не выровнена по предпочтениям людей и может выдавать галлюцинации, вредоносный контент или ложные утверждения. Качество для языков за пределами поддерживаемой десятки не гарантируется.
TowerInstruct-Mistral-7B-v0.2 — языковая модель Unbabel, Instituto Superior Técnico и CentraleSupélec University of Paris-Saclay, полученная дообучением Mistral-версии TowerBase на наборе TowerBlocks. Это плотная архитектура Mistral с 7,1 млрд параметров, принимающая текст и поддерживающая контекст до 32 768 токенов. Модель предназначена прежде всего для перевода между английским, португальским, испанским, французским, немецким, нидерландским, итальянским, корейским, китайским и русским языками. Она также выполняет постредактирование машинного перевода, учитывает терминологию и контекст, распознаёт именованные сущности, исправляет грамматические ошибки, оценивает перевод и перефразирует текст. В карточке заявлено, что её качество сопоставимо с TowerInstruct-13B-v0.2 при вдвое меньшем размере. Модель обучалась на переводных, синтетических и разговорных данных, а также примерах инструкций для кода, но не предназначена для роли чат-бота или помощника по программированию. Разработчики отдельно предупреждают, что качество перевода на уровне документов ещё улучшается и модель не предназначена для такого сценария; она не выровнена по человеческим предпочтениям и может выдавать галлюцинации или неверные утверждения. Лицензия CC-BY-NC-4.0 допускает использование с указанием авторства и ограничивает коммерческое применение.
Tower+ 2B — многоязычная языковая модель Unbabel на архитектуре Gemma 2, дообученная на базе google/gemma-2-2B. Обучение включало продолжение предобучения, настройку на инструкции, оптимизацию предпочтений WPO и GRPO с проверяемыми вознаграждениями. Модель содержит около 2,7 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Модель предназначена прежде всего для машинного перевода и других многоязычных задач, а также для выполнения инструкций, включая задачи на рассуждение и код. Её можно применять для создания синтетических многоязычных данных: переводить инструкции и ответы или генерировать инструкции по документам. Поддерживается 26 языков и вариантов языков, включая русский, английский, китайский, немецкий, испанский, французский, португальский, украинский, хинди и японский. Модель выдаёт текст; архитектура — плотная причинная языковая модель Gemma 2. В README особо отмечена её специализация на машинном переводе и сильные возможности в многоязычных задачах. Лицензия в метаданных указана как CC-BY-NC-SA-4.0, тогда как README указывает CC-BY-NC-4.0, поэтому условия распространения следует сверять с актуальной лицензией репозитория.
Tower+ 72B — многоязычная языковая модель Unbabel на архитектуре Qwen2, дообученная на базе Qwen/Qwen2.5-72B. Обучение включало непрерывное предобучение, настройку по инструкциям и оптимизацию предпочтений; модель содержит 71,5 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов по метаданным каталога. Модель предназначена прежде всего для многоязычных задач, особенно для перевода и других задач, связанных с переводом. Она также подходит для следования инструкциям, включая задачи на рассуждение и программирование, и для создания синтетических многоязычных данных — например, перевода инструкций и ответов или генерации инструкций на основе документов. Карточка перечисляет 26 языковых вариантов, включая региональные варианты португальского, испанского и норвежского; метаданные каталога подтверждают поддержку 22 языков. Это плотная авторегрессионная модель генерации текста с возможностью диалогового использования. Для применения указана лицензия CC-BY-NC-4.0, ограничивающая коммерческое использование. README рекомендует генерировать не более 8 192 токенов за раз.
HPLT MT release v1.0 — модель машинного перевода с английского на хинди, разработанная HPLT и обученная на данных OPUS и HPLT. Это плотная Transformer-base модель на архитектуре Marian с токенизатором SentencePiece Unigram; размер составляет 57,9 млн параметров, максимальный контекст — 512 токенов. Доступны веса в форматах Marian и Hugging Face; метаданные репозитория указывают формат PyTorch и совместимость с Transformers. Модель предназначена для перевода англоязычных текстов на хинди. В README приведены результаты на FLORES200 и NTREX: BLEU 34,5 и 27,7 соответственно. Для запуска через Transformers авторы рекомендуют версию 4.28: из-за известной проблемы конвертации чекпойнт несовместим с Transformers 4.30. Лицензия — Creative Commons Attribution 4.0 International (CC BY 4.0).
HPLT/translate-en-hr-v1.0-hplt_opus — модель машинного перевода английского языка на хорватский, выпущенная в рамках HPLT MT release v1.0. Это Transformer-base модель семейства Marian, обученная на данных OPUS и HPLT; репозиторий содержит веса в формате Marian и преобразованную версию для Hugging Face Transformers. Модель использует токенизатор SentencePiece Unigram, включает 57,9 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для перевода текстов с английского на хорватский. В README приведены результаты на FLORES200 и NTREX: BLEU 30,5 и 32,5 соответственно, а также оценки chrF++ и COMET22. Для запуска версии Transformers авторы рекомендуют transformers 4.28: README предупреждает о проблеме конвертации весов в версии 4.30. Лицензия — CC BY 4.0.
TranslateGemma-4B-IT-GGUF — квантизированная версия мультиязычной модели TranslateGemma-4B-IT, разработанной Google и опубликованной SandLogic Technologies в формате GGUF. Модель построена на архитектуре Gemma и представляет собой decoder-only transformer примерно с 4 млрд параметров. Она обучена с применением instruction tuning и работает только с текстом. Модель предназначена прежде всего для машинного перевода, кросс-языковых NLP-задач, локализации документов и интерфейсов, многоязычных ассистентов, а также исследовательских и прототипных сценариев. Она поддерживает множество языков, включая высокоресурсные и отдельные низкоресурсные языки, умеет учитывать инструкции о тоне, стиле и предметной области и подходит для перевода предложений, абзацев и более длинных фрагментов. Доступны варианты Q4_K_M и Q5_K_M: они требуют примерно 2,32 и 2,64 ГБ памяти соответственно и подходят для CPU, периферийных устройств и GPU с небольшим объёмом видеопамяти. К сильным сторонам относятся мультиязычность, следование инструкциям, сохранение контекста, работа с идиомами и пригодность для интерактивного и пакетного перевода. К ограничениям относятся возможное снижение качества нюансированного перевода и генерации длинных текстов у более сильно сжатой версии Q4_K_M, а также отсутствие поддержки изображений и других немультимодальных входов. Модель распространяется по лицензии gemma; точные ограничения лицензии и максимальный размер контекста в README не указаны.
KordAI разработала Typhoon Gemma 3 KordTranslate EN-TH 4B — двунаправленную модель машинного перевода между английским и тайским языками. Это дообученная методом supervised instruction tuning модель typhoon-ai/typhoon2.1-gemma3-4b на архитектуре Gemma 3 с 4 млрд параметров; она принимает текстовые инструкции и выдаёт перевод. Модель предназначена для локализации, перевода документов пакетами, перевода в чат-ботах и образовательных приложениях, а также интеграции через API. В метаданных указано контекстное окно 131072 токена; репозиторий использует формат safetensors. Лицензия — Apache 2.0. Карточка отмечает возможное снижение качества на узкоспециализированных медицинских, юридических и научных текстах. Имена собственные и новые термины следует проверять, а неоднозначные входные фразы могут быть галлюцинированы или перефразированы; для критически важных переводов рекомендуется проверка человеком.
Typhoon llama3.2 KordTranslate EN-TH 1B — это дообученная KordAI модель машинного перевода с архитектурой Llama 3.2 и примерно 1,2 млрд параметров. Она выполняет перевод с английского на тайский и с тайского на английский; для перевода рассчитана на инструкции и наследует языковое понимание базовой модели Typhoon. Контекст модели составляет до 131 072 токенов, формат весов — safetensors. Модель подходит для локального перевода текстов, локализации, учебных задач, интеграции в чат-боты и API, а также пакетной обработки документов. Для перевода README рекомендует задавать направление явной инструкцией и использовать соответствующий шаблон запроса. Модель разработана KordAI и дообучена на двуязычных англо-тайских наборах данных. Лицензия — Apache-2.0. Качество может снижаться на специализированных медицинских, юридических и научных текстах; имена собственные и новые термины, а также переводы неоднозначных фраз следует проверять вручную.
VinAI Translate en2vi v2 — модель машинного перевода, разработанная VinAI для перевода с английского на вьетнамский. Она основана на архитектуре mBART и содержит 269,7 млн параметров; модель доступна в формате PyTorch и рассчитана на контекст до 1024 токенов. Её можно использовать для перевода текстов и как компонент приложений, которым нужен перевод между английским и вьетнамским. Карточка модели описывает семейство VinAI Translate как систему нейронного машинного перевода и указывает на публикацию с экспериментальными результатами. Лицензия репозитория — AGPL-3.0. Авторы просят цитировать статью VinAI Translate при публикации результатов или включении моделей в программное обеспечение.
Карточка модели OrpheraAI/whisper-large-v3-turbo на Hugging Face совпадает с карточкой openai/whisper-large-v3-turbo, поэтому описание составлено по ней. Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.
Whisper medium — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder (sequence-to-sequence), представленная в карточке Hugging Face. Она содержит 455,8 млн параметров и обучалась на 680 тысячах часов размеченных аудиоданных с помощью крупномасштабного слабого надзора. Модель принимает речь и преобразует её в текст на том же языке; также может переводить речь на другой язык, в том числе на английский. Поддерживает множество языков, включая русский, английский, китайский, немецкий, испанский, французский и японский. Модель подходит для расшифровки аудиозаписей, длинных записей при обработке чанками и перевода речи. Архитектура рассчитана на аудиофрагменты до 30 секунд; чанкинг позволяет обрабатывать более длинные записи. Whisper хорошо обобщает на разные предметные области и демонстрирует устойчивость к акцентам, фоновому шуму и технической лексике, хотя качество зависит от языка, диалекта и условий записи. Модель может ошибочно добавлять слова, которых нет в аудио, и повторять фрагменты. Точность ниже для языков с малым объёмом данных и может различаться между группами говорящих. Лицензия — Apache-2.0.