/ Профессии
Универсальные способности и операции

I.6Перевод и языковая адаптация

В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоЭмбеддингиТекст
AI-задач
16
в этой профессии
Подходящих моделей
16 710
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоЭмбеддингиТекст

Рекомендованные модели

16 710 моделей
Загрузки
Лайки
Дата выхода
1 231–1 260 из 16 710
megastudyedu
M-SOLAR-10.7B-v1.1-beta

M-SOLAR-10.7B-v1.1-beta는 Megastudy Education과 Prediction이 만든 SOLAR-10.7B-Instruct-v1.0 기반의 대화형 언어 모델로, Llama 계열의 밀집형 архитектура를 사용하며 10,6 млрд параметров имеет. Модель дообучена на инструкционных данных, включая образовательные материалы, корейские научно-технические аннотации и данные для перевода с английского на корейский. Она предназначена для генерации ответов по инструкциям, работы с образовательными текстами, восстановления порядка предложений, дополнения научных текстов и перевода с английского на корейский. Контекстное окно составляет 4096 токенов; формат весов — safetensors. Карточка отмечает, что подходы к формированию данных не прошли полноценное абляционное исследование, поэтому результаты описанных экспериментов следует оценивать с осторожностью. Лицензия CC BY-NC-SA 4.0 допускает использование на условиях атрибуции, распространения производных материалов на тех же условиях и некоммерческого применения.

366дек. 2023ctx4.1K
textcc-by-nc-sa-4.0hugging-face
google
mt5-small

mT5-small — компактная многоязычная модель Google на архитектуре encoder-decoder Transformer семейства T5, содержащая 157,4 млн параметров. Она предварительно обучена на корпусе mC4, охватывающем 101 язык, в формате преобразования текста в текст; контрольные точки доступны в форматах PyTorch, TensorFlow, Flax и ONNX. Лицензия — Apache-2.0. Модель служит базой для дообучения под конкретные задачи NLP: например, суммаризацию, перевод или ответы на вопросы. Сам чекпойнт проходил только предварительное обучение без supervised-настройки, поэтому для качественного решения прикладных задач его следует дообучить. Поддержка языков включает русский и английский, а также множество других языков.

219K195март 2022
textapache-2.0hugging-face
K024
mt5-zh-ja-en-trimmed

K024/mt5-zh-ja-en-trimmed — дообученная модель семейства mT5, основанная на mt5-base и предназначенная для перевода между китайским, японским и английским языками. Она использует архитектуру MT5ForConditionalGeneration и содержит около 164,6 млн параметров. Словарь токенизатора сокращён примерно до трети исходного: оставлены 85 тысяч наиболее частотных токенов из обучающих данных. Пример в карточке показывает перевод с японского на китайский с префиксом ja2zh; модель запускается через Transformers как text-to-text generation. Модель подходит для машинного перевода текстов между поддерживаемыми языками. Карточка не описывает качество перевода, полный набор направлений и ограничений, поэтому их нельзя оценить по имеющимся сведениям. Репозиторий содержит веса PyTorch и распространяется по лицензии CC BY-NC-SA 4.0, которая предусматривает указание авторства, распространение производных работ на тех же условиях и некоммерческое использование.

24257март 2022
textcc-by-nc-sa-4.0hugging-face
JSCreatorPro
offline-cpu-madlad-400

Карточка модели JSCreatorPro/offline-cpu-madlad-400 на Hugging Face совпадает с карточкой google/madlad400-3b-mt, поэтому описание составлено по ней. MADLAD-400-3B-MT — многоязычная модель машинного перевода семейства T5, опубликованная в репозитории Google и основанная на архитектуре T5. В метаданных указан размер 731,9 млн параметров; модель доступна в форматах Safetensors и GGUF и рассчитана на контекст до 512 токенов. Карточка сообщает об обучении на корпусе MADLAD-400 и параллельных данных для 157 языков; охват модели заявлен как более 400 языков. Модель предназначена прежде всего для перевода между языками и многоязычных NLP-сценариев, в том числе для работы с языками, недостаточно представленными в крупных корпусах. Её можно применять для перевода коротких текстов и в качестве основы для экспериментов с машинным переводом; качество, по данным карточки, зависит от языка и, вероятно, от предметной области. Модель обучена на общедоступных веб-данных, поэтому возможны низкое качество или проблемные результаты для отдельных языков и тематик. Она не предназначена для специализированных областей без адаптации, а её пригодность для производственных сценариев не оценивалась. Лицензия — Apache 2.0.

1651июнь 2026ctx512
textapache-2.0hugging-face
mradermacher
OpenSakura-MODEL-260906-LN-ja-zh-SFT-qwen36-35b-a3b-sft-GGUF

OpenSakura-MODEL-260906-LN-ja-zh-SFT-qwen36-35b-a3b-sft-GGUF — это GGUF-квантизация модели OpenSakura/OpenSakura-MODEL-260906-LN-ja-zh-SFT-qwen36-35b-a3b-sft, подготовленная mradermacher. Модель предназначена прежде всего для задач перевода и работы с японским и китайским языками. В README не указаны подробные сведения о поддерживаемых сценариях, качестве перевода или дополнительных возможностях. Модель основана на семействе Qwen; в идентификаторе указаны конфигурация 35B и вариант a3b, однако точная архитектура, число активных параметров, длина контекста и размер исходной модели не описаны. Доступны статические квантизации GGUF от Q2_K до Q8_0, включая IQ4_XS, с размером файлов примерно от 13 до 37 ГБ. Q4_K_S и Q4_K_M обозначены как быстрые и рекомендуемые варианты, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант с наилучшим качеством среди перечисленных. Основное преимущество сборки — выбор компромисса между размером, скоростью и качеством благодаря нескольким уровням квантизации; модель можно использовать в совместимом с GGUF локальном ПО. Ограничения включают отсутствие weighted/imatrix-квантизаций в данной публикации и недостаток информации о контексте, мультимодальности, точных характеристиках и бенчмарках. Лицензия в README не указана.

1.4K0сент. 2026
texthugging-face
Helsinki-NLP
opus-mt-ase-sv

opus-mt-ase-sv — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с ase на шведский язык (sv); модель построена на архитектуре Transformer-align, использует нормализацию и SentencePiece для предобработки. В метаданных указаны 50,1 млн параметров, контекст до 512 токенов, поддержка PyTorch и TensorFlow и лицензия Apache-2.0. В тесте JW300.ase.sv указаны BLEU 39,7 и chr-F 0,576. Модель подходит для перевода текстов с ase на шведский; её качество на других языковых парах и типах текстов не подтверждено приведёнными данными.

950март 2022ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-az-en

Helsinki-NLP/opus-mt-az-en — модель машинного перевода, разработанная Helsinki-NLP для перевода с азербайджанского на английский. Она построена на архитектуре Transformer-align и реализована как MarianMTModel; число параметров — 37,1 млн, длина контекста — 512 токенов. Для подготовки текста используются нормализация и SentencePiece с моделями словаря spm12k для обоих языков. Модель подходит для перевода отдельных текстов и предложений с азербайджанского на английский. В тесте Tatoeba-test.aze.eng указаны BLEU 31,9 и chr-F 0,490. Поддерживается направление az→en; качество на других языковых парах не подтверждено. Лицензия — Apache-2.0.

3863март 2022ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-bnt-en

Helsinki-NLP/opus-mt-bnt-en — модель машинного перевода из проекта OPUS-MT, разработанная на архитектуре Transformer и реализованная как MarianMT. Она переводит тексты с нескольких языков банту на английский: среди исходных языков README перечисляет киньяруанда, лингала, луганда, ньянджа, рунди, шона, суахили, тсонга, тсонга? и зулу; также указаны тсонга, тсонга (цицонга), тсонга, тсонга и умбунду. Модель содержит 56,8 млн параметров, использует нормализацию и SentencePiece с 32-тысячным словарём и имеет контекстное окно 512 токенов. Модель предназначена для перевода с перечисленных языков на английский; обратный перевод не заявлен. Качество зависит от исходного языка: в README приведены результаты BLEU от 5,3 до 31,7 для отдельных наборов Tatoeba, поэтому оценку стоит проводить на собственных текстах, особенно для языков с низкими опубликованными результатами. Лицензия — Apache-2.0.

1641март 2022ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-ceb-sv

Helsinki-NLP/opus-mt-ceb-sv — модель машинного перевода из проекта OPUS-MT, разработанная на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с себуанского языка на шведский. Модель обучена на данных OPUS; для предварительной обработки используются нормализация текста и SentencePiece. В метаданных указаны 55,5 млн параметров, контекст до 512 токенов и форматы PyTorch и TensorFlow. Модель подходит для перевода отдельных фраз и текстов с себуанского на шведский. В README приведён результат BLEU 35,5 и chr-F 0,552 на наборе JW300.ceb.sv. Распространяется по лицензии Apache-2.0.

950март 2022ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-cs-uk

Helsinki-NLP/opus-mt-cs-uk — модель машинного перевода OPUS-MT для перевода с чешского языка на украинский. Она разработана Helsinki-NLP на архитектуре MarianMT с моделью Transformer-align; в репозитории представлены веса PyTorch и TensorFlow, размер модели — 57,3 млн параметров, контекст — до 512 токенов. Модель предназначена для перевода отдельных фраз и текстов с чешского на украинский. В предварительной обработке используются нормализация и SentencePiece с разбиением на подслова. В README приведён результат BLEU 50,9 на Tatoeba-test.ces.ukr; это оценка на указанном наборе, а не гарантия качества для других текстов и жанров. Модель опубликована под лицензией Apache-2.0. Она специализирована на одном направлении перевода: чешский → украинский; для обратного перевода или других языковых пар потребуется другая модель.

1200март 2022ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-cy-en

Helsinki-NLP/opus-mt-cy-en — модель машинного перевода валлийского языка на английский, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Это компактная Transformer-модель семейства Marian с примерно 53 млн параметров; для токенизации используется SentencePiece, а входной текст нормализуется. Модель принимает текст на валлийском и генерирует перевод на английском; длина контекста составляет 512 токенов. Модель подходит для перевода коротких фраз и текстов, включая материалы, похожие на данные набора Tatoeba. В карточке приведён результат BLEU 33,0 на тестовом наборе Tatoeba.cy.en. Модель доступна в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

5780март 2022ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-de-ase

Helsinki-NLP/opus-mt-de-ase — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на язык ase; обучение выполнено на данных OPUS. Модель использует архитектуру MarianMT на основе Transformer, нормализацию и токенизацию SentencePiece. Размер — 52,6 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для перевода немецких текстов на ase, в том числе для локализации и автоматической обработки многоязычных материалов. В README приведены результаты оценки на наборе JW300.de.ase: BLEU 30,4 и chr-F 0,483. Модель распространяется по лицензии Apache-2.0.

690март 2022ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-de-eu

Helsinki-NLP/opus-mt-de-eu — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на баскский; модель однонаправленная и предназначена для перевода предложений и коротких фрагментов текста. Модель построена на архитектуре Transformer с выравниванием, представлена в Transformers как MarianMTModel и содержит 36,5 млн параметров. Перед обработкой текст нормализуется и токенизируется SentencePiece с моделями размером 12 тысяч токенов. Максимальная длина контекста — 512 токенов. В тесте Tatoeba для пары немецкий—баскский указаны BLEU 31,8 и chr-F 0,574. Модель принимает текст на немецком и выдаёт перевод на баскском. Карточка не описывает ограничения качества за пределами приведённого теста. Лицензия — Apache-2.0.

851март 2022ctx512
textapache-2.0hugging-face
Xenova
opus-mt-en-de

Xenova/opus-mt-en-de — модель машинного перевода с ONNX-весами, разработанная на основе Helsinki-NLP/opus-mt-en-de. Репозиторий Xenova предназначен для совместимости с библиотекой Transformers.js и запуска модели в веб-средах. Модель предназначена для перевода текста с английского языка на немецкий. Она относится к семейству OPUS-MT; точные сведения об архитектуре, размере, длине контекста и поддерживаемых модальностях в README не указаны. Доступны ONNX-веса, размещённые в каталоге onnx, что делает модель пригодной для сценариев, где требуется веб-совместимое выполнение через Transformers.js. README не содержит информации о сильных сторонах, ограничениях или лицензии модели. Также не указано, что репозиторий предоставляет какие-либо дополнительные возможности по сравнению с базовой моделью Helsinki-NLP/opus-mt-en-de.

3.3K0авг. 2023ctx512
texthugging-face
Xenova
opus-mt-en-es

Xenova/opus-mt-en-es — модель машинного перевода с ONNX-весами, разработанная на основе Helsinki-NLP/opus-mt-en-es и подготовленная для работы с библиотекой Transformers.js. Она предназначена для автоматического перевода с английского на испанский, в том числе в веб-приложениях и других средах, где требуется совместимость с ONNX и Transformers.js. Известно, что модель использует ONNX-веса; сведения о точной архитектуре, размере, максимальной длине контекста и других технических характеристиках в предоставленном README не указаны. Основное преимущество — возможность запуска в экосистеме Transformers.js и потенциальная адаптация к веб-средам. Ограничения README не описывает, поэтому качество перевода, требования к ресурсам и поддерживаемые сценарии следует оценивать отдельно. Информация о лицензии в карточке модели отсутствует.

5.8K4авг. 2023ctx512
texthugging-face
Helsinki-NLP
opus-mt-en-guw

Helsinki-NLP/opus-mt-en-guw — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на гу́н (guw) и подходит для перевода отдельных фраз и текстов в приложениях и исследовательских сценариях. Модель основана на архитектуре MarianMT с Transformer, использует нормализацию текста и токенизацию SentencePiece; размер — 51,9 млн параметров, родной контекст — 512 токенов. В метаданных указаны реализации PyTorch и TensorFlow. Для тестового набора JW300.en.guw в карточке приведены BLEU 45,7 и chr-F 0,634. Эти показатели относятся к указанному набору и не гарантируют аналогичное качество на других текстах. Модель распространяется по лицензии Apache-2.0.

2231март 2022ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-eo-en

Helsinki-NLP/opus-mt-eo-en — модель машинного перевода семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с эсперанто на английский и подходит для перевода отдельных фраз и текстов в приложениях, использующих Transformers. Модель построена на архитектуре Transformer-align, содержит 55,5 млн параметров и использует нормализацию текста и SentencePiece; максимальный контекст — 512 токенов. В README приведён результат 54,8 BLEU на тесте Tatoeba.eo.en. Модель распространяется по лицензии Apache-2.0; в метаданных указаны форматы PyTorch и TensorFlow. Она предназначена для направления эсперанто—английский, поэтому качество перевода в другие языковые пары не заявлено.

5990март 2022ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-ine-ine

Helsinki-NLP/opus-mt-ine-ine — модель машинного перевода из проекта OPUS-MT, построенная на архитектуре Transformer и реализованная как MarianMTModel. Она переводит между многочисленными индоевропейскими языками: язык цели задаётся начальным токеном вида >>id<<. Модель использует нормализацию текста и SentencePiece с моделью словаря spm32k; размер составляет 47 млн параметров, контекст — до 512 токенов. Доступны веса в форматах PyTorch и TensorFlow. Модель подходит для перевода предложений и коротких текстов между поддерживаемыми языками, включая европейские языки, русский, хинди и бенгальский. README приводит тестовые оценки на отдельных языковых парах; результаты различаются по парам и наборам данных, поэтому качество для конкретного направления следует проверять отдельно. Модель распространяется по лицензии Apache-2.0.

1230март 2022ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-is-en

Helsinki-NLP/opus-mt-is-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с исландского языка на английский и предназначена для перевода отдельных текстов и предложений. Модель основана на Transformer-архитектуре MarianMT с предварительной нормализацией и токенизацией SentencePiece; содержит 55,2 млн параметров и имеет контекст длиной 512 токенов. В карточке приведён результат BLEU 51,4 и chr-F 0,672 на тестовом наборе Tatoeba.is.en. Модель распространяется под лицензией Apache-2.0. Указанные языковые направления ограничены переводом с исландского на английский.

9341март 2022ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-it-de

Helsinki-NLP opus-mt-it-de — модель машинного перевода из семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с итальянского на немецкий и предназначена для автоматического перевода предложений и текстовых фрагментов. Модель основана на Transformer-align, использует нормализацию и токенизацию SentencePiece; содержит 55,8 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. В README приведён результат BLEU 49,4 и chr-F 0,678 на тестовом наборе Tatoeba.it.de. Модель выпущена под лицензией Apache-2.0. Она ориентирована на перевод только с итальянского на немецкий; приведённые метрики относятся к указанному тестовому набору и сами по себе не гарантируют качество на других текстах и тематиках.

1.3K0март 2022ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-tc-bible-big-ira-deu_eng_fra_por_spa

Модель OPUS-MT-tc-bible-big-ira-deu_eng_fra_por_spa разработана Language Technology Research Group Хельсинкского университета в рамках проекта OPUS-MT. Это нейросетевая модель машинного перевода на архитектуре Marian Transformer-big, преобразованная в формат PyTorch для библиотеки Transformers. В ней 163,1 млн параметров, контекст — до 1024 токенов, лицензия Apache-2.0. Модель переводит с иранских языков — включая курдские разновидности, фарси, пушту, таджикский и белуджский — на немецкий, английский, французский, португальский и испанский. Она предназначена для перевода текстов в этих языковых направлениях; обучение основано на данных OPUS. Доступны веса в форматах PyTorch и safetensors. Карточка указывает ограничения и смещения, присущие машинному переводу, но не приводит подробных результатов оценки качества. Для редких исходных языков качество может зависеть от доступности обучающих данных; перевод следует проверять перед использованием в ответственных сценариях.

330окт. 2024ctx1K
textapache-2.0hugging-face
luigi000
opus-mt-tc-bible-big-poz-en-ct2-int8

Это преобразованная в формат CTranslate2 и квантованная до int8 модель машинного перевода на основе Helsinki-NLP/opus-mt-tc-bible-big-poz-en. Она предназначена для перевода с индонезийского, малайского и родственных малайско-полинезийских языков на английский; архитектура исходной модели — Marian Transformer-big. Версия int8 предназначена для запуска через CTranslate2, в том числе на CPU. По приведённому в README измерению на 300 предложениях FLORES-200 devtest для направления id→en получены chrF2 69,3 при beam 1 и 69,9 при beam 4; автор README сообщает, что качество близко к fp32-версии. Репозиторий распространяется по лицензии Apache-2.0. Указанные результаты относятся к одному языковому направлению и тестовому набору, поэтому сами по себе не гарантируют такое же качество для других поддерживаемых языков и текстовых жанров.

90июль 2026
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-tc-bible-big-sem-deu_eng_fra_por_spa

Helsinki-NLP/opus-mt-tc-bible-big-sem-deu_eng_fra_por_spa — модель машинного перевода проекта OPUS-MT, разработанная группой Language Technology Research Group Хельсинкского университета. Это архитектура Marian transformer-big с 163,3 млн параметров, доступная для Transformers в форматах PyTorch и safetensors; контекст составляет до 1024 токенов. Модель переводит с семитских языков на немецкий, английский, французский, португальский и испанский. В перечень исходных языков входят арабские разновидности, амхарский, древнееврейский и другие семитские языки, включая исторические и малоресурсные. Её можно применять для перевода текстов и материалов на этих языках на один из поддерживаемых европейских языков. Модель обучена в рамках OPUS-MT на данных OPUS. Качество может различаться между языками и тематиками, особенно для малоресурсных и исторических языков; перевод требует проверки человеком в критически важных сценариях. Лицензия — Apache-2.0.

580окт. 2024ctx1K
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-tc-big-eu-itc

Helsinki-NLP/opus-mt-tc-big-eu-itc — модель машинного перевода проекта OPUS-MT, разработанная группой Language Technology Research Group Хельсинкского университета. Это Marian NMT с архитектурой transformer-big; в репозитории доступны веса PyTorch, Safetensors и TensorFlow, размер модели — 159 млн параметров, максимальная длина контекста — 1024 токена. Модель переводит с баскского языка на италийские языки. В карточке среди целевых языков указаны французский, итальянский и испанский, а метки целевого языка позволяют выбирать из более широкого набора вариантов; пример демонстрирует перевод на французский. Модель подходит для автоматического перевода текстов между поддерживаемыми языковыми вариантами. Обучение основано на данных OPUS; лицензия — CC-BY-4.0. Качество может зависеть от языка, тематики и особенностей исходного текста; карточка не приводит количественных оценок качества.

711авг. 2022ctx1K
textcc-by-4.0hugging-face
Hosstia
opus-mt-zh-ru

Hosstia/opus-mt-zh-ru — дообученная модель машинного перевода на базе MarianMT, разработанная Hosstia для перевода с китайского языка на русский. Она построена на архитектуре encoder-decoder Transformer и дообучена на базе Helsinki-NLP/opus-mt-zh-en. Модель предназначена для перевода текстов с китайского на русский и может использоваться через Transformers; в README также описан сценарий запуска на устройстве Android после конвертации в формат MNN. Размер модели — 58,4 млн параметров, длина контекста — 512 токенов. Репозиторий распространяется по лицензии Apache-2.0. Карточка не сообщает о качестве на тестовых наборах или специализации на конкретных тематиках; при работе с длинным текстом следует учитывать контекст в 512 токенов.

470авг. 2026ctx512
textapache-2.0hugging-face
MWirelabs
pnar-mt

MWirelabs/pnar-mt — модель машинного перевода, разработанная MWirelabs на основе facebook/nllb-200-distilled-600M и дообученная для перевода между пнар и английским в обоих направлениях. Модель использует архитектуру NLLB-200 с примерно 463,7 млн параметров; в токенизатор добавлен код языка пнар. Для обучения объединили проверенный вручную корпус и автоматически созданные пары, преимущественно из новостного домена. Модель предназначена для перевода текстов, исследований малоресурсного машинного перевода и создания языковых приложений для пнар. В карточке указаны результаты автоматической оценки и человеческой проверки переводов с английского на пнар; эти оценки относятся к конкретному тестовому набору. Модель может ошибаться в идиомах, специализированной лексике, неоднозначных и длинных предложениях, а также на текстах вне обучающих доменов. В человеческой оценке встречались fluent-переводы с неполной передачей смысла; для важных задач результат следует проверять с носителем пнар. Репозиторий распространяется по лицензии CC BY 4.0.

170июнь 2026ctx1K
textcc-by-4.0hugging-face
prajdabre
rotary-indictrans2-en-indic-dist-200M

prajdabre/rotary-indictrans2-en-indic-dist-200M — модель машинного перевода, созданная как независимое воспроизведение исследования по развитию длинного контекста в многоязычных системах перевода. Она основана на соответствующей версии IndicTrans2: синусоидальные позиционные эмбеддинги заменены на Rotary Positional Embeddings, после чего модель дополнительно обучена для выравнивания. Архитектура — плотная encoder-decoder модель RotaryIndicTransForConditionalGeneration; формат весов — PyTorch, лицензия — MIT. Модель предназначена прежде всего для перевода документов и длинных фрагментов между английским и индийскими языками. Для предобработки исходного текста README рекомендует IndicTransToolkit и модуль IndicProcessor. Для обработки длинного входа приводится пример на 1457 токенов на одной GPU A100; это не гарантирует аналогичной производительности на другом оборудовании. На коротких предложениях качество может быть несколько ниже, чем у стандартных задач перевода на уровне предложения, и может потребоваться настройка параметров генерации. В README также отмечена возможная вариативность и неоптимальные результаты; перед масштабным применением качество следует проверить на целевом сценарии.

1.5K3сент. 2024ctx8.2K
textmithugging-face
VAGOsolutions
SauerkrautLM-Translator-LFM2.5-1.2B

SauerkrautLM-Translator-LFM2.5-1.2B — компактная специализированная модель перевода от VAGO Solutions, дообученная на основе LiquidAI/LFM2.5-1.2B-Instruct. Это плотная авторегрессионная языковая модель семейства LFM2 с 1,5 млрд параметров, поддерживающая контекст до 128 000 токенов и доступная в формате safetensors для Transformers. Модель предназначена для перевода между английским, немецким, французским, испанским и итальянским во всех направлениях. Она рассчитана на короткие фразы и длинные документы, а также на перевод запросов и инструкций с сохранением их намерения. В README также заявлена нулевая языковая способность переводить с арабского и китайского на один из пяти поддерживаемых языков. Обучение включало 3 млн примеров и дополнительную настройку DPO на 30 000 примерах; авторы оценивали качество с помощью сравнений, где судьёй выступал GPT-4.1. Для модели указана лицензия other; перед использованием следует проверить условия в репозитории. Основное назначение — перевод, поэтому результаты для иных задач README не подтверждает. Заявленные возможности нулевого перевода с арабского и китайского не равнозначны полноценной поддержке этих языков.

3728дек. 2025ctx128K
textotherhugging-face
UBC-NLP
toucan-1.2B

Toucan-1.2B — модель машинного перевода, представленная авторами статьи ACL 2024 «Toucan: Many-to-Many Translation for 150 African Language Pairs». Это дообученная версия афроцентричной модели Cheetah-1.2B на базе архитектуры T5; в метаданных указано 608,4 млн параметров. Модель предназначена для перевода между 156 направлениями для африканских языков, включая языки с ограниченными обучающими данными. Для выбора целевого языка README предписывает использовать его код ISO-3 в префиксе запроса. Toucan ориентирована на многосторонний перевод и опирается на предобучение Cheetah на африканских языках. README описывает обучение модели, но не приводит численных результатов именно для этого чекпойнта. Метаданные указывают формат safetensors и задачу text-generation; перевод при этом является заявленным пользовательским назначением. Условия лицензии в предоставленных материалах не указаны.

1922авг. 2024
texthugging-face
Unbabel
TowerInstruct-13B-v0.1

TowerInstruct-13B-v0.1 — языковая модель Unbabel, Instituto Superior Técnico и CentraleSupélec University of Paris-Saclay, дообученная на TowerBase с использованием набора TowerBlocks. Это плотная модель семейства Llama с 12,9 млрд параметров, контекстом до 4096 токенов и весами в формате safetensors. Модель предназначена прежде всего для перевода между английским, португальским, испанским, французским, немецким, нидерландским, итальянским, корейским, китайским и русским языками. Она также обучалась редактированию машинного перевода, учёту терминологии и контекста, распознаванию именованных сущностей, исправлению грамматики, оценке перевода и перефразированию. Веса доступны по лицензии CC-BY-NC-4.0; базовая Llama 2 распространяется по лицензии Llama 2 Community License. Модель не предназначена для использования как универсальный чат-бот или помощник по программированию. Разработчики отмечают, что качество перевода документов требует улучшения и не рекомендуют модель для этой задачи. Она не выровнена по предпочтениям людей и может выдавать галлюцинации, вредный контент и фактические ошибки.

13136янв. 2024ctx4.1K
textcc-by-nc-4.0hugging-face

Задачи профессии

16 задач
89Письменный перевод между языками. — AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. К исходным данным относятся исходный материал, терминологические базы, контекст, ограничения целевого канала и исходный текст или речь. Формат результата: преобразованный материал по задаче «Письменный перевод между языками» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
90Синхронный или последовательный перевод речи. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Рабочие входы: исходный материал, контекст, ограничения целевого канала, исходный текст или речь и терминологические базы. Формат результата: преобразованный материал по задаче «Синхронный или последовательный перевод речи» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
91Локализация текста с учётом культуры, форматов и локальных норм. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, ограничения целевого канала, исходный текст или речь, терминологические базы и контекст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Локализация текста с учётом культуры, форматов и локальных норм», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
92Транскреация, сохраняющая маркетинговое воздействие вместо буквальной формы. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Исходные данные: исходный материал, исходный текст или речь, терминологические базы, контекст и ограничения целевого канала. Формат результата: преобразованный материал по задаче «Транскреация, сохраняющая маркетинговое воздействие вместо буквальной формы» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
93Перевод терминологии с использованием отраслевого глоссария. — AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. К исходным данным относятся исходный материал, терминологические базы, контекст, ограничения целевого канала и исходный текст или речь. Формат результата: преобразованный материал по задаче «Перевод терминологии с использованием отраслевого глоссария» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
94Проверка качества и смысловой эквивалентности перевода. — Для этой задачи система сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Рабочие входы: исходный материал, контекст, ограничения целевого канала, исходный текст или речь и терминологические базы. Формат результата: протокол выполнения «Проверка качества и смысловой эквивалентности перевода» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Критерии приёмки: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
95Выравнивание исходного и переведённого текста по предложениям. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает ограничения целевого канала, исходный текст или речь, терминологические базы и контекст. Формат результата: преобразованный материал по задаче «Выравнивание исходного и переведённого текста по предложениям» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
96Создание и поддержание переводческой памяти. — Механизм: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Исходные данные: исходный материал, исходный текст или речь, терминологические базы, контекст и ограничения целевого канала. Формат результата: редактируемый артефакт по задаче «Создание и поддержание переводческой памяти», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — языковая версия. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
97Автоматическое определение языка и языковой разновидности. — AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. К исходным данным относятся терминологические базы, контекст, ограничения целевого канала и исходный текст или речь. Формат результата: установленное значение или вариант по задаче «Автоматическое определение языка и языковой разновидности» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
98Нормализация диалектов, жаргона и разговорных выражений. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, контекст, ограничения целевого канала, исходный текст или речь и терминологические базы. Формат результата: преобразованный материал по задаче «Нормализация диалектов, жаргона и разговорных выражений» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
99Транслитерация между письменностями. — Практическая реализация: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, ограничения целевого канала, исходный текст или речь, терминологические базы и контекст. Формат результата: преобразованный материал по задаче «Транслитерация между письменностями» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
100Романизация и обратное восстановление оригинального написания. — Механизм: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Исходные данные: исходный материал, исходный текст или речь, терминологические базы, контекст и ограничения целевого канала. Формат результата: преобразованный материал по задаче «Романизация и обратное восстановление оригинального написания» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
101Перефразирование текста для изучающего язык. — AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. К исходным данным относятся терминологические базы, контекст, ограничения целевого канала и исходный текст или речь. Формат результата: преобразованный материал по задаче «Перефразирование текста для изучающего язык» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
102Объяснение грамматики и ошибок с персональными упражнениями. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Рабочие входы: текст и изображения, контекст, ограничения целевого канала, исходный текст или речь и терминологические базы. Формат результата: объяснимые выводы по задаче «Объяснение грамматики и ошибок с персональными упражнениями» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
103Создание двуязычных субтитров и параллельных текстов. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Входной контекст включает речевая дорожка, ограничения целевого канала, исходный текст или речь, терминологические базы и контекст. Формат результата: редактируемый артефакт по задаче «Создание двуязычных субтитров и параллельных текстов», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — языковая версия. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
104Адаптация длины перевода под интерфейс, субтитры или озвучку. — Механизм: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Исходные данные: исходный материал, исходный текст или речь, терминологические базы, контекст и ограничения целевого канала. Формат результата: адаптированный вариант для «Адаптация длины перевода под интерфейс, субтитры или озвучку» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности. <a id="section-i-7"></a>

0 моделей