I.6Перевод и языковая адаптация

Rootformer v18.8 — дообученная модель генерации текста на базе DeepSeek-V4.1-Flash, разработанная для работы с классическим арабским языком и его морфологией. В карточке описана архитектура Rootformer с факторизованным предсказанием корней и морфологических признаков; размер модели по метаданным — 357,8 млн параметров, контекст — 2048 токенов. В README заявлено дообучение верхних слоёв модели на корпусе из 61 трактата исламской схоластики и перипатетической философии.

SERENGETI — набор предварительно обученных многоязычных языковых моделей, разработанный для 517 африканских языков и языковых разновидностей. Представленная модель построена на архитектуре XLM-RoBERTa и содержит 305,2 млн параметров; она обучена предсказывать скрытые токены в тексте и поддерживает контекст до 514 токенов. Модель предназначена для работы с африканскими языками и может служить основой для заполнения пропусков в тексте, изучения лингвистических закономерностей и последующей настройки под задачи понимания естественного языка. В опубликованных оценках SERENGETI показала сильные результаты на наборах данных по нескольким задачам понимания языка; модель также может быть полезна для исследований языков Африки и развития языковых технологий для них. Авторы отмечают, что данные могут содержать смещения, а оценка охватывает лишь часть поддерживаемых языков: проверка носителями проводилась для подмножества данных и языков. README сообщает о публичном выпуске для исследований, но конкретная лицензия в предоставленных сведениях не приведена.

SERENGETI-E250 — предварительно обученная мультиязычная языковая модель семейства ELECTRA, разработанная UBC-NLP для африканских языков и их вариантов. В репозитории указано 305,2 млн параметров; модель принимает текст с замаскированными токенами и предсказывает пропуски. Длина контекста — 512 токенов. SERENGETI входит в набор моделей, охватывающий 517 африканских языков и языковых вариантов. В исследовании модели оценивались на восьми задачах понимания естественного языка и 20 наборах данных; авторы сообщают о результатах выше других сравнивавшихся мультиязычных моделей на 11 наборах. Модель предназначена для заполнения пропусков и может служить основой для дообучения под задачи анализа африканских языков, включая сценарии с малым количеством обучающих данных. Карточка описывает исследовательское назначение и не приводит конкретную лицензию. Среди ограничений авторы отмечают возможные смещения в общедоступных обучающих данных, а также недостаточную проверку качества для большинства охваченных языков из-за ограниченного доступа к их носителям.

Balochi POS Tagger — модель разметки частей речи для текстов на балочском языке, записанных арабским письмом. Её разработал shahbakhsh; модель дообучена на датасете Balochi CoNLL-U от distilbert-base-multilingual-cased и использует архитектуру DistilBERT для классификации токенов. Модель присваивает токенам грамматические метки: например, определяет существительные, глаголы, прилагательные, местоимения, союзы и пунктуацию. Она предназначена для лингвистического анализа и построения NLP-процессов для балочского языка. Максимальная длина контекста — 512 токенов. В тестовой выборке указана точность 0,7002, полнота 0,5289 и precision 0,5994. Модель распространяется под лицензией Apache-2.0. Показатели тестирования указывают на возможные ошибки в разметке; перед использованием в критичных задачах результаты следует проверять на целевых данных.

aparajitha/mbart-ft-sci-ms-en — дообученная модель семейства mBART на базе aparajitha/mbart-sci-ft, созданная для преобразования текста с помощью архитектуры Seq2Seq. В репозитории указана оценка Loss 2.0887 на тестовой выборке, но назначение преобразования и использованный датасет не описаны. Модель содержит 457,4 млн параметров, использует библиотеку Transformers и формат safetensors. Длина контекста — 1024 токена. Лицензия — MIT. По доступным сведениям нельзя надёжно определить поддерживаемые языки или конкретные сценарии применения.

Sōtēr Megas — лемматизатор древнегреческого языка на базе ByT5, разработанный Люком Поммере из LISN/CNRS. Модель содержит около 595 млн параметров и была получена дистилляцией ответов DeepSeek V4-Flash на 2,26 млн токенов размеченных древнегреческих текстов. Она принимает текст и предсказывает леммы с учётом контекста; обучение охватывает эпос, трагедию, классическую прозу, койне, Септуагинту и патристические тексты. Контекст учитывает до восьми слов с каждой стороны, размер входа ограничен 384 байтами. Модель предназначена для лемматизации древнегреческих текстов, включая корпусную обработку и работу с материалами за пределами обучающих корпусов. В тесте на византийском греческом, отсутствовавшем в обучении, точность составила 77,6% без дополнительного правила пунктуации. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Автор сообщает о продолжающемся обучении более крупной версии.

Koichi Yasuoka разработал модель DeBERTaV2 для морфосинтаксической разметки текстов на айнском языке. Модель дообучена на основе KoichiYasuoka/deberta-base-ainu и присваивает каждому слову тег части речи UPOS; карточка также указывает назначение для синтаксического анализа зависимостей. Поддерживаются тексты на айнском, записанные катаканой, латиницей и кириллицей. Модель содержит 118,5 млн параметров, использует архитектуру DeBERTaV2 и обрабатывает последовательности длиной до 512 токенов. Она предназначена для запуска через Transformers как модель классификации токенов. Распространяется по лицензии CC BY-SA 4.0.

DictaBERT Morph — дообученная модель на архитектуре BERT от Dicta для морфологической разметки современного иврита. Она предназначена для анализа предложений и присвоения словам морфологических характеристик; в README приведён пример вызова предсказаний через Transformers и токенизатор модели. Модель содержит 211,6 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Доступна под лицензией CC BY 4.0. Карточка описывает морфологическую разметку, поэтому применение модели для других задач не подтверждено.

geminiwhisperipa — дообученная модель OpenAI Whisper-small для распознавания речи на сантали с выводом транскрипции в IPA/Sanlish. Она принимает аудио и предназначена для преобразования речи на сантали в текстовую транслитерацию. Модель основана на архитектуре Whisper и распространена в формате safetensors. Дообучение выполнено на 1 547 обучающих примерах; для проверки использовались 193 примера, для тестирования — 194. В README приведён тестовый WER около 40,8%, поэтому качество распознавания может быть ограниченным. Лицензия в предоставленных данных не описана.

Helsinki-NLP/opus-mt-art-en — модель машинного перевода семейства OPUS-MT, созданная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMTModel. Она переводит с группы искусственных языков на английский. Среди исходных языков указаны эсперанто, идо, интерлингва, ложбан, клингонский, волапюк и другие; модель обучена для многоязычного ввода с одним целевым языком — английским. Модель содержит 55,4 млн параметров, использует нормализацию текста и SentencePiece с словарём 32 тыс. токенов; длина контекста — 512 токенов. В README приведены результаты тестирования на Tatoeba для нескольких исходных языков, включая низкие оценки BLEU для отдельных языковых пар, поэтому качество может заметно зависеть от языка и текста. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Это модель Koichi Yasuoka для разметки частей речи в текстах на айнском языке. Она построена на RoBERTa, предварительно обученной на айнских текстах, и дообучена для классификации токенов: каждому слову присваивается тег UPOS из набора Universal Part-Of-Speech. Модель рассчитана на применение с Transformers и может использоваться в сценариях морфологической разметки; в README также указана связь с разбором зависимостей. Модель содержит 118,5 млн параметров, принимает текст и имеет контекстное окно 512 токенов. В обучающих текстах использовались записи айну катаканой, латиницей и кириллицей. Лицензия — CC BY-SA 4.0. Ограничения качества и точности разметки в карточке не описаны.

Koichi Yasuoka разработал RoBERTa-модель, предварительно обученную на тибетских текстах. Она предназначена для предсказания замаскированных токенов и дальнейшей адаптации к задачам обработки тибетского языка, например разметке частей речи и синтаксическому анализу зависимостей. Модель использует архитектуру RoBERTa для masked language modeling, содержит 119,5 млн параметров и обрабатывает последовательности длиной до 512 токенов. Доступны веса PyTorch. Лицензия CC BY-SA 4.0.

Koichi Yasuoka разработал модель на базе Qwen2 с 1,5 млрд параметров для разметки частей речи в классическом китайском языке. Модель предварительно обучена на текстах на классическом китайском и присваивает словам метки UPOS и грамматические признаки FEATS; в Hugging Face она отнесена к задаче token-classification. Архитектура — плотная Qwen2, формат весов — PyTorch, заявленная длина контекста — 131 072 токена. Модель подходит для морфосинтаксического анализа и подготовки корпусов классического китайского языка, включая автоматическую разметку частей речи и грамматических признаков. Лицензия Apache-2.0. Карточка показывает базовую модель Xunzi-Qwen2-1.5B, однако её идентификатор на Hugging Face не указан.

Balochi POS Tagger — модель разметки частей речи для текстов на языке белуджи, записанных арабским письмом. Разработчик shahbakhsh дообучил XLM-RoBERTa Base от FacebookAI на наборе Balochi CoNLL-U. Модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель присваивает каждому токену одну из 16 меток, включая существительное, глагол, прилагательное, местоимение и пунктуацию. Её можно применять для лингвистического анализа белуджских текстов и подготовки размеченных корпусов. На тестовой выборке указаны accuracy 0,7207, precision 0,6215 и recall 0,5488; метрики отражают качество на конкретном наборе данных и могут не переноситься на другие тексты. Распространяется по лицензии Apache-2.0.

indiejoseph/bert-base-cantonese — модель семейства BERT, разработанная как продолжение предобучения bert-base-chinese на 198 млн токенов корпуса Cantonese Common Crawl. Словарь расширен примерно на 500 китайских иероглифов, часто встречающихся в кантонском языке, включая 冧, 噉, 麪, 笪, 冚 и 乸. Модель предназначена для заполнения пропусков в тексте на кантонском языке. Она содержит около 129,9 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности длиной до 512 токенов. Доступны веса PyTorch и safetensors. Лицензия — CC BY 4.0. README не приводит оценок качества, подробностей об обучении сверх корпуса и объёма токенов, а также конкретных ограничений применения.

DictaBERT-seg — дообученная модель семейства BERT от Dicta для сегментации приставок в современном иврите. Она принимает текст и выделяет границы между приставками и основой слова; пример использования в карточке показывает обработку предложений на иврите через Transformers. Модель содержит 211,6 млн параметров, имеет контекстное окно 512 токенов и опубликована в форматах PyTorch и Safetensors. Она предназначена для сегментации ивритских слов, а не для диалога или генерации текста. Лицензия — CC BY 4.0.

Latin ASR Post-Processor — модель на базе BERT, разработанная для восстановления регистра и пунктуации в неформатированных результатах распознавания классической латыни. Она дообучена на latincy/latin-bert и предназначена для использования после распознавания речи, в том числе после njand/wav2vec2-xls-r-latin. Модель выполняет разметку токенов 14 составными классами: сочетаниями регистра слова и знака пунктуации в конце токена. Модель принимает текст и возвращает метки токенов, по которым можно восстановить форматированный текст. Размер — 138,5 млн параметров, длина контекста — до 512 токенов. В README приведены результаты на корпусах классической латыни: точность восстановления регистра выше, чем пунктуации. Доступны варианты PyTorch FP32, ONNX FP32 и ONNX INT8; для INT8 отмечено снижение качества пунктуации и макро-F1. Лицензия — MIT.

Sôtêr — также называемая ΣΩΤΗΡ — это компактная контекстная модель для лемматизации древнегреческого языка, опубликованная под идентификатором Zual/soter. По карточке это T5-модель с 3,8 млн параметров; README указывает 9,6 млн, поэтому размер в источниках расходится. Модель читает UTF-8-представление символов и контекст до восьми слов вокруг размеченной целевой формы, а затем выдаёт её лемму. Доступны веса в форматах ONNX и safetensors. Модель предназначена для лемматизации древнегреческих текстов, в том числе корпусов Perseus, PROIEL и PTNK; README также описывает оценку на византийском корпусе DBBE. Она обучалась как часть цепочки дистилляции, хотя README уточняет, что веса ByT5 не использовались как начальная точка обучения самой Sôtêr. Указанная лицензия — Apache-2.0. В опубликованных результатах качество различается по корпусам: README сообщает 93,06 на Perseus, 94,43 на PROIEL и 98,18 на PTNK; на DBBE приводится zero-shot exact score 79,87. Автор отдельно предупреждает о расхождении разметочных конвенций, ограничениях методики сравнения и более слабом результате на PROIEL. В описании также есть несогласованность параметров между README и метаданными.

Lafzyn — модель на базе Qwen/Qwen3.5-0.8B, дообученная для преобразования текста на урду в Международный фонетический алфавит (IPA). Она предназначена для получения произношения слов и фраз на урду и может использоваться как фонетический компонент систем синтеза речи, словарей и лингвистических инструментов. Это специализированная модель, а не универсальный чат-бот. В карточке указано обучение на 100 000 пар «урду–IPA» и оценка на 500 отложенных примерах: средняя ошибка на уровне символов IPA (PER) составила 16,94%, а полностью совпали с эталоном 88 транскрипций из 500. Методика разделения данных описана не полностью, поэтому результаты следует трактовать с осторожностью. Модель ориентирована на современный стандартный урду; качество для диалектов и смешения языков не оценивалось. Репозиторий распространяется под лицензией Apache-2.0. Карточка не уточняет источник и лицензию обучающих данных.

SoMiyagawa/ainu-2-japanese — модель машинного перевода с архитектурой MarianMT, дообученная автором SoMiyagawa для перевода с айнского языка на японский. Она принимает текст и предназначена для перевода текстовых фрагментов; размер модели — 56,3 млн параметров, контекст — до 512 токенов. Карточка сообщает, что модель обучалась на текстах с латинскими буквами и цифрами; катакана не поддерживается. Для загрузки используются Transformers и PyTorch. На валидации указаны SacreBLEU 10,448 и loss 1,638, поэтому качество перевода может быть ограниченным. Для входа нельзя использовать точку: в обучающем корпусе её не было, и она вызывает ошибочный перевод. Лицензия — Creative Commons Attribution-ShareAlike 4.0 (CC BY-SA 4.0).

LFM2.5-1.2B-Wolof-Instruct — плотная текстовая модель семейства LFM2 от Liquid AI, дообученная автором репозитория mamelles на базе LiquidAI/LFM2.5-1.2B-Base для следования инструкциям на волоф. Модель содержит 1,5 млрд параметров, использует архитектуру Lfm2ForCausalLM, библиотеку Transformers и формат safetensors; заявленная длина контекста — 128 000 токенов. Модель предназначена для частных исследований и оценки адаптации языковой модели к волоф, включая диалоговые ответы и выполнение текстовых инструкций. README сообщает, что артефакт прошёл записанные автоматизированные проверки, но не заявляет иных подтверждённых показателей качества. Это экспериментальная версия, не публичный релиз; лицензия в предоставленных данных не указана. Качество для орфографии волоф, переключения языков, фактической точности, рассуждений, длинного контекста и безопасности всесторонне не проверялось. Перед более широким применением необходима оценка носителями языка.

Qwen2.5-1.5B Continually Pretrained on Kazakh (Arabic Script) — это языковая модель с 1,5 млрд параметров, созданная дальнейшим предобучением Qwen2.5-1.5B на казахской части корпуса MC² Corpus. Разработчик — pkupie. Модель предназначена для улучшения языкового моделирования на казахском языке, записанном арабским письмом, и исследований по адаптации моделей к языкам с ограниченными ресурсами. Модель использует плотную авторегрессионную архитектуру Qwen2ForCausalLM, принимает текст и генерирует текст. Она поддерживает контекст длиной до 131 072 токенов, а карточка указывает чат-возможности и интерфейс вызова инструментов. Чекпойнт может служить основой для дальнейших экспериментов, в частности со слиянием моделей и объединением логитов. Это исследовательский чекпойнт, специально адаптированный для казахского языка на арабском письме; качество для других языков и прикладных задач карточка не характеризует. Модель распространяется по лицензии Apache-2.0.

krpraveen разработал компактный энкодер-декодер Transformer для перевода с санскрита на английский, обученный с нуля на 10 000 парах предложений без предобученных весов и внешних данных. Модель содержит около 5,7 млн параметров по метаданным; README указывает около 9,4 млн. Архитектура включает по четыре слоя энкодера и декодера, размерность 256, четыре головы внимания, связанные эмбеддинги и общий SentencePiece BPE-словарь на 8 000 токенов. Для работы используются веса PyTorch и собственная реализация модели, не совместимая с архитектурами 🤗 Transformers. Модель предназначена для машинного перевода с санскрита на английский и для компактных демонстрационных или учебных приложений, например интерфейса на Gradio. Небольшой размер делает её относительно лёгкой для запуска, но качество скромное из-за ограниченного объёма обучающих данных. Лицензия — MIT.

WindyTranslate/translate-art-en — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода с искусственных языков на английский. Это дообученная версия Helsinki-NLP/opus-mt-art-en на архитектуре MarianMT с 55,4 млн параметров и контекстом до 512 токенов. Модель принимает текст и выдаёт текст; репозиторий содержит веса safetensors для Transformers. Веса адаптированы методом LoRA на параллельном корпусе и объединены с базовыми весами; изменены 36 из 254 тензоров. Модель рассчитана на одно направление перевода — art → en. Лицензия — Apache-2.0. Качество перевода пока не оценивалось, поэтому пригодность результата для конкретного сценария следует проверять отдельно.

Модель liuyanliang/randeng-bart-modern-to-classical-100k-bs16 — дообученная версия Randeng-BART для преобразования современного китайского текста в текст в стиле классического китайского языка (вэньяня). Это модель последовательность-в-последовательность на архитектуре BART с 95,2 млн параметров, предназначенная для демонстрационного backend и CLI проекта Classical Chinese NLP. Она принимает текст и генерирует текст; в примерах проекта используются префиксы задач, а настройки генерации по умолчанию включают beam search с четырьмя лучами. Контекст модели — 1024 токена. Модель подходит для учебных демонстраций и экспериментального переписывания текста. Она может создавать грамматически или исторически неточный архаичный текст, длинные входы могут обрезаться, а опубликованных результатов бенчмарков нет. Результаты следует проверять перед формальным использованием или исследованием. Базовая модель — IDEA-CCNL/Randeng-BART-139M-SUMMARY. Лицензия в предоставленных данных не указана.

Модель Koichi Yasuoka на базе RoBERTa была дообучена на текстах японской библиотеки Аозора для разметки частей речи. Она присваивает каждому длинному слову тег UPOS из универсального набора частей речи; карточка также указывает на применение для синтаксического анализа зависимостей. Модель содержит 305,5 млн параметров, принимает текстовые последовательности длиной до 512 токенов и рассчитана на японский язык. Модель подходит для лингвистического анализа японских текстов и может использоваться через библиотеку esupar. Она основана на KoichiYasuoka/roberta-base-japanese-aozora и распространяется по лицензии CC BY-SA 4.0. Ее назначение ограничено японской разметкой частей речи и анализом зависимостей; данных о других языках или задачах нет.

Koichi Yasuoka разработал предобученную модель DeBERTaV2 для текстов на айнском языке. Модель обучена на айнских текстах, записанных катаканой, латиницей и кириллицей; её можно дообучать для разметки частей речи, синтаксического анализа зависимостей и других задач обработки языка. Основная задача модели — предсказание скрытых токенов в тексте. Модель имеет плотную архитектуру DeBERTaV2ForMaskedLM, содержит 118,5 млн параметров и принимает последовательности длиной до 512 токенов. Доступны веса PyTorch; лицензия — CC BY-SA 4.0. Карточка не приводит сведений о конкретных ограничениях качества.

mamelles/LFM2.5-1.2B-Wolof-CPT — текстовая модель семейства LFM2.5, разработанная на базе LiquidAI/LFM2.5-1.2B-Base. Это плотная авторегрессионная архитектура Lfm2ForCausalLM с 1,5 млрд параметров, обученная методом продолжающего предобучения (CPT) на корпусе языка волоф. Модель предназначена для исследовательской оценки адаптации языковой модели к волоф и генерации текста на этом языке; поддерживает контекст до 128 000 токенов. Модель доступна в формате safetensors и рассчитана на текстовый диалог. В карточке указана tokenizer family 65k-ext; показатели BPB для неё нельзя напрямую сравнивать с perplexity для семейства 128k. Качество на орфографии волоф, переключении языков, фактах, рассуждениях, длинном контексте и безопасности всесторонне не проверено, поэтому перед более широким применением требуется проверка носителями языка. Артефакт обозначен как частный, экспериментальный и не предназначенный для публичного выпуска; лицензия не указана.

AKA Tagamistral-7b-v1 — экспериментальная диалоговая языковая модель, созданная автором 922-Narra путём дообучения SeaLLMs/SeaLLM-7B-v2 на синтетическом наборе данных Tagalog. Она предназначена главным образом для общения и генерации текста на тагальском языке; модель может переключаться на английский или смешивать его с тагальским. Архитектура — плотная MistralForCausalLM, размер — 7,2 млрд параметров, родной контекст — 32 768 токенов. Доступны веса в форматах PyTorch и safetensors; README также упоминает GGUF. Это архивная тестовая модель для экспериментов и чата, а не для производственного применения. Автор предупреждает, что способность отвечать по-тагальски может в значительной мере унаследована от базовой модели, а ответы не гарантированно безопасны или согласованы. Лицензия — Apache-2.0.

WindyTranslate/translate-en-cpp — модель машинного перевода Windstorm Labs, созданная на основе Helsinki-NLP/opus-mt-en-cpp. Это дообученная модель семейства Marian на архитектуре Transformer с 54,7 млн параметров; LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель принимает английский текст и переводит его на креольский язык, обозначенный кодом cpp. Она доступна в формате safetensors для использования с Transformers; лицензия — Apache-2.0. Модель предназначена для перевода текста с английского на cpp. Поддерживается только это направление перевода, а оценка качества на бенчмарках не проводилась, поэтому качество перевода не подтверждено.