I.6Перевод и языковая адаптация

F5-TTS Balinese v0 — модель синтеза речи, созданная Open Indonesia Models как полное дообучение F5TTS_v1_Base на примерно 29 минутах балийской речи одного диктора. Она принимает текст в балийской латинской орфографии и генерирует речь; используется символьный ввод без G2P и поддерживает клонирование голоса по образцу для синтеза с заданным тембром. Модель предназначена для синтеза балийской речи и экспериментов с малоресурсным языком. В README приведён пример генерации фразы «Rahajeng semeng» с помощью F5-TTS. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но запрещающая коммерческое применение. Известное ограничение версии v0: в словах, заканчивающихся на «e», конечная гласная может выпадать, поскольку символьный ввод не различает варианты произношения балийской конечной e. В README отмечено, что исправление с помощью G2P или данных планируется.

dehanalkautsar разработал GPT-2 Minangkabau WikiMulti — авторегрессионную языковую модель архитектуры GPT-2-small, обученную с нуля на минангкабауской части WikiMulti. Модель предназначена для генерации текста на минангкабау по заданному текстовому продолжению. Архитектура включает 12 слоёв, скрытый размер 768 и 12 голов внимания; контекст — до 1024 токенов. Токенизатор Byte-Level BPE также обучен с нуля на минангкабауском обучающем наборе. Веса GPT-2 изначально не использовались. Модель доступна в формате safetensors и рассчитана на работу через Transformers. Обучение и валидация проводились на данных WikiMulti; в README приведены лучшая validation loss 1,672 и perplexity 5,323. Эти показатели характеризуют валидационный набор и не гарантируют качество на других текстах. Лицензия в предоставленных данных не указана.

ClassCat/gpt2-small-catalan-v2 — компактная авторегрессионная языковая модель семейства GPT-2 для генерации текста на каталанском языке. Модель разработана ClassCat и использует настройки GPT-2, но с размером эмбеддингов вдвое меньше базовых; токенизатор BPE имеет словарь из 50 000 токенов. Для обучения использовались каталанская Википедия, подмножества OSCAR и CC-100. Модель подходит для продолжения каталанского текста и предсказания пропущенных слов через задачу заполнения масок. Контекст ограничен 512 токенами. В карточке указана лицензия CC BY-SA 4.0; при использовании и распространении необходимо соблюдать её условия.

HingMBERT — модель семейства BERT, разработанная L3Cube-Pune для обработки текстов на хинди и английском, смешанных в одном сообщении и записанных латиницей. Это mBERT, дообученная на корпусе L3Cube-HingCorpus. Модель предназначена для предсказания замаскированных токенов в смешанном хинди-английском тексте. Она основана на плотной архитектуре BERT с 205,1 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в форматах PyTorch и safetensors. Лицензия CC BY 4.0. Карточка не приводит отдельных оценок качества или сведений об ограничениях сверх области обучения модели; её специализация на латинской записи хинди-английских текстов может ограничивать применимость к другим языкам и письменностям.

HingRoBERTa-Mixed — модель L3Cube-Pune для работы с текстом на хинди и английском, смешанными в одном высказывании. Она основана на XLM-RoBERTa и дообучена на корпусе L3Cube-HingCorpus; поддерживает текст в латинице и деванагари. В метаданных указаны 305,2 млн параметров и контекст до 514 токенов. Модель предназначена для задачи fill-mask: она предсказывает пропущенные токены в хинди-английском код-свитчинге и может применяться для языковых экспериментов с такими текстами. Репозиторий содержит веса PyTorch и Safetensors. Модель распространяется по лицензии CC BY 4.0.

Модель LIA-AvignonUniversity/IWSLT2022-Niger-Mali — базовая предобученная wav2vec 2.0 с архитектурой Wav2Vec2ForPreTraining и 113,3 млн параметров. Её обучили на аудиоколлекции Niger-Mali и корпусе тамашекско-французской речи: в совокупности данные включают французский, фула, хауса, тамашек и зарма. Модель предназначена как основа для задач обработки речи на этих языках, в том числе для дальнейшей адаптации к распознаванию речи и низкоресурсному речевому переводу. README описывает её как предобученный чекпойнт, а не готовую систему распознавания или перевода. Распространяется по лицензии Apache-2.0.

Turkmen mGPT 1.3B — языковая модель ai-forever для генерации текста на туркменском языке. Она основана на mGPT-XL (1,3 млрд параметров), архитектуре GPT-2 с плотными слоями, и дополнительно обучена на данных для малоресурсных языков. По README, обучение продолжалось 200 шагов; модель использует контекст до 2048 токенов и распространяется в формате PyTorch. Модель предназначена для продолжения и генерации туркменского текста. Базовая mGPT-XL обучалась на 61 языке с использованием Wikipedia и корпуса C4, однако карточка описывает эту версию как ориентированную на туркменский. Валидационная perplexity составила 28,47. Модель выпущена под лицензией MIT.

duraad/nep-spell-mbart — модель семейства mBART с архитектурой MBartForConditionalGeneration и примерно 457,4 млн параметров. Репозиторий описывает её как дообученную версию самой себя; сведения о датасете, целях обучения и оценке отсутствуют. По названию модель предназначена для исправления орфографии на непальском языке, однако README не подтверждает эту задачу. Она принимает и генерирует текст; максимальный контекст — 1024 токена. Файлы представлены в формате Safetensors. Условия лицензии в предоставленных данных не приведены.

houdini001/nep-spell-mbart-epoch3 — дообученная версия houdini001/nep-spell-mbart-epoch2 на датасете, обозначенном в карточке как None. Это модель семейства mBART с архитектурой MBartForConditionalGeneration и 457,4 млн параметров; веса сохранены в формате safetensors. По метаданным модель предназначена для генерации текста по текстовому входу, а контекст составляет до 1024 токенов. Название репозитория указывает на задачу исправления орфографии для непальского языка, однако README не содержит описания назначения, обучающих данных или оценки качества, поэтому это назначение следует считать предположительным. Лицензия в предоставленных данных не указана; условия использования по ним установить нельзя.

nep-spell-mt5-small-00 — дообученная модель Google mT5-small с 157,4 млн параметров, опубликованная под лицензией Apache-2.0. Архитектура MT5ForConditionalGeneration предназначена для преобразования текста в текст. По названию модель, вероятно, предназначена для исправления орфографии непальского языка. Однако карточка не описывает её назначение, обучающие данные или результаты оценки, поэтому это применение нельзя подтвердить. Репозиторий содержит веса в формате safetensors.

cyberagent/open-calm-7b — CyberAgent, Inc. разработала эту авторегрессионную языковую модель на базе Transformer и GPT-NeoX, предварительно обученную на японских текстах. Модель содержит 8,8 млрд параметров и рассчитана на генерацию текста; в качестве обучающих данных использовались японские версии Wikipedia, Common Crawl и наборы CC-100 и mC4. Модель подходит для генерации и продолжения японского текста. Её контекстное окно составляет 2048 токенов. Репозиторий содержит веса PyTorch. Лицензия CC BY-SA 4.0 требует указания авторства и распространения производных материалов на тех же условиях. Карточка описывает семейство OpenCALM в целом и не приводит подробных оценок качества или ограничений именно версии 7B; назначение модели — генерация японского текста.

ClassCat/roberta-base-catalan — языковая модель семейства RoBERTa, представленная ClassCat. Это плотная модель для восстановления замаскированных токенов: она предсказывает пропущенное слово или часть слова по окружающему контексту. Модель содержит 151,6 млн параметров, использует настройки RoBERTa base с изменённым размером словаря и BPE-токенизатором на 50 000 токенов; контекст — до 514 токенов. Модель обучена на каталонской Википедии и каталонской части корпуса CC-100. Она предназначена для задач заполнения пропусков и анализа каталонского текста с маскированными токенами. Доступна в формате PyTorch и используется через Transformers. Лицензия — CC BY-SA 4.0. Карточка не приводит оценок качества и подробных ограничений применения.

Thai GPT Next — авторская модель Wannaphong Phatthiyaphaibun, полученная дообучением GPT-Neo-125M на текстовых данных на тайском языке. Она предназначена для генерации тайского текста и экспериментов с few-shot prompting; автор также отмечает возможность использования модели для генерации, но не рекомендует её для этой цели. Модель имеет плотную архитектуру GPT-Neo с 137,7 млн параметров, принимает текст и выдаёт текст. Контекст модели — до 2048 токенов; в README также указана максимальная длина обучения 280. Для дообучения использовались тайская Википедия и наборы данных с новостями, обзорами, тональностью, токсичностью и переводами. Модель распространяется в формате PyTorch. В карточке не указана лицензия, поэтому условия использования по лицензии определить нельзя.

WindyTranslate/translate-es-ase — модель машинного перевода, опубликованная Windstorm Labs. Она переводит текст с испанского языка на американский язык жестов (ASL), используя архитектуру MarianMT с 52,6 млн параметров и контекстом до 512 токенов. Модель основана на Helsinki-NLP/opus-mt-es-ase. Её веса изменены: LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Репозиторий содержит сборку Transformers в формате safetensors. Лицензия — Apache-2.0. Модель предназначена для перевода в одном направлении — с испанского на ASL. Качество перевода не оценивалось, поэтому пригодность результатов для практического использования не подтверждена; сам факт изменения весов не свидетельствует об улучшении качества.

Это дообученная модель XLM-RoBERTa для задачи предсказания замаскированных слов в тексте. Она содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa и формат PyTorch; базовая модель уже была дообучена для работы с киньяруанда.

BOLAJOKO03/yoruba-politeness-classifier — модель классификации текста для определения уровня вежливости высказываний на языке йоруба. Она разработана для исследований и учебных задач в области NLP для африканских языков и опирается на XLM-RoBERTa, дообученную для классификации последовательностей. Модель относит высказывания к трём классам: NEUTRAL, POLITE и IMPOLITE. В ней 305,2 млн параметров, контекст — до 514 токенов; модель использует Transformers и веса Safetensors. Обучение проводилось в течение пяти эпох на наборе из 541 размеченного высказывания на йоруба. На тестовой выборке указаны accuracy 89,81% и weighted F1 0,89, однако macro F1 составляет 0,74. Класс IMPOLITE представлен слабее остальных: его F1 равен 0,36, а recall — 0,25, поэтому модель может часто пропускать невежливые высказывания. Лицензия в предоставленных данных не указана.

Mahloromela/Afriberta-Swahili-mlm_model — модель XLM-RoBERTa для заполнения пропусков в тексте, дообученная на базе castorini/afriberta_small. Она содержит 91,5 млн параметров, принимает текст с маскированным фрагментом и предсказывает подходящие варианты для его заполнения. Модель предназначена для задач языкового моделирования на суахили; в карточке указаны формат TensorFlow и контекст до 514 токенов. Карточка не описывает датасет, результаты оценки и ограничения применения. Лицензия в предоставленных данных не указана.

RogerB выпустил эту модель как дообученную версию RogerB/afro-xlmr-large-kinyarwanda-all-finetuned для задачи заполнения пропусков в тексте. Это модель XLM-RoBERTa с архитектурой XLMRobertaForMaskedLM, размером 658,7 млн параметров и контекстом до 514 токенов. В карточке указано дообучение на датасете, обозначенном как None; README приводит значение loss 2,1700 на оценочной выборке, но не описывает её состав и методику оценки. Модель подходит для предсказания замаскированных слов в текстах на киньяруанда, в том числе в сообщениях из соцсетей. Указана лицензия MIT. Карточка не уточняет поддерживаемые языки, поэтому связь с киньяруанда следует из названия и базовой модели.

Jihuai/bert-ancient-chinese — это модель BERT для работы с классическим китайским языком, разработанная Pengyu Wang и Zhichen Ren. Она создана для автоматической обработки древнекитайских текстов в задачах цифровой гуманитаристики и дообучена на основе bert-base-chinese с использованием крупного корпуса древнекитайских текстов. Модель имеет архитектуру BERT с 142,6 млн параметров и контекстом до 512 токенов. Её словарь расширен до 38 208 токенов, включая редкие иероглифы традиционного китайского письма. Основная задача — предсказание пропущенных токенов; модель также применялась как основа для дообучения на сегментацию слов и разметку частей речи. Доступна в формате PyTorch. Модель рассчитана на классический китайский язык и может быть полезна для анализа исторических текстов, филологических исследований и обучения традиционной культуре. Результаты в downstream-задачах зависят от набора данных и параметров дообучения. Лицензия — Apache-2.0.

Koichi Yasuoka разработал эту японскую BERT-модель на основе KoichiYasuoka/bert-large-japanese-char-extended и дообучил её на UD_Japanese-GSDLUW для синтаксического анализа: модель определяет головное слово для длинных единиц слов. Задача оформлена как извлечение ответа на вопрос: слово-кандидат задаётся в вопросе, а контекст содержит предложение; для неоднозначных повторяющихся слов в контексте можно использовать [MASK]. Модель содержит 409,1 млн параметров, использует архитектуру BERT и принимает текст с контекстом длиной до 512 токенов. Она предназначена для анализа японского текста, в частности для выявления зависимостей между словами. Доступны веса PyTorch; лицензия — CC BY-SA 4.0.

Sasidhar1826/common_metaphors_detection — англоязычная модель классификации текста на базе BERT, дообученная для обнаружения распространённых метафор. Она принимает текст и относит его к классам задачи классификации, помогая находить метафорические выражения в предложениях. Модель содержит 136,7 млн параметров, работает с контекстом до 512 токенов и распространяется в формате PyTorch по лицензии Apache-2.0. В карточке указана точность 64% на небольшом специализированном наборе данных. Автор предупреждает, что модель ненадёжна для широкого применения: смысл метафор зависит от контекста, а обучающие примеры охватывают ограниченный набор случаев. Для повышения качества предложено дообучение на VU Amsterdam Metaphor Corpus.

Koichi Yasuoka разработал эту модель на базе DeBERTa V2 для японского синтаксического анализа: она определяет головное слово для длинных единиц слов. Задача представлена в формате question answering; модель дообучена на данных UD_Japanese-GSDLUW, а предварительное обучение проводилось на текстах 青空文庫. Модель содержит 137,8 млн параметров, принимает текст и поддерживает контекст длиной до 512 токенов. Для неоднозначного слова, встречающегося в контексте несколько раз, README рекомендует помечать нужное вхождение токеном [MASK]. Модель распространяется по лицензии CC BY-SA 4.0.

sarnikowski/electra-small-generator-da-256-cased — небольшая датская модель семейства ELECTRA, предварительно обученная разработчиком на собственном корпусе объёмом около 17,5 ГБ. Она использует плотную архитектуру ElectraForMaskedLM и предназначена для заполнения пропусков в тексте: по контексту модель предсказывает замаскированный токен. Модель можно загрузить через Transformers в форматах PyTorch или TensorFlow. Модель рассчитана на датский язык, сохраняет регистр и поддерживает контекст длиной до 512 токенов. В метаданных указано 2,6 млн параметров. Лицензия — Creative Commons Attribution 4.0 (CC BY 4.0).

Gan Cao v3.2 — компактная двуязычная языковая модель для текстовой генерации о традиционной китайской медицине и восточной философии. Модель разработана авторами репозитория dubito-inc и дообучена на базе Qwen/Qwen2.5-1.5B-Instruct; в карточке указана архитектура MASSIF с Pre-LN, RMSNorm, SwiGLU и RoPE, а также токенизатор Qwen для обработки китайского текста. README указывает 229 млн параметров, 16 слоёв, размерность 768 и 12 голов внимания. Модель предназначена для диалогов и генерации текста по темам традиционной китайской медицины, классической китайской философии и буддийских текстов. В описании обучения заявлены 10 000 шагов, шесть потоковых наборов данных и состав корпуса с преобладанием медицинских текстов. Репозиторий распространяется по лицензии Apache-2.0. Это компактная специализированная модель; заявленные область и корпус обучения не подтверждают её пригодность для клинических решений или медицинской диагностики. README сообщает о тестах и классификации MASSIF, но не приводит независимых оценок качества или клинической валидации.

Genji V2 — японская языковая модель NovelAI, созданная дообучением EleutherAI GPT-J 6B. Это плотная авторегрессионная модель класса GPTJForCausalLM для генерации текста. В этой версии изменён токенизатор: редкие токены заменены японскими, а файлы токенизатора исправлены для согласованной работы медленной и быстрой реализаций Hugging Face. Модель предназначена для генерации текста на японском языке. Контекст составляет 2048 токенов. Репозиторий содержит веса Safetensors и варианты GGUF с разной точностью и квантизацией. NovelAI публикует модель для сохранения и исторического доступа, отмечая, что она мало использовалась и может быть вскоре снята с поддержки. Лицензия — GPL-3.0.

GPT2 in Swahili — языковая модель семейства GPT-2 от сообщества JAX/Flax на Hugging Face. Модель обучена на корпусе Swahili Safi в рамках JAX/Flax Community Week с использованием Flax; доступны веса в форматах Flax и PyTorch. Модель предназначена для генерации текста на суахили. Её можно использовать для продолжения текста и создания фрагментов на этом языке. Размер контекста составляет 1024 токена. Карточка не описывает качество и ограничения генерации. Дата публикации — 2 марта 2022 года. Сведения о лицензии в предоставленных данных отсутствуют.

hummingbird-base-marathi — дообученная языковая модель Vishwas1 на архитектуре GPT-2, обученная на наборе данных OSCAR. Она предназначена для генерации текста на маратхи. Модель доступна в формате Safetensors и рассчитана на контекст до 128 токенов. Карточка не приводит результаты оценки или подробные сведения о сценариях применения и ограничениях. Лицензия в предоставленных данных не указана.

IceBERT — языковая модель для исландского языка, обученная на архитектуре RoBERTa-base с помощью fairseq. Она предназначена для предсказания замаскированных слов в тексте исландского языка и может использоваться в задачах заполнения пропусков и анализа контекста слов. Модель содержит 151,6 млн параметров и поддерживает контекст длиной до 514 токенов. Для обучения использованы Icelandic Gigaword Corpus, Icelandic Common Crawl Corpus (IC3) и статьи Greynir News. В репозитории доступны веса PyTorch и Safetensors. Лицензия — CC BY 4.0.

NE-BERT — модель на архитектуре ModernBERT от MWirelabs, обученная для работы с языками северо-востока Индии, включая языки с малым количеством обучающих данных. Это masked language model на 151,9 млн параметров с контекстом до 1024 токенов; она предсказывает пропущенные слова в тексте. Для токенизации используется собственный Unigram SentencePiece с размером словаря 50 368. В README заявлены более высокая эффективность токенизации и сильные результаты на региональных языках по сравнению с mBERT и IndicBERT. Модель подходит для восстановления пропусков и оценки языковой согласованности текста на поддерживаемых языках. В обучении применялись взвешенная выборка и динамическое маскирование, чтобы усилить представление языков с малым корпусом. В неоднозначных контекстах на мейтей возможны предсказания слов на хинди или санскрите; модель также может хуже справляться с узкотехническими и поэтическими текстами. Лицензия — CC BY 4.0.

RoBERTalex — испаноязычная RoBERTa для юридических текстов, разработанная Asier Gutiérrez-Fandiño, Jordi Armengol-Estapé, Aitor Gonzalez-Agirre и Marta Villegas в рамках проекта Plan-TL. Модель обучена с нуля исключительно на юридических корпусах и предназначена для языкового моделирования в правовой области; основная задача в каталоге Hugging Face — заполнение пропусков в тексте. Это плотная модель архитектуры RoBERTa с 153,2 млн параметров и контекстом до 514 токенов. Она принимает текст и предсказывает замаскированные фрагменты; карточка указывает испанский язык и юридические корпуса legal_ES и temu_legal. Модель доступна под лицензией Apache-2.0. Карточка сообщает, что модель перенесена по другому адресу и вскоре будет удалена из исходного репозитория.