I.6Перевод и языковая адаптация

sonoisa разработал японскую адаптацию модели T5: к предобученной sonoisa/t5-base-japanese-v1.1 добавлено 100 тысяч шагов обучения на японских корпусах Wikipedia, OSCAR и CC-100 общим объёмом около 100 ГБ. Модель относится к архитектуре T5 и содержит 123,8 млн параметров. Она предназначена для продолжения последовательности токенов и генерации текста на японском языке. Её можно применять для дополнения японских фрагментов текста и как основу для задач формата text-to-text. Модель распространяется по лицензии CC-BY-SA 4.0; при использовании данных Common Crawl следует учитывать их условия. Автор не гарантирует точность и безопасность выходных данных.

Hanhpt23/whisper-base-frenchmed-v1 — это дообученная на наборе данных pphuc25/FranceMed модель OpenAI Whisper Base для распознавания речи. Она принимает аудио и преобразует французскую речь в текст. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 51,7 млн параметров и распространяется в формате safetensors. В README приведены результаты оценки на тестовой выборке: loss 1,5990 и WER 44,8680. Эти результаты указывают на заметные ошибки распознавания, поэтому качество для конкретных записей и условий следует оценивать отдельно. Модель распространяется по лицензии Apache-2.0.

Luciano/bertimbau-base-finetuned-lener-br — модель BERT для бразильского португальского, дообученная на наборе Luciano/lener_br_text_to_lm на основе neuralmind/bert-base-portuguese-cased. Она предсказывает замаскированные токены в тексте и подходит для заполнения пропусков в португалоязычных фрагментах. Модель содержит 136,1 млн параметров, использует архитектуру BertForMaskedLM и принимает контекст длиной до 512 токенов. В карточке указана оценка loss 0,8132 на наборе оценки. Распространяется по лицензии MIT.

Карточка модели minlik/chinese-llama-13b-merged на Hugging Face совпадает с карточкой minlik/chinese-llama-7b-merged, поэтому описание составлено по ней. minlik/chinese-llama-7b-merged — китайская языковая модель семейства LLaMA, созданная добавлением китайского словаря токенов и продолжением предобучения китайских эмбеддингов. Она предназначена для генерации текста на китайском языке. Модель имеет плотную архитектуру LlamaForCausalLM с 6,7 млрд параметров, принимает текст и выдаёт текст; родной контекст составляет 2048 токенов. Модель может служить основой для генерации китайского текста и экспериментов с китайскими языковыми моделями. В README и метаданных не приведены результаты оценки качества или подробности лицензии.

CNMBert — китайская BERT-модель, разработанная для преобразования сокращений, записанных начальными буквами пиньиня, в китайские слова и выражения. Она основана на hfl/chinese-bert-wwm-ext и адаптирована к этой задаче изменением задачи предобучения. В метаданных указана архитектура BertForMaskedLM, 167,2 млн параметров, максимальный контекст 512 токенов и формат safetensors. Модель предназначена для раскрытия сокращений вроде «bhys» в «不好意思» и «ys» в «原神». README также описывает варианты CNMBert-Default и CNMBert-MoE, обученные на корпусе из двух миллионов записей Википедии и Zhihu, и приводит сравнительные показатели точности и ранжирования. Автор заявляет о результатах уровня SOTA относительно дообученных GPT-моделей и GPT-4o; это утверждение README, не независимая оценка. Для применения требуются китайский текст и соответствующий токенизатор; модель выдаёт текстовые кандидаты для подстановки вместо сокращения. README отмечает ограниченную обобщающую способность из-за небольшого обучающего корпуса и допускает дополнительное дообучение. Лицензия модели — AGPL-3.0.

maywell/EEVE-Korean-Instruct-10.8B-Var — экспериментальная инструкционная версия EEVE, созданная разработчиком maywell. По карточке, при настройке модели изменялись только слои 46 и 47; автор также отмечает возможность использовать средние и поздние слои для обучения instruct-модели. Это плотная причинная языковая модель семейства Llama с 10,6 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Контекст составляет 4096 токенов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Модель предназначена для генерации ответов и инструкционного диалога на корейском языке. README не приводит методику обучения, оценку качества или подробности набора данных, поэтому пригодность для конкретных сценариев требует отдельной проверки.

Neurlang Whipstr Medium — модель распознавания речи, разработанная Neurlang на основе архитектуры Whipstr, трансформерной модели последовательность-в-последовательность. Она преобразует аудио в текстовую транскрипцию в Международном фонетическом алфавите (IPA) и обучена на данных Common Voice 21. Модель содержит около 51,7 млн параметров и занимает 642 МБ; поддерживает частоты дискретизации 8, 16, 24, 32 и 48 кГц, а при 11,025, 22,05 и 44,1 кГц качество снижается. Модель предназначена для транскрибирования речи на более чем 74 языках, причём качество выше для языков с большим объёмом обучающих данных. В README приведены средние показатели CER 33,88% и WER 73% по поддерживаемым языкам, поэтому результаты могут требовать проверки и исправления, особенно для языков с малым объёмом данных. Распространяется по лицензии GPL-2.0.

Romanian mGPT 1.3B — языковая модель на 1,3 млрд параметров, разработанная ai-forever на основе mGPT-XL (1.3B). Это плотная авторегрессионная модель семейства GPT-2 для генерации текста, дополнительно дообученная на данных для румынского языка в течение 5000 шагов. Базовая модель обучалась на 61 языке с использованием Wikipedia и корпуса C4; контекст модели составляет 2048 токенов. Модель предназначена прежде всего для генерации текста на румынском языке, например для продолжения заданного текста и создания черновиков. В карточке приведено значение perplexity 3,44 на валидации. В метаданных также отмечены английский и русский языки, однако README позиционирует модель как румынскую. Модель распространяется по лицензии MIT.

Nero10578/Mistral-7B-Sunda-v1.0 — дообученная на ограниченном наборе текстовых корпусов на сунданском языке модель Mistral-7B-v0.1, созданная автором как учебный проект. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров для генерации текста; она сохраняет общие возможности базовой модели и добавляет поддержку сунданского языка. В карточке приведён пример диалога на сунданском языке, в котором модель отвечает на вопросы и объясняет факты. Модель подходит для генерации ответов и диалогов на сунданском языке. Дообучение выполнено методом QLoRA с 4-битной загрузкой, адаптером LoRA ранга 8 и длиной последовательности обучения 1024 токена; метаданные указывают нативный контекст 32768 токенов. Модель также отмечена как поддерживающая английский и индонезийский языки, но основной акцент проекта — сунданский. Репозиторий использует safetensors, лицензия — Apache-2.0. Автор сообщает, что использовал ограниченный набор доступных сунданских данных и короткое обучение, поэтому качество и охват языка могут быть неполными. Модель представлена как личный учебный эксперимент, а не как проверенная промышленная система.

facebook/mms-tts-mbz — модель синтеза речи на языке Mixtec, Amoltepec (mbz), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речи для приложений, работающих с Mixtec, Amoltepec. Модель основана на архитектуре VITS — сквозной вариационном автокодировщике с состязательным обучением, поточечным модулем и декодером, подобным HiFi-GAN. Для одного текста модель может синтезировать варианты с разным ритмом; из-за стохастического предсказателя длительности результат недетерминирован, поэтому для воспроизводимого аудио требуется фиксированное случайное зерно. В репозитории указано 3,5 млн параметров; модель доступна для Transformers начиная с версии 4.33. Модель предназначена для одного языка и не заявляет поддержку других языков. Лицензия CC-BY-NC-4.0 допускает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-myy — модель синтеза речи на языке макуна (myy), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на макуна в речевую аудиоволну и подходит для озвучивания текста на этом языке. Модель использует архитектуру VITS и обучена отдельно для макуна. Вариативный предиктор длительности позволяет синтезировать разные ритмические варианты речи из одного текста; поэтому результат может меняться между запусками, а для воспроизводимого синтеза требуется фиксированное начальное значение генератора. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель предназначена для языка макуна; качество синтеза и поддержка других языков не заявлены.

Plasmoxy/mt5-small-gigatrue-slovak — дообученная модель семейства mT5, созданная на основе google/mt5-small. Это компактная модель преобразования текста в текст с архитектурой MT5ForConditionalGeneration и 157,4 млн параметров; файлы опубликованы в формате safetensors. Название указывает на настройку для словацкого языка, однако README не описывает назначение модели, обучающий набор данных или конкретные сценарии применения. В карточке приведён результат оценки: loss 2,1758. Модель распространяется по лицензии Apache-2.0. Поскольку задача дообучения и характеристики данных не раскрыты, область применения и качество на конкретных задачах оценить нельзя.

Pyefuri/Qwen2.5-3B-Bahasa-Biak-Final — дообученная языковая модель семейства Qwen2.5, разработанная Pyefuri на основе Qwen2.5-3B. Это плотная авторегрессионная модель с 3,1 млрд параметров для генерации текста и диалогового общения; в метаданных также указана возможность интерфейса вызова инструментов. Контекстное окно составляет 32 768 токенов. Модель обучали с использованием Unsloth и библиотеки TRL. Модель предназначена для генерации ответов и диалогов на языке Biak; README называет её Bahasa Biak, однако языковые метаданные указывают только английский. Поэтому поддержка Biak следует из названия и описания дообучения, а не из языковых тегов. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0.

Koichi Yasuoka подготовил эту модель на основе UTibetNLP/tibetan_bert: это BERT для разметки частей речи тибетского текста универсальными тегами UPOS. Модель присваивает каждому слову тег части речи и подходит для автоматической грамматической разметки и лингвистического анализа тибетских текстов. Модель содержит 138 млн параметров, использует архитектуру BERT и принимает последовательности длиной до 512 токенов. Она предназначена для классификации токенов и распространяется в формате PyTorch по лицензии Apache-2.0.

lmg-anon/vntl-llama3-8b-v2-gguf — это QLoRA-тонкая настройка модели LLaMA 3 Youko 8B, разработанной rinna. Модель обучена на расширенной версии набора данных VNTL-v5-1k и предназначена для перевода визуальных новелл с японского языка на английский. Модель поддерживает японский и английский языки, использует стандартный формат промптов LLaMA 3 и умеет обрабатывать как однострочные, так и многострочные переводы. Вход может включать метаданные о персонажах, именах, псевдонимах и других элементах, что помогает сохранять единообразие терминологии и имён собственных. Размер базовой модели — 8B параметров; другие характеристики контекстного окна и модальностей в README не указаны. По заявлению автора, версия отличается повышенной точностью и стабильностью по сравнению с предыдущей, а также реже допускает ошибки при высоких температурах. Переводы при этом стали более буквальными. Для наилучшего качества рекомендуется температура 0 и отсутствие штрафа за повторения. Модель ориентирована именно на перевод визуальных новелл и может быть менее подходящей для универсального перевода или диалогового режима, который в этой версии не поддерживается. Лицензия указана как llama3.

Whisper-large-v3-ar-eg — модель автоматического распознавания речи, созданная Мохамедом Котбом под патронажем профессора Али Гомаа. Это дообученная на базе openai/whisper-large-v3 модель семейства Whisper с 905,2 млн параметров, принимающая аудио и выдающая текст. Она обучена на корпусах Корана и хадисов на литературном арабском, а также на египетской арабской речи. Модель предназначена для транскрибации религиозных текстов и египетской речи как вспомогательный инструмент и для исследований. Лучшая заявленная оценка для египетского арабского относится к речи того же диктора и формального регистра, что и обучающие данные; на спонтанной речи незнакомых дикторов качество заметно ниже универсальной базовой модели. Вывод использует арабскую орфографию без огласовок, числа записываются словами, временные метки не выдаются. Религиозные расшифровки следует сверять с каноническими письменными источниками. Лицензия — Apache-2.0.

GAI-LLM/Yi-Ko-6B-dpo-v6 — авторегрессионная языковая модель на архитектуре трансформера LLaMA 2, разработанная Donghoon Oh и Hanmin Myung из SK C&C G.AI Eng. Модель дообучена методом DPO на базе GAI-LLM/Yi-Ko-6B-mixed-v15 с использованием смешанной стратегии и открытого корейского датасета. Модель принимает текст и генерирует текст; она предназначена прежде всего для задач генерации на корейском языке. В карточке указан контекст 2048 токенов, а метаданные сообщают о 12,9 млрд параметров. В феврале 2024 года модель заняла первое место в категории около 7B на корейском Open KO-LLM Leaderboard. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Контекст ограничен 2048 токенами; качество за пределами корейского языка не подтверждено сведениями карточки.

Koichi Yasuoka разработал японскую модель GPT-2 для разметки частей речи и синтаксических зависимостей. Она дообучена на основе abeja/gpt2-large-japanese и уточнена на UD_Japanese-GSDLUW. Архитектура — плотная GPT-2 с головой классификации токенов; модель принимает японский текст и выдаёт метки для его токенов. Контекст составляет 1024 токена, формат весов — PyTorch. Модель подходит для морфологического анализа японских предложений, присвоения тегов частей речи и построения синтаксических зависимостей. В карточке указан pipeline_tag token-classification; пример использования задаёт задачу universal-dependencies. Лицензия — MIT. Известное ограничение: модель специализирована на японском языке и данных UD_Japanese-GSDLUW.

ALMA-7B-Pretrain — этап предварительной настройки модели семейства ALMA, разработанной авторами исследования Haoran Xu, Young Jin Kim, Amr Sharaf и Hany Hassan Awadalla. Это плотная авторегрессионная языковая модель архитектуры LLaMA с 6,6 млрд параметров, созданная на основе LLaMA-2-7B и дообученная на 20 млрд токенов монолингвальных данных. Контекст модели составляет 4096 токенов. Этот чекпойнт сам по себе не является моделью машинного перевода: он предназначен для использования вместе с LoRA-адаптером ALMA-7B, обученным на параллельных данных. Полная модель ALMA выполняет перевод между языками; карточка показывает пример перевода с китайского на английский, но не перечисляет полный набор поддерживаемых языков. Модель распространяется в формате PyTorch по лицензии MIT. Ограничение: для перевода требуется соответствующий адаптер, а качество и поддерживаемые языковые пары зависят от него.

Egonyu/ateso-english-nllb-v3 — модель машинного перевода между атесо и английским языком, разработанная Egonyu на основе NLLB. Это полноценно дообученная версия facebook/nllb-200-distilled-600M с архитектурой M2M100ForConditionalGeneration и 463,7 млн параметров; для атесо добавлен и обучен токен teo_Latn. Модель переводит в обоих направлениях и рассчитана на языковое обучение, повышение доступности материалов и исследования машинного перевода для языков с ограниченными ресурсами. Контекст составляет 1024 токена. Для выбора целевого языка требуется forced_bos_token_id. Обучение проводилось на 30 955 парах стихов из переводов Библии 1961 года, использованных в обоих направлениях. Поэтому результаты лучше подходят для библейского текста, а качество на повседневной речи и современной лексике заметно ниже; возможны архаичная речь, религиозные формулировки и запоминание обучающих примеров. Токенизатор NLLB разбивает слова атесо на множество частей, что ограничивает качество и увеличивает длину входа. Разработчик позиционирует модель как исследовательский прототип, а не производственный сервис. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Bakpia V1 0.5B — языковая модель семейства Bakpia, разработанная для ответов на яванском языке. Это версия с 494 млн параметров на архитектуре Qwen2, дообученная на Qwen2 0.5B Instruct с использованием синтетических данных. Репозиторий содержит веса в формате safetensors; модель рассчитана на контекст до 32 768 токенов. Модель предназначена для одношаговых ответов на вопросы в разных областях на яванском, в частности на вежливом регистре Krama. В обучении использовано 36 тысяч пар запросов и ответов; карточка указывает, что запросы синтезированы GPT-4o, а ответы — Claude 3 Haiku. Заявлены функциональные возможности выполнения инструкций и диалоговый режим. Это бета-версия и ранний экспериментальный выпуск; Ngoko Javanese в текущей версии не поддерживается. Лицензия — Apache-2.0.

Koichi Yasuoka разработал японскую модель BERT для разметки частей речи и морфологических признаков. Она дообучена на основе KoichiYasuoka/bert-base-japanese-char-extended и использует архитектуру BertForTokenClassification; число параметров — 118,1 млн, максимальная длина контекста — 512 токенов. Модель обучена на текстах японской Википедии и размечает слова по схеме UPOS и FEATS; карточка также указывает связь с синтаксическим разбором зависимостей. Модель подходит для морфологического анализа японских текстов, например для автоматической разметки предложений перед лингвистическим анализом или построением языковых корпусов. Она принимает текст и выдаёт метки для токенов. Распространяется по лицензии CC BY-SA 4.0.

Koichi Yasuoka разработал японскую модель BERT large для морфологического анализа текста. Она дообучена на основе KoichiYasuoka/bert-large-japanese-char-extended и предназначена для разметки частей речи по универсальной схеме UPOS и морфологических признаков FEATS на уровне длинных единиц слов; также указана задача синтаксического анализа зависимостей. Модель использует архитектуру BertForTokenClassification, содержит 409,1 млн параметров и поддерживает контекст до 512 токенов. Она обучалась на текстах японской Википедии и связана с датасетом Universal Dependencies. Для загрузки и применения в README приведён пример с Transformers и PyTorch. Лицензия — CC BY-SA 4.0. Описание не содержит оценок качества или подробностей об ограничениях разметки.

Koichi Yasuoka разработал эту модель на основе Erlangshen-DeBERTa-v2-320M-Chinese для морфологического анализа китайского текста. Это DeBERTa-v2 с архитектурой классификации токенов, дообученная размечать слова универсальными частями речи UPOS; модель также предназначена для синтаксического анализа зависимостей. Модель принимает китайский текст и поддерживает упрощённое и традиционное письмо. Размер составляет 419,1 млн параметров, длина контекста — до 512 токенов. Её можно использовать через Transformers как токенизатор и модель классификации токенов. Модель распространяется по лицензии Apache-2.0. Она специализирована на китайском языке и разметке UPOS; для других языков и задач её возможности не подтверждены.

j5ng/et5-typos-corrector — модель для исправления орфографических ошибок в разговорном корейском языке. Автор дообучил ETRI-et5 на парах предложений из корпуса «모두의 말뭉치» с данными для исправления правописания; после предобработки использовано 318 882 пары. Модель построена на архитектуре T5 и содержит 133,7 млн параметров. Модель принимает текст и генерирует исправленный текст. Она предназначена для коррекции разговорных корейских фраз; в предобработке удалялись запятые, точки, пустые и очень короткие строки, а также слова с тегами имён. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Возможности за пределами коррекции разговорного корейского README не подтверждает.

OdyAsh/faster-whisper-base-ar-quran — это версия модели распознавания речи на основе Whisper Base, преобразованная в формат CTranslate2 для использования с faster-whisper и WhisperX. Она предназначена для транскрибирования чтения Корана на арабском языке и совместима с конвейерами WhisperX. Модель получена преобразованием tarteel-ai/whisper-base-ar-quran в CTranslate2 с точностью float16. По README, размер уменьшен примерно с 290 до 141 МБ; автор сообщает о небольшом влиянии на качество при проверке на примерах коранического аудио. Репозиторий указывает Apache-2.0. Возможны ошибки распознавания; для сценариев, где точность важнее размера, README предлагает использовать float32.

akahana/gpt2-indonesia — авторская карточка модели не содержит подробностей, однако метаданные указывают на генеративную языковую модель семейства GPT-2, опубликованную пользователем akahana. Она предназначена для продолжения текста и генерации текста на индонезийском языке. Модель использует архитектуру GPT2LMHeadModel с плотными слоями и принимает текст, выдавая текст. Указанная длина контекста — 1024 токена. Репозиторий содержит веса в форматах PyTorch, Safetensors и TensorFlow. Сведения о размере модели, лицензии и конкретных ограничениях качества отсутствуют в доступных источниках.

HingBERT-Mixed — модель семейства BERT от L3Cube-Pune, дообученная на смешанных текстах на хинди и английском из корпуса L3Cube-HingCorpus. Она обучалась на тексте, записанном как латиницей, так и деванагари, и предназначена для работы с код-свитчингом между хинди и английским. Архитектура — BertForMaskedLM, размер — 205,1 млн параметров, максимальный контекст — 512 токенов. Основная задача модели — предсказание замаскированных токенов в тексте. Модель подходит для заполнения пропусков и анализа смешанной хинди-английской речи в письменном виде. Лицензия — CC BY 4.0; при использовании требуется соблюдать её условия и указывать атрибуцию.

fierysurf/Kan-LLaMA-7B-base — репозиторий с шардированной версией Kannada LLaMA 7B, исходно разработанной Tensoic для работы с каннада. Это плотная авторегрессионная модель семейства LLaMA с 6,7 млрд параметров, предназначенная для генерации текста; контекст составляет до 4096 токенов. Метаданные указывают поддержку каннада и английского языка, а README описывает модель как специально ориентированную на каннада. Модель подходит для генерации текста и языковых приложений на каннада, например для создания черновиков и продолжения текста. Репозиторий содержит шарды весов в формате safetensors. Лицензия — MIT. README не приводит результаты оценки качества или подробности об ограничениях модели.

KinyaBERT-large — предварительно обученная модель семейства BERT, разработанная для языка киньяруанда. Она содержит 136,3 млн параметров, использует архитектуру BertForMaskedLM и обучена на задаче маскированного языкового моделирования; регистр букв не различается. Модель принимает текст с замаскированными токенами и предсказывает вероятные подстановки, поэтому подходит для восстановления пропусков и анализа контекста на киньяруанда. Контекст ограничен 512 токенами. Для предобучения использовались новостные статьи из Руанды, материалы Википедии и книги на киньяруанда. Модель опубликована в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.