I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейfacebook/mms-tts-ksr — модель синтеза речи на языке Borong (ksr), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Borong. Модель использует архитектуру VITS: текстовый энкодер, поточный модуль и декодер на основе свёрточных слоёв формируют речь сквозным образом. Для одного и того же текста возможны разные ритм и звучание; фиксированный seed позволяет воспроизводить результат. Чекпойнт содержит около 3,5 млн параметров и распространяется в форматах PyTorch и Safetensors. Для работы предусмотрена библиотека Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель рассчитана на один язык, поэтому её не следует считать многоязычным синтезатором.
facebook/mms-tts-urb — модель синтеза речи на каапорском языке (Kaapor, код urb), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания текста на каапорском языке. Модель использует архитектуру VITS и обучена отдельно для этого языка. Она объединяет вариационный автоэнкодер, потоковый модуль и декодер, построенный по принципу HiFi-GAN; стохастический предсказатель длительности позволяет варьировать ритм речи. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. В метаданных указаны 3,5 млн параметров и форматы PyTorch и Safetensors. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она предназначена для синтеза речи на каапорском языке; качество и поддержка других языков не заявлены.
NaijaBERT-base — многоязычная модель BERT-base, созданная Davlan путём предварительного обучения с удалением токенов на текстах пяти языков Нигерии: английского, хауса, игбо, нигерийского пиджина и йоруба. Для обучения использовалась TensorFlow Model Garden, а корпус объединял WURA, Wikipedia и MT560. В репозитории указаны веса PyTorch; модель содержит 167 млн параметров и поддерживает контекст до 512 токенов. Модель предназначена для предсказания замаскированных токенов и может применяться как основа для языковых задач на этих пяти языках. Например, она может подобрать пропущенное слово в предложении на йоруба. Лицензия — Apache-2.0.
OmniTranslate 1.1 — компактная многоязычная модель машинного перевода, разработанная MihaiPopa-1. Это дообученная версия Qwen3 с плотной архитектурой Qwen3ForCausalLM и 507,9 млн параметров. Модель принимает текст и поддерживает более 500 языков; для задания языка README рекомендует указывать ISO-код. Контекст составляет 40 960 токенов. Модель предназначена для перевода между языками на устройствах с ограниченными ресурсами. В версии 1.1 автор сообщает об улучшениях перевода на румынский и исправлении ошибок с диакритикой. Также добавлены экспериментальные режимы для эмодзи и авторского языка Sulfuristic Speak. Качество перевода не следует считать надёжным: автор предупреждает, что модель экспериментальная и не подходит для сценариев, где важна точность. Лицензия — Apache-2.0.
Карточка модели nisha1990kum/Qwen3.5-Hasutsubomi-9B на Hugging Face совпадает с карточкой Local-Novel-LLM-project/Qwen3.5-Hasutsubomi-9B, поэтому описание составлено по ней. Qwen3.5-Hasutsubomi-9B — мультимодальная модель на 9 млрд параметров, разработанная проектом Local-Novel-LLM-project на основе Qwen/Qwen3.5-9B и дообученная для японского творческого письма и субкультурной тематики. Она предназначена для генерации рассказов, диалогов и планов миров, ролевого общения, а также для обсуждения аниме, манги и японских интернет-феноменов. Модель принимает текст и изображения: она может создавать истории по иллюстрациям и описывать визуальный дизайн персонажей или манга-панели. В карточке указаны японский и английский языки, архитектура Qwen3.5 с визуальным энкодером и контекст до 262 144 токенов. Весовые файлы представлены в формате safetensors. Это предварительная версия, которая всё ещё проходит обучение и эксперименты. В длинных текстах возможны повторения и нестабильное форматирование; ответы могут чрезмерно опираться на аниме-клише, а сведения о малоизвестных событиях субкультуры — содержать ошибки. Модель распространяется по лицензии Apache-2.0.
Zuccx/ReufGPT-v2 — вторая версия диалоговой модели, дообученной на базе anthracite-org/magnum-v3-9b-chatml. Модель построена на архитектуре Gemma 2 с плотной causal language model и содержит 9 млрд параметров; она предназначена для генерации текста в разговорном, фамильярном стиле на французском языке. Модель принимает текстовые запросы и генерирует текст. В карточке рекомендован пресет Gemma Instruct без системного промпта; для генерации указана температура 0,8. Контекст составляет до 8192 токенов. Модель опубликована под лицензией Apache-2.0.
rumik-oss 1 — мультиязычная модель синтеза речи от rumik ai. Это дообученная модель dense-архитектуры на 3,4 млрд параметров, построенная на rumik-oss-1-base и использующая дискретные речевые токены кодека Mimi в авторегрессионной последовательности. Для восстановления токенов в аудиоволну применяется декодер Mimi; выходное аудио имеет частоту 24 кГц. Модель принимает текст, в том числе в смешении языков, и генерирует речь на 22 индийских языках и английском. Доступны голоса Ira, Aisha, Siya и Zoya; можно задавать тон, акцент и темп, а также вставлять теги смеха, смешков и вздохов. Модель предназначена для озвучивания текстов и диалогов, где важны поддержка индийских языков, переключение языков, управляемая манера речи и невербальные вокализации. Карточка описывает обучение менее чем на 70 тысячах часов речи и собственные тесты выразительности, выполнения запросов на вокализации и ошибок распознавания; стандартных бенчмарков для ряда этих характеристик нет. Длина обучающих фрагментов ограничена 30 секундами, а генерацию длиннее 35 секунд разработчики не рекомендуют из-за неоценённой непрерывности голоса и просодии. В тестах на английском незапрошенные вокализации встречались в 2,9–5,4% выходов; точность управления тегами на других языках не установлена. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование.
SanGuoYanYi-6b — языковая модель проекта stylellm_models для переноса литературного стиля. Она дообучена на базе 01-ai/Yi-6b на классическом китайском романе «Троецарствие» и переписывает исходный текст, придавая ему характерные для произведения лексику, синтаксис, риторические приёмы и диалоги. В карточке приведены примеры преобразования фрагментов «Белоснежки» в стиль романа. Модель построена на архитектуре LlamaForCausalLM, содержит 5,8 млрд параметров и поддерживает контекст до 4096 токенов. Основной язык карточки — китайский; модель предназначена для генерации текста в разговорном интерфейсе. Файлы модели представлены в формате safetensors. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.
stanfordnlp/stanza-nn — модель Stanza от Stanford NLP для лингвистического анализа нюнорска. Она предназначена для разметки последовательностей токенов в текстах на нюнорске и входит в набор инструментов, который анализирует текст от исходной формы до синтаксического разбора и распознавания сущностей. Репозиторий содержит веса PyTorch и использует библиотеку Stanza. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает размер, длину контекста или конкретный состав разметки этой модели; поэтому её возможности описаны на уровне задачи token classification.
TajBERTo — языковая модель на архитектуре RoBERTa объёмом 96,6 млн параметров, предназначенная для заполнения пропусков в тексте. Репозиторий опубликован пользователем muhtasham; карточка Hugging Face указывает задачу fill-mask и поддержку казахского языка по тегу «tg». Модель принимает текст с замаскированным фрагментом и предсказывает подходящее содержимое. Контекст модели — 514 токенов; доступны веса в форматах PyTorch и Safetensors.
TRIDIS (Tria Digita Scribunt) — модель распознавания рукописного текста в изображениях средневековых и ранненововременных рукописей, разработанная Серджио Торресом Агиларом и Винсентом Жоливе. Она предназначена прежде всего для документальных источников — грамот, регистров, феодальных книг и судебных документов XI–XVI веков, а также может применяться к литературным книгам, научным трактатам и картуляриям. Модель использует архитектуру encoder-decoder VisionEncoderDecoderModel и объединяет доработанный TrOCR-large-handwritten с моделью RoBERTa, обученной на исторических текстах. Она распознаёт латинский, старофранцузский и староиспанский тексты, в том числе в почерках Textualis и Cursiva. При обучении и оценке использовались 2 950 страниц, 245 тысяч строк и около 2,3 миллиона токенов; на валидации заявлена точность 94,3%, а на трёх внешних наборах CER составил 0,06–0,12 и WER — 0,14–0,26. Транскрипции следуют полудипломатическим правилам: сокращения раскрываются, имена собственные капитализируются, а пунктуация нормализуется; отменённые слова обозначаются знаками $. Модель распространяется по лицензии MIT. Результаты зависят от почерка, состояния документа и соответствия текста историческому периоду и принятым правилам транскрипции.
Это предварительно обученная на вьетнамском языке авторегрессионная модель генерации текста на архитектуре GPT-2, опубликованная chronopt-research. Вариант base содержит 137 млн параметров и обучен методом причинного языкового моделирования: по предшествующему тексту модель предсказывает следующие токены. В репозитории доступны веса PyTorch и Flax. Модель предназначена для продолжения вьетнамского текста и может служить базой для дальнейшей адаптации под задачи генерации. Для предобучения использована смесь вьетнамских новостных текстов, Wikipedia и других корпусов, включая данные о COVID-19. Контекст модели составляет 1024 токена. Лицензия — Apache-2.0.
VoxCPM2-Yoruba — экспериментальная модель синтеза речи от LyngualLabs, полученная полным дообучением openbmb/VoxCPM2. Она преобразует текст на йоруба и смешанный текст на йоруба и английском в речь; поддерживает клонирование голоса по короткому аудиофрагменту с расшифровкой и создание голоса по текстовому описанию. В основе лежит VoxCPM2 с 2 млрд параметров; обучение проведено на примерно 102 часах многоязычных и спонтанных записей с частотой 16 кГц. Модель предназначена для синтеза речи на йоруба, в том числе с переключением на английский. Это ранняя экспериментальная версия: возможны ошибки произношения и тонов, артефакты и ухудшение качества на длинных текстах и текстах с большим количеством чисел. При обучении на нескольких голосах для стабильного воспроизведения конкретного голоса рекомендуется передавать эталонную запись; дообучение также снизило способность базовой модели работать с другими языками. Лицензия — Apache-2.0.
aboalaa1472 разработал Whisper Quranic ASR v2 как дообученную и полностью объединённую версию Whisper Large V3 Turbo, предназначенную для распознавания речи при чтении Корана на арабском языке. Модель принимает аудио и выдаёт текстовую транскрипцию; она рассчитана на работу с особенностями коранической рецитации, включая таджвид, протяжные гласные и различия в темпе чтения. Веса LoRA-адаптера объединены с базовыми параметрами, поэтому модель загружается как обычная модель Whisper без отдельной зависимости от PEFT. Для обучения использован датасет EveryAyah: 5 000 обучающих и 500 проверочных записей; при подготовке аудио применялись преобразования высоты тона и скорости воспроизведения. В карточке указана лицензия MIT. Количественные результаты распознавания и независимая оценка качества не приведены.
Это дообученная модель Whisper Small с архитектурой WhisperForConditionalGeneration, разработанная на основе openai/whisper-small. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка связывает обучение с датасетом IWSLT и ирландским и валлийским языками, но не уточняет состав обучающих данных. Модель содержит 153,1 млн параметров, принимает аудио и выдаёт текст. Метрики на оценочном наборе: WER 102,03, BLEU 1,13, ChrF++ 13,46 и COMET 0,4158; высокий WER указывает на слабые результаты распознавания в этой оценке. Модель распространяется под лицензией Apache-2.0.
AraGPT2-base — авторегрессионная языковая модель семейства GPT-2 для генерации текста на арабском языке. Её разработали Wissam Antoun, Fady Baly и Hazem Hajj в AUB MIND Lab; модель описана в работе о предварительно обученном трансформере для генерации арабского текста. Модель обучена на крупном арабском датасете, том же, что использовался для AraBERTv2. Она подходит для продолжения арабского текста и может служить основой для дообучения под конкретные задачи генерации. Архитектура — GPT-2 с плотными слоями; контекст составляет 1024 токена. Репозиторий совместим с Transformers и содержит веса в форматах PyTorch, TensorFlow и Flax, включая SafeTensors. README не указывает лицензию, поэтому условия использования следует проверить отдельно. Как авторегрессионная языковая модель, AraGPT2 может воспроизводить ошибки или предвзятости обучающих данных; карточка также не приводит оценок качества.
SingularityUS разработала эту модель как дообученную версию Whisper large-v3-turbo для транскрибации английской речи в радиопереговорах управления воздушным движением. Это модель распознавания речи на базе архитектуры Whisper с 905,2 млн параметров, принимающая аудио и выдающая текст; для работы используется библиотека Transformers. На проверочной выборке из 2 024 примеров ATCO2 и ATCoSIM она показала WER 7,83% и CER 3,58% при нормализации текста. По данным карточки, относительное снижение WER составило около 39% по сравнению с предыдущей дообученной моделью Whisper small. Модель предназначена для расшифровки английских переговоров по авиационной УКВ-связи. Проверочная выборка преимущественно содержит чистую студийную запись, поэтому в реальном эфире с шумами точность будет ниже; авторы ограничивают применение исследовательскими и не связанными с безопасностью сценариями. Лицензия указана как other, конкретные условия в карточке не приведены.
gayanin/bart-noised-with-gcd-dist — дообученная модель на базе facebook/bart-base, опубликованная с весами в формате safetensors. Это encoder-decoder трансформер с 95,2 млн параметров и контекстом до 1024 токенов. Карточка сообщает о значении loss 0,4647 на наборе оценки, но не описывает датасет, конкретную целевую задачу или предполагаемые сценарии применения. Лицензия модели — Apache-2.0.
Langboat/bloom-1b4-zh — языковая модель семейства BLOOM, разработанная Langboat на основе bigscience/bloom-1b7. Это плотная авторегрессионная модель для генерации текста. Разработчики сократили словарь токенизатора с 250 880 до 46 145 единиц на корпусе китайского языка, чтобы уменьшить потребление памяти GPU. В метаданных указано 1,7 млрд параметров, а в README после сокращения словаря приводится оценка 1,4 млрд; максимальная длина контекста — 4096 токенов. Модель предназначена прежде всего для генерации текста на китайском языке и запускается через Transformers с классами BloomTokenizerFast и BloomForCausalLM. Репозиторий содержит веса PyTorch и SafeTensors. Лицензия — BigScience BLOOM RAIL 1.0, условия которой следует учитывать при использовании и распространении модели.
CamemBERT-base — франкоязычная языковая модель на архитектуре RoBERTa, разработанная Louis Martin, Benjamin Muller, Pedro Javier Ortiz Suárez, Yoann Dupont, Laurent Romary, Éric Villemonte de la Clergerie, Djamé Seddah и Benoît Sagot. Эта версия обучена на корпусе OSCAR; в карточке Hugging Face указано 137,8 млн параметров, а контекст составляет до 514 токенов. Модель предназначена прежде всего для задачи fill-mask: она предсказывает пропущенное слово или фрагмент в тексте на французском языке. Её также можно использовать как основу для извлечения контекстных представлений и дообучения под другие задачи обработки французского текста. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Модель распространяется по лицензии MIT. Она обучена на французских текстах, поэтому её результаты для других языков и задач, требующих специализированных знаний, могут быть ограничены.
ChatWaifu v1.4 — объединённая автором spow12 (yw_nam) языковая модель для диалогов в образе персонажей визуальных новелл. Это плотная авторегрессионная модель семейства Mistral/CausalLM объёмом 12,1 млрд параметров, собранная методом mergekit из нескольких моделей, включая Mistral-Nemo-Instruct-2407, Lumimaid-v0.2-12B, Violet Twilight-v0.1, MN-12B-Lyra-v4 и Magnum-v2-12b. Репозиторий содержит веса safetensors; модель предназначена для генерации текста и ролевого общения, в том числе с персонами, заданными описанием. Карточка сообщает о японских обучающих данных, персонажах визуальных новелл и поддержке японского языка; метаданные также перечисляют английский, французский, немецкий, испанский, итальянский, португальский, русский и китайский. Автор заявляет контекст до 128k токенов, устойчивость к повторам в длинных диалогах и сохранение информации в длинном контексте; метаданные каталога указывают нативный контекст 1 024 000 токенов, поэтому фактическую длину контекста следует проверять в выбранной конфигурации. Лицензия в метаданных — CC-BY-NC-4.0, а карточка ограничивает использование некоммерческими и исследовательскими целями. Модель может генерировать материалы для взрослых; визуальный ввод пока не заявлен.
cucafera-instruct — это дообученная для следования инструкциям языковая модель на основе pauhidalgoo/cucafera, разработанная для генерации текста на каталанском языке. Модель построена на архитектуре Llama с плотной трансформерной сетью, содержит около 245 млн параметров и поддерживает контекст до 2048 токенов. Для диалога используется формат ChatML; веса опубликованы в формате safetensors. Модель предназначена для каталаноязычных чат-ботов и генерации текста по запросам: она может помогать с кратким изложением, переводом внутри каталанского языка и творческим письмом. Лицензия — Apache-2.0. Из-за небольшого размера модель ограничена в фактических знаниях и рассуждениях, а обучающие данные охватывают преимущественно каталанский язык. Её ответы могут содержать ошибки и смещения; для важных решений и чувствительных сценариев необходима проверка человеком. README содержит противоречивые утверждения о наличии инструкционного дообучения, поэтому способность надёжно следовать инструкциям нельзя считать гарантированной.
EthioNLP/EthioLLM-s-70k — дообученная EthioNLP модель на архитектуре XLM-RoBERTa для заполнения пропусков в тексте. Она содержит 167 млн параметров и принимает последовательности длиной до 514 токенов. Модель основана на Davlan/afro-xlmr-small и выпущена в формате PyTorch. Модель предназначена для предсказания скрытых токенов в текстах на амхарском, тигринья, сомалийском, оромо и геэзе. Её можно применять в языковых задачах, где требуется восстановить пропущенное слово или фрагмент текста. Лицензия — MIT.
Metin выпустил Gemma-2B-TR-Inst — дообученную на парах турецких инструкций и ответов плотную авторегрессионную языковую модель семейства Gemma с 2,5 млрд параметров. Она предназначена для выполнения инструкций на турецком языке и ответов на вопросы; в качестве обучающих данных использовались примерно 5 тысяч пар из набора Aya, около 550 тысяч токенов. Модель принимает текст и генерирует текст, поддерживает контекст до 8192 токенов и рассчитана прежде всего на турецкий язык, также заявлена поддержка английского. Автор предупреждает, что качество ответов пока ограничено небольшим объёмом инструкционных данных и размером модели, поэтому не рекомендует её для реальных приложений на текущем этапе. Лицензия — Creative Commons Attribution Non Commercial 4.0; также применяются условия использования и ограничения Gemma.
KennethTM разработал небольшую языковую модель GPT-2 на 124 млн параметров для генерации датского текста. Это адаптация английской GPT-2 small: словарные эмбеддинги для датского созданы с помощью WECHSEL, затем модель обучалась на датской части набора OSCAR. Контекст модели составляет 1024 токена; доступны веса в форматах PyTorch и Safetensors. Модель подходит для продолжения датского текста и генерации фрагментов на датском языке. В README указана perplexity 33,5 на 5000 случайных примерах валидации. Для повышения качества на конкретных задачах автор рекомендует дополнительное дообучение. Лицензия в предоставленных данных не указана.
GPT2-Spanish-medium — авторегрессионная языковая модель семейства GPT-2, разработанная Alejandro Oñate Latorre и Jorge Ortiz Fuentes из сообщества Deep ESP. Модель обучена с нуля на испанском корпусе объёмом 11,5 ГБ: статьях Википедии и книгах разных жанров. Используется собственный байтовый BPE-токенизатор с словарём из 50 257 токенов; размер модели соответствует версии GPT-2 medium, контекст — 1024 токена. Модель предназначена для генерации продолжений текста на испанском языке, в том числе художественной прозы, эссе и других текстов в стилях, представленных в обучающем корпусе. Доступны веса в форматах PyTorch, TensorFlow и Flax. Лицензия — MIT. Обучающие данные не фильтровались, поэтому модель может генерировать оскорбительный или дискриминационный текст. Качество и фактическая точность генерации не гарантируются; модель лучше рассматривать как генератор текста, а не как источник проверенных сведений.
Mesolitica Malaysian Mistral 349M — плотная авторегрессионная языковая модель семейства Mistral, предварительно обученная разработчиком Mesolitica на текстах на малайском языке. Модель предназначена для генерации текста и продолжения малайскоязычных текстовых фрагментов. Модель содержит 315,9 млн параметров и принимает текстовый контекст длиной до 32 768 токенов. В репозитории указаны веса в формате Safetensors. Карточка не описывает дополнительные возможности или специализированные сценарии применения; лицензия в предоставленных данных не указана.
Модель NeuraFusionAI/meta-flores-translation-chinese-english-model — дообученная версия T5-base на наборе данных FLORES для перевода между китайским и английским языками. Это плотная encoder-decoder модель T5ForConditionalGeneration с 123,8 млн параметров и контекстом до 512 токенов. Она распространяется в формате safetensors по лицензии Apache-2.0. В карточке приведены результаты оценки: BLEU 0,0, точное совпадение 0,0 и средняя длина генерации 6,5 токена. Эти показатели указывают на существенные ограничения качества перевода в указанной оценке; перед применением модель следует проверить на целевых данных.
ModernBertMultilingual — созданная с нуля многоязычная модель разработчика neavo на архитектуре ModernBERT-base. Она предназначена для восстановления замаскированных токенов и работы с текстами на китайском, английском, японском и корейском языках, включая смешанные восточноазиатские тексты. Модель содержит 226,8 млн параметров и принимает контекст до 8192 токенов по метаданным; в README указана максимальная длина последовательности 512 токенов при обучении. Используется скорректированный словарь серии Qwen2.5. Опубликованы базовая версия для текстов разных областей, контрольная точка до этапа annealing и версия, дообученная на текстах ACGN, включая ранобэ, игры и мангу. Модель распространяется по лицензии Apache-2.0. Основное применение — предсказание пропущенных слов или токенов в многоязычном тексте; это также может служить компонентом языкового анализа и доменной адаптации. Карточка сообщает о хорошей работе со смешанными восточноазиатскими текстами, но не приводит количественных результатов оценки. Данные о версии keyword_gacha_multilingual не относятся к указанному репозиторию.
Ntahokaja 0.31 Base — базовая языковая модель, разработанная Nyehashi AI и обученная с нуля специально для языка кирунди. Это компактная плотная Transformer-модель архитектуры GPT-2 с 91,2 млн параметров, 12 слоями и 12 головами внимания; она использует морфологический BPE-токенизатор, рассчитанный на агглютинативную грамматику банту, и контекст до 512 токенов. Модель предназначена для продолжения текста, лингвистических исследований и дообучения под инструкции. В карточке отмечены знания о географии и политической истории Бурунди, а также склонность отводить вредоносные запросы к темам общественного уважения и конституционного права. Это базовая модель, а не готовый разговорный помощник: она не дообучена для ответов на вопросы, поэтому качество диалога и следования инструкциям не заявлено. Для загрузки с пользовательским токенизатором README указывает необходимость включить trust_remote_code=True. Веса доступны в формате Safetensors; лицензия — Apache-2.0.