I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейKARAKURI Inc. разработала karakuri-vl-2-8b-thinking-2603 — мультимодальную модель «текст–изображение–текст» семейства Qwen3-VL, дообученную на Qwen/Qwen3-VL-8B-Thinking. Она принимает текстовые запросы и изображения и предназначена для диалогового анализа визуального содержимого с текстовыми ответами. Модель поддерживает японский и английский языки; в метаданных указаны архитектура Qwen3VLForConditionalGeneration и формат весов safetensors. Для запуска используется библиотека Transformers. Лицензия — Apache 2.0. Подробности о размере, длине контекста и специализированных сценариях дообучения в карточке не приведены.
KULLM-Polyglot-5.8B-v2 — языковая модель, разработанная nlpai-lab и полученная параметрически эффективным дообучением EleutherAI/polyglot-ko-5.8b на наборе данных KULLM v2. Она построена на архитектуре GPT-NeoX, содержит 7,6 млрд параметров и предназначена для генерации текста.
Kyara — экспериментальная предварительная версия модели генерации текста, созданная на основе Meta Llama 3.2 1B Instruct. Проект использует подход Knowledge Yielding Adaptive Retrieval Augmentation для улучшения языкового понимания и адаптации знаний, уделяя особое внимание традиционному китайскому языку, для которого доступно меньше обучающих данных. Модель предназначена для диалогов и генерации текста на китайском и английском языках. В README приведены результаты нулевой оценки на TMMLUPlus: 31,92 балла у Kyara-1b-it против 30,48 у базовой Llama 3.2 1B Instruct; авторы описывают модель как предварительную, а стабильный выпуск — как будущий. Это дообученная плотная модель семейства Llama с 1,2 млрд параметров, контекстом до 131 072 токенов и форматом Safetensors. Лицензия — llama3.2.
airesearch создала демонстрационную чат-модель на архитектуре Llama 3, дообученную методом QLoRA в пайплайне WangchanX Fine-tuning Pipeline. Модель содержит 7,5 млрд параметров, работает с текстом и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации диалоговых ответов на тайском и английском языках. В карточке показан пример ответа на вопрос о различиях между традиционными театральными жанрами; качество приведённого ответа выглядит ненадёжным и может включать фактические ошибки. Модель опубликована в формате safetensors под лицензией Meta Llama 3 Community License, условия которой распространяются на её использование.
MalayaLLM 7B Base — языковая модель на архитектуре LLaMA 2, разработанная для генеративных задач на малаялам. Автор выполнил непрерывное предварительное обучение модели meta-llama/Llama-2-7b-hf на корпусах на малаялам; словарь расширен примерно до 18 000 токенов. Модель содержит 6,7 млрд параметров, принимает текст и генерирует текст, а заявленный контекст составляет 4096 токенов. Модель предназначена для генерации текстов и ответов на вопросы на малаялам; также заявлена поддержка английского. Это ранняя версия, и README указывает, что дальнейшее обучение и донастройка на более полном наборе данных нужны для улучшения качества. Модель распространяется под лицензией Apache-2.0.
saiyiram/mbert-tamil-pos-tagging — модель на базе многоязычного BERT от Google, дообученная для разметки частей речи в тексте на тамильском языке. Она принимает текст и присваивает метку каждому токену; модель реализована как BertForTokenClassification и доступна в формате safetensors. Размер — 205,1 млн параметров, максимальная длина контекста — 512 токенов. В README указаны результаты оценки: accuracy 0,8155, macro F1 0,6485 и weighted F1 0,8040. Обучающий датасет в карточке не описан. Модель выпущена под лицензией Apache-2.0.
opsiryotzu дообучил MiniCPM5-1B для использования на индонезийском языке. Это плотная языковая модель архитектуры Llama с 837,6 млн параметров, представленная в формате safetensors. Она предназначена для генерации текста и диалогов на индонезийском; базовая модель также поддерживает английский и китайский. Контекстное окно составляет до 131 072 токенов, доступны чат-интерфейс и интерфейс вызова инструментов. Модель опубликована по лицензии Apache-2.0. В README модель названа экспериментом по адаптации базовой модели к индонезийскому языку. Поэтому её качество для конкретных задач следует проверять отдельно; данных о результатах оценки в карточке нет.
facebook/mms-tts-kjb — модель синтеза речи на языке к’анхобаль (Q’anjob’al, код kjb), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов для языка с ограниченными цифровыми ресурсами. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; он доступен для использования через библиотеку Transformers. Генерация зависит от стохастического предсказателя длительности: один и тот же текст может звучать по-разному, а для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
facebook/mms-tts-kpy — модель синтеза речи на корякском языке, разработанная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой сигнал и предназначена для озвучивания корякских текстов. Для каждого языка в MMS обучается отдельная модель. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система на основе условного вариационного автоэнкодера с Transformer-энкодером текста, потоковым модулем и декодером, построенным по принципу HiFi-GAN. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста; поэтому для повторяемого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и некоммерческого применения. Модель специализирована на корякском языке; сведения о качестве синтеза и дополнительных возможностях в карточке не приведены.
facebook/mms-tts-qve — модель синтеза речи на восточно-апурима-кечуа, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке кечуа (qve) в речевой сигнал и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт, обученный для одного языка; MMS-TTS доступна через библиотеку Transformers. Генерация стохастическая: чтобы получить одинаковый результат для одного и того же текста, нужно фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-run — модель синтеза речи для языка рунди (Rundi), разработанная в рамках проекта Massively Multilingual Speech (MMS). Это отдельный языковой чекпойнт семейства VITS, который преобразует входной текст в речевую волну. Архитектура VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors. Модель предназначена для озвучивания текста на рунди. Стохастический предсказатель длительности позволяет получать варианты произношения и ритма для одного и того же текста; для повторяемого результата требуется фиксировать seed. Использование возможно через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-shp — модель синтеза речи для языка шипибо-конибо, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на шипибо-конибо в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель построена на архитектуре VITS и обучается отдельно для каждого языка в проекте MMS. Вариативный предиктор длительности позволяет синтезировать разные ритмы речи для одного текста, поэтому результат может меняться между запусками; фиксированный seed позволяет повторить генерацию. В метаданных указано 3,5 млн параметров. Модель доступна через Transformers версии 4.33 и новее и распространяется по лицензии CC BY-NC 4.0, предусматривающей некоммерческое использование.
Koichi Yasuoka разработал эту модель на основе KoichiYasuoka/roberta-base-vietnamese: RoBERTa дообучена для разметки частей речи на вьетнамском языке. Она присваивает каждому слову тег UPOS из универсального набора частей речи и предназначена для анализа вьетнамских текстов; карточка также указывает на использование в разборе зависимостей. Модель содержит 137,8 млн параметров, принимает текст и имеет контекстное окно 512 токенов. Это модель token classification на PyTorch, обученная на данных Universal Dependencies. Лицензия — CC BY-SA 4.0.
Sarashina2-13B — большая языковая модель, разработанная SB Intuitions и обученная на японских и английских текстах. Это плотная авторегрессионная модель архитектуры Llama 2 с 13,2 млрд параметров; версия 13B использует 40 слоёв и скрытое измерение 5120. Модель обучена на корпусе объёмом 2,1 трлн токенов. Для токенизации используется SentencePiece с unigram-моделью и byte fallback; японские тексты можно подавать без предварительной токенизации специализированным японским токенизатором. Модель предназначена для генерации текста на японском и английском языках: продолжения фрагментов, создания черновиков и языковых экспериментов. Контекст составляет 4096 токенов. Модель не настроена следовать инструкциям, поэтому может выдавать бессмысленный, неточный, предвзятый или нежелательный текст; для диалоговых и пользовательских сценариев разработчики рекомендуют дополнительную настройку с учётом человеческих предпочтений и безопасности. Лицензия — MIT.
krevas/SOLAR-10.7B — языковая модель для генерации текста, опубликованная пользователем krevas на Hugging Face. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 10,6 млрд параметров; доступна в формате safetensors и рассчитана на контекст до 4096 токенов. В метаданных указан корейский язык. В README сообщается, что модель дообучали с помощью DeepSpeed, HuggingFace TRL Trainer и HuggingFace Accelerate; для обучения использовали четыре ускорителя A100. Модель подходит для генерации текста на корейском языке. Базовая модель и подробности набора данных в предоставленных материалах не указаны. Лицензия — Apache-2.0.
whisper-small-pld-ceb — модель распознавания речи на основе Whisper Small от OpenAI, дообученная автором sapinsapin на части ceb датасета PLD с чтением вслух. Она предназначена для транскрибирования речи на себуано; при обучении качество выбирали по CER на отложенной выборке. В README приведены значения CER 0,0259 и WER 0,0510 для отложенного набора; метрики рассчитаны после приведения текста к нижнему регистру. Модель принимает аудио и выдаёт текстовую расшифровку. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Хотя базовый Whisper Small многоязычный, эта версия обучалась на себуанской части PLD, поэтому её пригодность для других языков из имеющихся данных не следует.
AfroXLMR-large-76L — языковая модель Davlan на архитектуре XLM-R-large, дообученная методом адаптации MLM на корпусе из mC4, Wikipedia и данных OPUS для 76 языков, широко используемых в Африке, включая четыре высокоресурсных языка. Модель предназначена для заполнения пропусков в тексте и получения вероятных вариантов слова или токена по контексту. Чекпойнт содержит 658,7 млн параметров, принимает текст и имеет контекст длиной до 514 токенов. Поддерживает английский, амхарский, арабский, сомалийский, суахили, португальский, африкаанс, французский и множество других африканских языков. Опубликован в форматах PyTorch, Flax и Safetensors. Лицензия MIT.
Heoni/Aguie-chat_v0.1 — чат-модель на архитектуре Llama, созданная как версия Aguie_v0.1 с непрерывным обучением. В README указано, что модель обучалась на 3 000 000 примерах; метаданные указывают 13 млрд параметров и контекст до 2048 токенов. Модель предназначена для генерации текста в диалоге. В карточке приведён корейский фрагмент диалога, а метаданные отмечают корейский и английский языки. Репозиторий содержит веса PyTorch и опубликован под лицензией CC BY-NC-ND 4.0, которая ограничивает коммерческое использование и распространение производных версий.
Bakpia V1 9B — диалоговая языковая модель, разработанная для ответов на яванском языке. Эта версия содержит веса fp16 и основана на Gemma 2 9B Instruct; модель дообучена методом LoRA на синтетических данных для яванского уровня Krama. В обучающий набор вошли 36 тысяч пар запросов и ответов, а версия представлена как бета-предпросмотр. Модель предназначена для одношаговых вопросов и ответов в разных областях и генерации текста на яванском языке. Она имеет архитектуру Gemma 2 с 9 млрд параметров и контекстное окно 8192 токена. Для обучения использованы запросы, созданные GPT-4o, и ответы Claude 3 Haiku; датасет доступен на Hugging Face как afrizalha/Gatra-2-Javanese. Лицензия — Apache-2.0.
bart4csc-base-chinese — модель семейства BART для исправления орфографических ошибок в китайском тексте, опубликованная shibing624. Она обучена на данных SIGHAN и Wang271K и принимает предложение с ошибками, выдавая исправленный вариант. В репозитории указаны 72,8 млн параметров, контекст до 512 токенов и форматы PyTorch и safetensors; модель ориентирована на китайский язык. На тестовом наборе SIGHAN2015 автор сообщает точность на уровне предложения 0,6845 и F1 0,6654. Модель подходит для автоматической коррекции китайского текста и экспериментов с исправлением орфографии. Лицензия — Apache-2.0.
Bashkir Diacritics Restorer v1.2 — компактная модель автора failed09 для восстановления специфических букв башкирского алфавита в тексте, где диакритические знаки пропущены. Она использует символьную архитектуру Conv1D и двунаправленную GRU с 1,18 млн параметров и поставляется в формате ONNX для локального запуска, в том числе на CPU. Модель обрабатывает башкирскую кириллицу и старается сохранять латиницу, технические токены и уже введённые башкирские буквы. Модель предназначена для очистки башкирского текста, подсказок в экранных клавиатурах и постобработки ввода. На проверенной выборке из 1 000 примеров автономная версия показала точное восстановление 83,6% строк и сохранила без изменений 97,6% чистого текста; автор отмечает, что тестовые цели сгенерированы автоматически. Публичная версия не включает словарь и языковую модель KenLM, которые могут улучшить восстановление известных форм и смешанного ввода. Это восстановитель букв, а не универсальная проверка орфографии или генератор текста. Неоднозначные слова могут остаться без изменений; смешение языков, диалектные и новые формы, а также шум OCR требуют проверки. Модель распространяется по лицензии CC BY 4.0.
ChatWaifu 72B v2.2 — диалоговая модель, разработанная spow12 и собранная с помощью mergekit из нескольких моделей семейства Qwen2.5 и других производных. Она предназначена для общения в заданной персонажной роли, ролевых диалогов и создания агентных сценариев с сохранением образа waifu. Модель поддерживает английский и японский языки, имеет архитектуру Qwen2 dense CausalLM, содержит 71,5 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель также может генерировать тексты, отвечать на инструкции и использовать интерфейс вызова инструментов; в карточке упомянуты датасеты для диалогов, ролевых сценариев, программирования и перевода. Доступны веса в формате safetensors. Лицензия CC BY-NC 4.0 и условия карточки ограничивают использование некоммерческими и исследовательскими целями.
Xenova/EsperBERTo-small-pos — модель семейства RoBERTa для разметки частей речи в последовательностях текста. Репозиторий содержит дубликат модели EsperBERTo-small-pos и рассчитан на использование с Transformers.js; размер модели составляет 96,6 млн параметров, длина контекста — 514 токенов. По языковому тегу eo модель предназначена для эсперанто. Модель принимает текст и присваивает метки токенам, что подходит для автоматической разметки частей речи в предложениях на эсперанто. В репозитории доступны форматы PyTorch, Flax, ONNX и safetensors. Лицензия в предоставленных данных не указана.
Gemma-4-E4B-it-Minecraft-MT-en-zh-v0.1-i1-GGUF — квантизированная GGUF-версия модели Q1ngMang/Gemma-4-E4B-it-Minecraft-MT-en-zh-v0.1, подготовленная mradermacher. Модель ориентирована на работу с тематикой Minecraft и перевод между английским и китайским языками. В README также указано, что это vision-модель, однако подробности о поддерживаемых визуальных входах не приведены. Модель распространяется в нескольких вариантах квантизации i1, включая IQ и QK-типы, с размером файлов примерно от 4,5 до 6,3 ГБ. Доступны варианты с разным компромиссом между размером, скоростью и качеством: Q4_K_M отмечен как быстрый и рекомендуемый, Q4_K_S — как сбалансированный, а Q6_K — как близкий по характеристикам к статической квантизации Q6_K. Квантизация снижает требования к ресурсам, но может ухудшать качество по сравнению с исходной моделью; конкретные архитектурные параметры, размер контекста и требования к видеомодулю не указаны. Лицензия модели — CC BY-NC-SA 4.0, поэтому перед использованием необходимо учитывать условия атрибуции, некоммерческого применения и распространения производных работ. Модель предназначена для локального запуска в совместимом ПО, поддерживающем формат GGUF; для визуальных сценариев могут потребоваться дополнительные mmproj-файлы из статического репозитория.
Koichi Yasuoka разработал эту модель для разметки частей речи в японском тексте. Она дообучена на базе японской GPT-2 XL и использует архитектуру GPT-2 с классификационной головой для токенов; модель присваивает словам метки UPOS и признаки FEATS. Для работы в примере README используется библиотека Transformers и требуется fugashi. Контекст модели — до 1024 токенов. Модель подходит для морфосинтаксического анализа японских предложений и подготовки данных с разметкой частей речи. Она принимает текст и выдаёт метки для его токенов. Обучение связано с Universal Dependencies. Модель распространяется по лицензии CC BY-SA 4.0.
InkubaLM-0.4B — компактная языковая модель Lelapa AI, обученная с нуля исследовательской командой Fundamental Research Team. Она содержит 0,4 млрд параметров, использует архитектуру, основанную на дизайне LLaMA-7B, и словарь размером 61 788 токенов. Для обучения использовано 2,4 млрд токенов, включая данные на пяти африканских языках, а также английском и французском; основной датасет — Inkuba-Mono. Модель предназначена для генерации текста и работы с африканскими языками: суахили, йоруба, хауса, исизулу и исикоса. Также поддерживаются английский и французский. В карточке упомянуты оценки для анализа тональности, машинного перевода, AfriMMLU и AfriXNLI, но модель позиционируется как базовая языковая модель, а не специализированная система для этих задач. Модель может смешивать языки, выдавать неточные или несогласованные ответы и отражать смещения из обучающих данных; её оценка охватывает ограниченный набор задач. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
Iran-v1 — модель генерации текста, разработанная командой Fibonacci AI. Это компактная плотная авторегрессионная языковая модель на архитектуре YasinForCausalLM с 189,6 млн параметров и контекстом до 1024 токенов. Модель предназначена прежде всего для генерации текста и диалогового взаимодействия на персидском языке; в метаданных также отмечена поддержка английского. Модель опубликована в формате safetensors и использует библиотеку Transformers. В карточке указано, что при первом запуске веса загружаются автоматически. Лицензия — Apache-2.0. Подробные результаты оценки и конкретные ограничения качества из доступного текста карточки установить нельзя.
Japanese StableLM Instruct Gamma 7B — японская инструкционная языковая модель, разработанная Stability AI. Репозиторий TheBloke содержит её квантизированные версии в формате GGUF, предназначенные для локального запуска и инференса. Модель имеет около 7 млрд параметров, относится к архитектурному типу Mistral и представляет собой авторегрессионную causal language model для генерации текста. Она ориентирована прежде всего на японский язык и задачи следования инструкциям, включая диалоговые сценарии, ответы на запросы и генерацию текста с учётом заданного контекста. Для корректной работы предусмотрен специальный шаблон промпта Japanese-StableLM-Instruct. Формат GGUF поддерживается llama.cpp и рядом совместимых интерфейсов и библиотек, включая text-generation-webui, LM Studio, KoboldCpp и llama-cpp-python; доступны варианты с разными уровнями квантизации от 2 до 8 бит, что позволяет выбирать между качеством, скоростью и потреблением памяти при CPU+GPU-инференсе. Ограничения включают специализацию на японском языке, возможное снижение качества из-за квантизации и отсутствие данных о размере контекстного окна и результатах оценки. Модель распространяется по лицензии Apache-2.0.
Карточка модели Faizaniqbal/koshur-diacritizer-byt5-small на Hugging Face совпадает с карточкой Omarrran/koshur-diacritizer-byt5-small, поэтому описание составлено по ней. Omarrran разработал модель Koshur Diacritizer ByT5 Small — дообученную на Kashmiri/Koshur версию байтовой модели ByT5-small для восстановления диакритических знаков. Она преобразует текст на кашмири без диакритики в текст с диакритикой, используя архитектуру T5 для последовательного преобразования текста. Размер модели — 364,6 млн параметров; модель работает с текстом и загружается через Transformers. По оценке авторов, средняя точность по оценкам рецензентов составляет около 77,5%; на тестовом наборе из 1150 предложений частота ошибок по буквам с диакритикой (DER marked) составила 20,12%. Байтовая токенизация помогает сохранять комбинируемые знаки письма персо-арабской графики. Ограничения включают ошибки на редких случаях и усечение длинных входов; защитная проверка в примере применения отклоняет выводы, меняющие согласный каркас исходного текста. Лицензия — Apache-2.0.
Модель 42MARU/ko-spelling-wav2vec2-conformer-del-1s — корейская система распознавания речи, разработанная TADev. Она основана на архитектуре wav2vec2-conformer и дообучена с помощью Wav2Vec2ConformerForCTC на наборе KsponSpeech; при подготовке данных использовалась фильтрация записей длительностью не более одной секунды. Модель содержит 113,3 млн параметров и предназначена для транскрибирования корейской речи с передачей орфографии; числа и английские слова записываются согласно принятой для них форме написания. Для оценки авторы использовали метрику WER и приводят результаты Beam-100: 22,01 для поднабора clean и 27,34 для other. Модель принимает аудио и выдаёт текст. Распознавание ориентировано на корейский язык и данные KsponSpeech, поэтому точность на других языках и доменах не подтверждена. Распространяется по лицензии Apache-2.0.