I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейKoSOLAR-10.9B-v0.5 — корейская языковая модель для генерации текста, созданная объединением моделей с помощью mergekit и метода SLERP. В объединение вошли hyeogi/SOLAR-10.7B-dpo-v1 и LDCC/LDCC-SOLAR-10.7B; карточка также указывает на дообучение с LoRA на наборе kyujinpy/OpenOrca-KO. Архитектура — плотная LlamaForCausalLM, размер — 10,7 млрд параметров, контекст — 4096 токенов. Модель предназначена для генерации корейского текста и диалоговых ответов в сценариях на основе текстового ввода. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. README не приводит результатов оценки качества или подробных ограничений применения.
Liquid AI LFM2.5-1.2B-JP-MLX-bf16 — экспорт модели LFM2.5-1.2B-JP в формате MLX для инференса на устройствах Apple Silicon. Это плотная причинная языковая модель семейства LFM2.5 с архитектурой LFM2, примерно 1,5 млрд параметров по метаданным; в README указаны 1,2 млрд параметров и точность bfloat16. Модель предназначена для генерации и продолжения японского текста, а метаданные также отмечают диалоговый режим и поддержку английского языка. Заявленная длина контекста — 128 000 токенов. Экспорт рассчитан на запуск через MLX на Apple Silicon и хранится в safetensors. В карточке указана лицензия other, поэтому конкретные условия использования следует сверить с лицензией репозитория и базовой модели. README рекомендует низкую температуру 0,3, min_p 0,15 и штраф за повторения 1,05; качество, скорость и потребление памяти зависят от устройства и настроек инференса.
rasyosef подготовил Llama-3.2-1B-Amharic — плотную авторегрессионную модель семейства Llama на 1,3 млрд параметров. Это базовая модель Meta Llama 3.2 1B, дополнительно предобученная на амхарском корпусе объёмом 300 млн токенов; токенизатор расширен на 16 тысяч амхарских токенов, а слой эмбеддингов изменён соответственно. Модель предназначена для генерации текста на амхарском языке и может служить основой для дальнейшей настройки под инструкции и прикладные сценарии. Метаданные указывают контекст до 131 072 токенов и формат весов Safetensors; модель рассчитана на работу через Transformers. Это базовая языковая модель, а не версия для следования инструкциям. Поэтому ответы в диалоговом формате и выполнение пользовательских запросов могут требовать дополнительного дообучения. README не сообщает лицензию; условия использования следует сверить с карточкой базовой модели Meta Llama 3.2 1B Instruct и условиями репозитория модели.
Llama-3.2-3B-Danoia — дообученная диалоговая языковая модель автора trollek, предназначенная для генерации текста и общения на датском языке. Она основана на huihui-ai/Llama-3.2-3B-Instruct-abliterated и использует архитектуру LlamaForCausalLM с 3,2 млрд параметров. Модель рассчитана на контекст до 131 072 токенов и представлена в формате Safetensors для библиотеки Transformers. Карточка модели сообщает, что она умеет работать на датском языке; метаданные также указывают на обучение на датских наборах Danoia и ProbingPanoia. Модель подходит для диалоговых ответов и генерации датского текста. Используется лицензия Llama 3.2. Подробные оценки качества и специфические ограничения в карточке не описаны.
tartuNLP/Llammas-base-p1-GPT-4o-human-error-mix-paragraph-GEC — дообученная модель семейства Llama, разработанная tartuNLP для исправления грамматических ошибок в абзацах. Она принимает абзац целиком и генерирует его исправленную версию. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и рассчитана на контекст до 4096 токенов. В метаданных указан эстонский язык; для работы используется библиотека Transformers, веса опубликованы в формате safetensors. Лицензия — Llama 2.
Magibu-11b-v0.8 — экспериментальная мультимодальная модель с поддержкой текста и изображений, разработанная Magibu AI Research с фокусом на турецкий язык. По заявлению авторов, модель обучена собственными методами и на собственных данных; Gemma 3 использовалась как архитектурный и инфраструктурный ориентир для совместимости, а не как база для обычного дообучения. Метаданные относят модель к семейству Gemma 3 и указывают библиотеку Transformers. Модель предназначена для диалога, ответов на вопросы и других текстовых задач, а также работы с изображениями. В карточке заявлены около 11,3 млрд параметров и контекст 32 768 токенов. Авторы сообщают о высокой эффективности токенизации турецкого языка и результатах на турецких бенчмарках, однако эти показатели приведены самой командой разработчиков. Модель находится в активной экспериментальной разработке. Возможны орфографические ошибки, галлюцинации и непоследовательные ответы о собственной идентичности; поддержка вызова инструментов пока не реализована, поэтому ответы на актуальные вопросы и вычисления могут быть ненадёжны. Лицензия в предоставленных данных не указана.
facebook/mms-tts-aca — модель синтеза речи на языке ачагуа (aca), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на ачагуа. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль и декодер, формирующий аудиосигнал. Чекпойнт содержит 3,5 млн параметров и распространяется в форматах PyTorch и safetensors. Для воспроизводимого результата требуется фиксировать seed, поскольку предсказатель длительности работает стохастически. Модель доступна через Transformers версии 4.33 и выше и лицензирована по CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-gub — модель синтеза речи на языке гуаджахара (Guajajára), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предсказатель длительности и декодер, формирующий аудиоволну. Размер составляет 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors, модель поддерживается библиотекой Transformers версии 4.33 и новее. Стохастический предсказатель может давать разные ритм и звучание для одного текста; для повторяемого результата нужен фиксированный seed. Модель предназначена для озвучивания текста на гуаджахара, например для создания речевых материалов и доступных аудиоверсий текстов. Лицензия CC BY-NC 4.0 требует указания авторства и не допускает коммерческого использования.
facebook/mms-tts-kno — модель синтеза речи на языке коно (kno), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на коно в речевую аудиоволну и подходит для озвучивания фраз и текстовых материалов на этом языке. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для каждого языка проекта обучается своя модель. Генерация стохастическая: чтобы получить одинаковую речь при повторном запуске, нужно фиксировать seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
facebook/mms-tts-qxl — модель синтеза речи на языке Quichua, Salasaca Highland (qxl), созданная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. В метаданных указаны 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Предиктор длительности стохастический, поэтому один и тот же текст может звучать по-разному; для воспроизводимого результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.
facebook/mms-tts-tly — модель синтеза речи на языке талыш, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на талышском языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза речи он сочетает текстовый энкодер, вероятностное моделирование длительности и декодер аудиосигнала. Модель доступна через библиотеку Transformers версии 4.33 и выше и распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.
Это 4-битная версия Openthaigpt-1.0.0-7b-chat, преобразованная сообществом mlx-community из openthaigpt/openthaigpt-1.0.0-7b-chat в формат MLX для запуска с mlx-lm. Модель представляет собой плотную авторегрессионную языковую модель семейства Llama с 6,6 млрд параметров и контекстом до 4096 токенов. Модель предназначена для генерации текста в диалоговом режиме на тайском и английском языках. Репозиторий указывает лицензию Apache-2.0. Карточка этой конверсии не приводит подробностей о качестве ответов и специфических ограничениях исходной модели.
SmartGitiCorp/Persian_Llama3 — репозиторий, созданный для распространения Llama 3 среди персоязычных пользователей. Согласно README, это та же модель Llama 3; карточка не сообщает о дополнительном дообучении или адаптации. Модель представляет собой плотную авторегрессионную архитектуру LlamaForCausalLM с 7,5 млрд параметров и контекстом до 8192 токенов. Она предназначена для генерации текста, в том числе на персидском языке. В репозитории указаны веса Safetensors. README утверждает, что модель доступна без ограничений или лицензии, однако условия использования базовой Llama 3 в предоставленных данных не уточняются. Языковые возможности, помимо назначения для персоязычных пользователей, подробно не описаны.
Модель Atsuki Yamaguchi — языковая модель Qwen2.5-7B-Instruct, адаптированная для телугу. Она продолжительно предобучена на 500 млн токенов телугу из MADLAD-400; словарь расширен на 10 тыс. токенов, а веса новых эмбеддингов и LM head инициализированы средним значением. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов на телугу. Её можно применять для ответов на запросы, создания и продолжения текстов на этом языке. Для работы предусмотрена библиотека Transformers; веса опубликованы в формате safetensors. Лицензия — Apache 2.0.
sabaridsnfuji/Qwen3-1.7B-tamil-16bit-Instruct — дообученная разговорная языковая модель семейства Qwen3 с плотной архитектурой Qwen3ForCausalLM и 1,7 млрд параметров. Разработчик позиционирует её как ранний шаг к набору моделей для тамильского языка; в метаданных также указан английский язык. Модель принимает текст и генерирует текст, поддерживает контекст до 40 960 токенов и интерфейс для вызова инструментов. Модель предназначена для диалога и генерации текста. В карточке приведены заявленные оценки качества 70,4%, беглости 91,4% и безопасности 98,4%; методика и наборы оценки не описаны. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.
شاهين-v0.1 — языковая модель на 14 млрд параметров для общения на сирийском диалекте арабского языка. По README, модель разработана специально для сирийской разговорной речи, региональных вариантов и идиом; также заявлена базовая поддержка современного литературного арабского. Метаданные указывают на архитектуру Qwen2 с плотной моделью Qwen2ForCausalLM, библиотеку Transformers и контекст до 131 072 токенов. Модель предназначена для диалогов, создания контента, ответов с учетом сирийского культурного контекста, исторического анализа и образовательных задач. README описывает обучение на сирийской разговорной речи, литературе, исторических архивах и пользовательском контенте; метаданные отмечают возможности чата и интерфейс вызова инструментов. Указанный в README «custom architecture» расходится с метаданными об архитектуре Qwen2, поэтому архитектурные сведения основаны на метаданных. README не называет базовую модель, а описание обучения не позволяет уверенно определить происхождение весов; поэтому происхождение отмечено как неизвестное. Информация о лицензии отсутствует в предоставленных данных.
Sungur-9B — турецкоязычная языковая модель для генерации текста и диалоговых ответов, разработанная suayptalha. Она основана на ytu-ce-cosmos/Turkish-Gemma-9b-v0.1 и Gemma 2 9B и дополнительно обучена методом Direct Preference Optimization на наборе из 7 тысяч примеров, созданном с помощью перевода; для дообучения применялась QLoRA с 4-битной квантизацией. Модель имеет плотную архитектуру Gemma 2, содержит 9 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для связной генерации текста на турецком языке, контекстно-зависимых ответов и диалогового общения. В карточке приведены результаты оценки на турецких версиях MMLU, TruthfulQA и ARC; это результаты конкретного бенчмарка, а не гарантия качества для всех запросов. Модель распространяется в формате safetensors по лицензии Gemma.
Tashkeel-700M — модель для расстановки диакритических знаков в арабском тексте, разработанная Etherll. Это дообученная версия LiquidAI/LFM2-700M на наборе данных arbml/tashkeela. Модель использует плотную архитектуру LFM2 и содержит около 956,3 млн параметров; максимальная длина контекста — 128 000 токенов. Модель принимает арабский текст и возвращает его с огласовками, например преобразует «السلام عليكم» в «السَّلَامُ عَلَيْكُمْ». Она предназначена для автоматической огласовки арабских текстов. Доступна в формате safetensors и распространяется по лицензии Apache-2.0.
Vakyansh — модель автоматического распознавания речи на основе Wav2Vec2ForCTC, разработанная командой Vakyansh при поддержке Ekstep Foundation. Она дообучена на многоязычной предварительно обученной модели CLSRIL-23 и предназначена для преобразования речи на тамильском языке в текст. Веса представлены в формате PyTorch; число параметров — около 113,3 млн. Для распознавания аудио должно быть записано с частотой дискретизации 16 кГц. Модель работает без языковой модели, поэтому в некоторых случаях может давать повышенную частоту ошибок слов. README сообщает об обучении на 4200 часах размеченных данных на хинди, что расходится с тамильским языком в метаданных и идентификаторе репозитория; описанные в карточке результаты оценки относятся к тесту на хинди и не подтверждают качество для тамильской речи. Лицензия — MIT.
wav2vec2-large-xls-r-300m-assamese — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе Common Voice 7.0. Она принимает аудио и преобразует речь на ассамском языке в текст; архитектура основана на Wav2Vec2ForCTC, число параметров — около 402,7 млн. Модель предназначена для автоматической транскрипции ассамской речи. В карточке приведены результаты оценки на тестовом наборе: WER 0,795 и CER 0,323, что указывает на существенные ошибки распознавания. Лицензия — Apache-2.0.
Whisper large-v3-turbo-singlish — модель автоматического распознавания речи, разработанная Ming Jie Wong на основе openai/whisper-large-v3-turbo. Это encoder-decoder-модель семейства Whisper с 905,2 млн параметров, дообученная на 66,9 тыс. пар аудиозаписей и транскрипций из разговорного корпуса IMDA National Speech Corpus. Она предназначена для транскрибирования английской речи с особенностями сингапурского разговорного английского Singlish; аудиофрагменты обучающего набора были записаны с близко расположенных микрофонов, ограничены длительностью до 20 секунд и приведены к частоте 16 кГц. Модель принимает аудио и выдаёт текст. В README приведены результаты оценки на SASRBench-v1, но дополнительные сведения об экспериментах обещаны позднее. Распознавание может быть неточным при сложных условиях записи и для нестандартных вариантов речи, поэтому результаты стоит проверять перед чувствительным или производственным применением. Лицензия — MIT.
BrianMwangi/African-Kikuyu-TTS — модель синтеза речи на языке кикуйю (гĩкуйю), размещённая Brian Mwangi на Hugging Face на основе facebook/mms-tts-kik из проекта Massively Multilingual Speech компании Facebook. Это компактная модель VITS на 3,5 млн параметров, принимающая текст и генерирующая речь; в репозитории веса представлены в формате safetensors. Модель предназначена для озвучивания фраз на кикуйю, в том числе в приложениях для изучения языка, доступности и цифрового сохранения языка. Модель ориентирована на кикуйю, распространённый в центральной Кении язык. Она доступна по лицензии CC BY-NC 4.0, которая требует указания авторства и ограничивает коммерческое использование. Качество зависит от исходных данных MMS: возможны ошибки на незнакомых словах и различия в произношении между диалектами.
AraToken-Qwen3-0.6B-LEP — языковая модель mariklolik на архитектуре Qwen3, адаптированная для арабского языка с помощью Language Extension Pipeline (LEP). В словарь добавлено 130 890 токенов AraToken; новые строки эмбеддингов и слои трансформера 24–27 обучались на 500 млн токенов арабского корпуса FineWeb2-HQ, а исходные строки эмбеддингов были заморожены. Модель содержит 641,9 млн параметров, имеет контекст до 32 768 токенов и распространяется в формате safetensors. Модель предназначена для генерации текста и работы с арабским языком. Токенизатор включает нормализацию NFKC, удаление татвиля, замену цифр на западно-арабские, а также обработку латинской пунктуации и диакритики; поэтому необработанный арабский текст можно подавать напрямую. В приведённой оценке модель улучшает показатель BPC для арабского текста и точность на OALL v2 native-Arabic по сравнению с базовой Qwen3-0.6B-Base, при этом показатель BPC на английском хуже. Лицензия — Apache-2.0.
charliemcvicker/asr-cherokee — дообученная модель распознавания речи на архитектуре Wav2Vec2ForCTC, основанная на facebook/wav2vec2-large-xlsr-53. Она содержит 402,7 млн параметров и принимает аудио, чтобы преобразовывать речь в текст. Модель предназначена для автоматического распознавания речи на языке чероки. В карточке приведены результаты оценки: WER 0,5301 и CER 0,0658. Описание не уточняет набор данных, условия записи и ограничения применения, поэтому эти метрики не позволяют судить о качестве на других аудиозаписях. Модель распространяется по лицензии Apache-2.0.
Beetle-FineWeb2-24B/beetle-bilingual-l2-80-late-b5-fineweb-spa-eng — двуязычная модель генерации текста из семейства Beetle-FineWeb2-24B, опубликованная на Hugging Face. По идентификатору она предназначена для работы с испанским и английским языками. Разработчик в карточке модели не указан, поэтому установить его по доступным данным нельзя. Модель поддерживает задачу text generation и может использоваться через Transformers с пользовательским кодом модели. Указанный размер составляет около 0,2 млрд параметров, формат хранения — Safetensors, тип тензоров — F32. Архитектура, размер контекстного окна, точные языковые характеристики, данные и процедура обучения, результаты оценки и специализированные сценарии применения в карточке не описаны. К преимуществам относятся небольшой размер и заявленная ориентация на двуязычную генерацию испанского и английского текста. Ограничения связаны с отсутствием опубликованных сведений о качестве, тестировании, рисках, предельных сценариях применения и контекстном окне; поэтому делать выводы о сравнительной производительности и надежности нельзя. Лицензия в доступной карточке не указана.
Koichi Yasuoka разработал эту японскую модель BERT для морфологического анализа текста. Она дообучена на базе KoichiYasuoka/bert-large-japanese-char-extended и размечает короткие слова универсальными частями речи UPOS; карточка также указывает назначение для синтаксического анализа зависимостей. Модель обучена на текстах японской Википедии и данных Universal Dependencies. Это плотная архитектура BERT с 409,1 млн параметров, рассчитанная на входные последовательности длиной до 512 токенов. Модель принимает японский текст и выдаёт метки для токенов; для её загрузки и применения карточка показывает Transformers и PyTorch. Модель подходит для разметки частей речи и синтаксического анализа японских текстов. Лицензия — CC BY-SA 4.0.
KothaGPT/bilingual-lm — двуязычная авторегрессионная языковая модель организации KothaGPT для генерации текста на бенгальском языке (Bangla) и английском. Модель построена на архитектуре GPT-2: 12 слоёв трансформера и 12 голов внимания; использует токенизатор SentencePiece с общим двуязычным словарём. Метаданные указывают контекст длиной 1024 токена и загрузку через Transformers. Модель предназначена для генерации общего текста, продолжения фрагментов и диалоговых сценариев, включая смешанный текст на бенгальском и английском. В README заявлена скорость около 50 токенов в секунду на CPU, но показатель perplexity «85%» на задачах классификации не описан достаточно ясно и не подтверждает качество генерации. Указанная лицензия — Apache 2.0.
Cabra-72b — чат-модель на 71 млрд параметров, созданная botbotrobotics дообучением Qwen/Qwen1.5-72B-Chat на внутреннем наборе данных Cabra 30k. Она рассчитана прежде всего на общение и генерацию текста на португальском языке; автор сообщает об улучшении результатов на нескольких бенчмарках для Бразилии относительно базовой модели. Модель использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Модель может отвечать на вопросы и вести диалог на португальском. В карточке приведены результаты португалоязычных оценок, но обучающий набор Cabra 30k не опубликован, поэтому воспроизвести обучение по карточке нельзя. Автор указывает, что модель предназначена для исследований и запрещена к коммерческому использованию. Лицензия — CC BY-NC 2.0.
CAMeLBERT-MSA GED-13 — модель CAMeL Lab для обнаружения грамматических ошибок в текстах на современном стандартном арабском языке (MSA). Это BERT-модель с 136,3 млн параметров, дообученная для классификации токенов на наборе QALB-2014. Модель рассчитана на работу с морфологически предобработанным текстом; доступна для использования через pipeline библиотеки Transformers. Модель подходит для разметки токенов, связанных с грамматическими ошибками, и может служить компонентом систем проверки арабского текста. Контекст составляет до 512 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Результаты на обычном, непредобработанном тексте могут отличаться, поскольку модель обучалась на морфологически предобработанных данных.
CantoneseLLM-v2.0-30B-A3B-Thinking-Chat-Vector-Merged — промежуточная языковая модель MoE от hon9kon9ize на архитектуре Qwen3. Она основана на Qwen3-30B-A3B-Base, продолжительно предобучена на 784 млн токенов текстов на кантонском и о Гонконге, а затем объединена с чат-вектором Qwen3-30B-A3B-Thinking-2507. Метаданные указывают 2,6 млрд параметров и контекст 40 960 токенов; в README указано 30,5 млрд параметров всего и 3,3 млрд активируемых. Модель принимает текст и генерирует ответы в диалоге; поддерживает кантонский, китайский и английский языки. Она предназначена для ответов с учётом знаний о Гонконге и выполнения инструкций, а также для воспроизведения абляций из исследования CantoneseLLM v2. Модель может рассуждать длинными цепочками, но её внутренние рассуждения переходят с кантонского на письменный китайский; итоговый ответ при этом может быть на кантонском. Это промежуточный базовый чекпойнт, и автор рекомендует финальную модель, если важно рассуждение именно на кантонском. Инструкционное поведение унаследовано от чат-вектора, дополнительного дообучения на кантонских инструкциях не было. Указаны ухудшение результата английского MMLU относительно модели-донорa, тонкие знания о Гонконге, непроверенное поведение на длинном контексте и склонность к галлюцинациям. Лицензия — Apache-2.0.