I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейNADI2024-baseline — модель на основе BERT, дообученная AMR-KELEG для определения арабского диалекта в тексте. Она предназначена для классификации арабских высказываний по диалектам; при обучении использованы наборы NADI2020, NADI2021, NADI2023 и MADAR 2018. Хотя модель описана как одно-меточная, логиты применяются для формирования многометочных предсказаний. Модель дообучена на базе MarBERTv2, имеет 190 млн параметров и контекст до 512 токенов. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
Helsinki-NLP/opus-mt-de-de — модель машинного перевода из семейства Marian, разработанная для проекта OPUS. Она преобразует текст на немецком языке в немецкий, например, нормализует или переформулирует немецкие фразы. Модель основана на Transformer с выравниванием, использует нормализацию и SentencePiece и обучена на данных OPUS. В README приведён результат BLEU 40,7 на тесте Tatoeba.de.de. Модель содержит 42,2 млн параметров, поддерживает контекст до 512 токенов и распространяется в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0. Карточка описывает только направление немецкий→немецкий; качество на других языках и задачах не подтверждено.
OronTTS — модель синтеза речи по тексту для халха-монгольского языка с кириллическим письмом, разработанная btsee. Это дообученная версия F5-TTS на очищенной монгольской речи из трёх открытых корпусов. Модель создаёт речь двумя фиксированными голосами: мужским и женским. В README приведены результаты проверки на отложенных предложениях для обоих голосов: CER около 0,056–0,063 и сходство голоса с собственным образцом 0,717–0,741. Выходное аудио широкополосное, примерно 8 кГц. Для корректного произношения текст нужно нормализовать с помощью MongolianNormalizer; цифры, латинские буквы и знаки пунктуации без нормализации могут пропускаться. Для синтеза следует отключить EMA-веса (`use_ema=False`), поскольку они могут выдавать беглую, но бессмысленную речь. Модель распространяется по лицензии CC BY 4.0. Авторы отмечают, что прослушивание людьми не проводилось, UTMOS не валидирован для монгольского языка, а CER может быть завышенно оптимистичным из-за сходства обучающих данных и данных оценщика. В README также указано, что у аудио нет водяных знаков и что согласие участников Common Voice на клонирование их индивидуальных голосов не получено.
qwen3.5-4b-amharic-sft — дообученный адаптер LoRA для генерации текста на базе rodrigomt/Qwen3.5-4B-Uncensored-Aggressive. Модель опубликована пользователем или организацией abdukuzi45. По названию адаптер ориентирован на задачи, связанные с амхарским языком, однако README не содержит подробностей о наборе данных и фактическом языковом покрытии. Модель предназначена для текстовой генерации и может использоваться в сценариях, где требуется адаптировать базовую модель под амхароязычные запросы. Указан размер базовой модели 4B параметров и формат PEFT/LoRA; поддержка других модальностей не заявлена. Контекстное окно, точная архитектура, состав и качество обучающих данных, а также результаты развернутой оценки не указаны. Единственный приведенный показатель — evaluation loss 0.9129. К сильным сторонам относятся компактный размер и возможность подключать адаптер к совместимой базовой модели вместо распространения полной копии весов. Ограничения включают недостаток информации о качестве на реальных задачах, неизвестные языковые и предметные границы, а также потенциальные риски, связанные с uncensored-базовой моделью. Лицензия и условия использования в README не указаны.
DreamFast публикует вариант Qwen3.5-9B с агрессивной аблитерацией отказов HauhauCS. Это плотная гибридная модель Qwen3.5 примерно на 9 млрд параметров: 24 из 32 слоёв используют Mamba2, остальные — полное внимание Transformer; веса доступны в формате safetensors. Модель предназначена для генерации текста и диалогов, включая сценарии, где требуется меньше отказов на запросы. Метаданные указывают интерфейс вызова инструментов, а карточка сообщает о сохранении большинства тестируемых возможностей исходной модели. По опубликованным в README тестам, результаты на MMLU и HellaSwag близки к базовой Qwen3.5-9B, но заметно снизились показатели GSM8K и TruthfulQA. В тесте HarmBench автор README сообщает об отсутствии отказов и 100% доле успешного выполнения вредоносных запросов; модель поэтому может выдавать опасный контент. Она принимает текст и рассчитана на английский и китайский языки; сведения о поддержке изображений в этой версии README не подтверждают, несмотря на мультимодальную базовую модель. Лицензия — Apache-2.0.
Koichi Yasuoka разработал модель на архитектуре RoBERTa для морфологической разметки корейского текста. Она назначает каждому морфему тег части речи UPOS из универсального набора и предназначена для автоматической обработки корейских текстов; карточка также указывает на обучение для синтаксического разбора зависимостей. Модель дообучена на основе KoichiYasuoka/roberta-base-korean-hanja с использованием morphUD-korean. Модель содержит 143,4 млн параметров, принимает текст и выдаёт последовательность меток токенов. Максимальная длина контекста — 514 токенов. Репозиторий содержит веса PyTorch, лицензия — CC BY-SA 4.0. Ограничение по назначению: разметка UPOS описана для морфем корейского языка; применение для других языков карточкой не подтверждено.
Koichi Yasuoka разработал эту модель на основе RoBERTa large, предварительно обученной на корейских текстах, и дообучил её для морфологической разметки. Модель присваивает каждому корейскому морфему тег части речи UPOS из универсального набора; карточка также указывает назначение для синтаксического анализа зависимостей. Архитектура — RoBERTa для классификации токенов, размер — 442,9 млн параметров, максимальный контекст — 514 токенов. Модель предназначена для автоматической разметки корейского текста по морфемам, включая определение частей речи, а также для анализа синтаксических зависимостей. Её можно использовать через библиотеку esupar для обработки предложений на корейском языке. Репозиторий содержит веса PyTorch; лицензия — CC BY-SA 4.0.
SabiYarn-125M-topic — языковая модель Aletheia.ai Research Lab на 125 млн параметров, созданная на основе архитектуры GPT-J и NanoGPT. Это MoE-модель для авторегрессионной генерации текста, предварительно обученная на корпусах нигерийских языков с целью предсказания следующего токена; модель также можно дообучать для прикладных задач. Модель предназначена для генерации связного текста преимущественно на английском, йоруба, хауса, игбо и нигерийском пиджине; в обучающих данных также представлены фула, эфик и урхобо. Доступны веса в формате safetensors и использование через Transformers. Лицензия в предоставленных данных не указана. Обучающие данные собраны преимущественно из доступных в Hugging Face корпусов нигерийских языков и содержат неотфильтрованный интернет-контент. Модель может воспроизводить смещения и выдавать недостоверные сведения, поэтому её не следует использовать для задач, где критична фактическая точность; перед взаимодействием с людьми рекомендуется оценить связанные с применением риски смещения.
SG-Tamil-MoE-7B — языковая модель на архитектуре Mixture of Experts (Mixtral), созданная методом LazyMergekit на основе Hemanth-thunder/Tamil-Mistral-7B-v0.1. Репозиторий содержит веса в формате safetensors; размер модели — 7,2 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста на тамильском языке. Её можно использовать для продолжения тамильских текстов и создания ответов или черновиков на тамильском. В README указана Apache-2.0; метаданные подтверждают эту лицензию. Карточка не приводит оценок качества или результатов тестирования.
Tsunami-0.5-7B-Instruct — тайская инструктивная языковая модель, созданная Pollakrit Lorprasertkul на основе Qwen2.5-7B. Модель дообучена примерно на 60 000 строк данных тайской тематики; версия 0.5 обучалась не на всём наборе данных. Она использует архитектуру Qwen2 dense с 7,1 млрд параметров и шаблон диалога ChatML. Метаданные указывают контекст до 131 072 токенов и поддержку чата и интерфейса вызова инструментов. Модель предназначена для генерации текста и диалоговых ответов на тайском языке, в том числе в специализированных тайских сценариях. В карточке приведены результаты оценивания на IFEval и BBH, но они сами по себе не подтверждают качество для конкретной прикладной задачи. Распространяется под лицензией Apache-2.0.
VinaLLaMA-12.5B-chat-DUS — объединённая разговорная языковая модель от команды VinaLLaMA, созданная на основе vilm/vinallama-7b-chat с помощью LazyMergekit. Модель использует плотную архитектуру LLaMA с автрорегрессионной генерацией текста, содержит 12,3 млрд параметров и рассчитана на контекст до 4096 токенов. Модель предназначена для диалогов и генерации ответов, особенно на вьетнамском языке. README приводит результаты оценки на вьетнамских наборах ARC, HellaSwag, MMLU и TruthfulQA и показывает формат запросов ChatML. Её можно применять для вьетнамского чат-бота и ответов на вопросы; модель также генерирует текст по другим запросам, но основное языковое назначение — вьетнамский. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Оценки приведены в README без подробностей о методике, поэтому их следует считать ориентировочными; доступные данные не описывают поведение модели за пределами указанных тестов.
areaz/whisper-small-for-quran — модель распознавания речи на архитектуре Whisper Small, дообученная на аудиофрагментах чтения аятов Корана. Она предназначена для транскрибирования коранической речи на арабском языке. В метаданных указаны 153,1 млн параметров, библиотека Transformers и формат safetensors; базовая модель — openai/whisper-small. На оценочном наборе приведены значения Loss 0,0425 и WER 11,9814, однако описание не уточняет протокол оценки и единицы WER. Модель распространяется по лицензии Apache-2.0.
YanoljaNEXT-EEVE-10.8B — плотная авторегрессионная языковая модель семейства Llama, разработанная командой Yanolja на основе upstage/SOLAR-10.7B-v1.0. Модель содержит 10,6 млрд параметров, обучена генерировать текст и использует контекст до 4096 токенов. Модель расширяет корейский словарь базовой модели и дообучена на корейских веб-данных. Она предназначена для генерации корейского текста и языковых задач, в которых полезны исходные возможности SOLAR и адаптация к корейскому языку. В карточке описан метод расширения словаря с поэтапной заморозкой параметров. Модель не проходила инструкционное дообучение, поэтому её не следует считать готовым чат-ассистентом: для выполнения инструкций и конкретных приложений может потребоваться дополнительное обучение. Репозиторий распространяется по лицензии Apache-2.0.
yejin-korean-1b-v8-sft — модель для генерации текста на корейском языке, разработанная автором репозитория cooler8. Это версия с supervised fine-tuning базовой модели yejin-korean-1b-v8, предварительно обученной с нуля на крупном корейском корпусе; для настройки использовались KMMLU, KoAlpaca и корейские учебные инструкции. Модель построена на плотной причинной архитектуре Llama с групповым запросом внимания (GQA), содержит около 873 млн параметров по метаданным и поддерживает контекст до 4096 токенов. Репозиторий содержит веса safetensors и GGUF F16. Модель предназначена для ответов на вопросы и выполнения инструкций на корейском языке. Лицензия — Apache-2.0.
Ghana-NLP/abena-base-asante-twi-uncased — модель семейства ABENA, разработанная Ghana NLP для языка Asante Twi, диалекта Akan. Она создана на основе multilingual BERT и дополнительно дообучена на данных Библии на Asante Twi; модель предназначена для задач языкового анализа и последующей адаптации под приложения для ганских языков. Модель использует архитектуру BERT с задачей masked language modeling и предназначена прежде всего для заполнения пропусков в тексте. Согласно метаданным, она содержит около 205,1 млн параметров и поддерживает контекст до 512 токенов; доступны реализации для Transformers, PyTorch, TensorFlow и JAX. Модель uncased, то есть не различает регистр. Её можно применять как базовую языковую модель для дообучения и извлечения контекстных признаков в задачах NER, анализа тональности, определения частей речи и машинного перевода. Основные ограничения связаны с узкой языковой специализацией, режимом masked language modeling и ограниченным объёмом доменных данных, использованных для варианта Asante Twi. Лицензия в доступных источниках не установлена.
ACI Yoruba Phase 10 — акустическая модель распознавания речи на йоруба, разработанная Awesome-x. Это дообученная версия акустических весов Phase 9 на выборке AR_Audios: примеры, ошибочно распознанные Phase 9, включались в обучение втрое чаще. Модель построена на архитектуре Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель предназначена для автоматической транскрипции речи на йоруба. Для декодирования предусмотрены KenLM с параметрами alpha=0.5 и beta=1.0 и фонетическая карта, использовавшиеся также в Phase 9. На отложенной выборке из 55 примеров WER составил 12,33% против 12,63% у Phase 9. В README указано, что более сильная конфигурация декодера Phase X с теми же акустическими весами дала WER 7,09%; для производственного применения автор рекомендует её. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка не описывает поддержку распознавания английской речи отдельно, поэтому метку en нельзя считать подтверждением такой возможности; README также не приводит оценки на других выборках.
Alpesteibock-Llama-3-8B-Alpha — экспериментальная диалоговая модель kaizuberbuehler, дообученная методом QLoRA на базе NousResearch/Hermes-2-Pro-Llama-3-8B. Она предназначена для генерации ответов и общения на швейцарском немецком диалекте. Модель основана на плотной архитектуре Llama 3 с 7,5 млрд параметров и контекстом до 8192 токенов; использует шаблон ChatML и обучалась на корпусах швейцарского немецкого текста. Подходит для диалогов, ответов на инструкции и генерации текста на швейцарском немецком. Карточка указывает лицензию llama3. Это ранний экспериментальный чекпойнт, поэтому качество ответов и устойчивость к широкому кругу тем могут быть ограничены.
Carballo-bloom-1.3B — авторегрессионная языковая модель на архитектуре BLOOM, разработанная в рамках проекта Nós. Это результат дальнейшего предобучения FLOR-1.3B, созданной проектом AINA на базе BLOOM-1.7B, на галисийском корпусе CorpusNÓS. В метаданных указано 1,7 млрд параметров, а в README — 1,3 млрд; контекст модели составляет 4096 токенов. Модель предназначена для генерации текста на галисийском языке и может служить основой для дообучения под конкретные сценарии. При адаптации заменили токенизатор и словарь на обученные для галисийского BPE, а веса эмбеддингов и модели инициализировали из FLOR-1.3B. Обучение проводилось на корпусе CorpusNÓS объёмом около 2,1 млрд слов, включающем книги, научные статьи, прессу, блоги, энциклопедические материалы и веб-тексты. Модель не заявлена как универсальная диалоговая система: README указывает готовность к причинному языковому моделированию и генерации текста. Лицензия — Apache-2.0.
CataLlama-v0.2-Base — языковая модель Laurentiu Petrea на архитектуре Llama 3 с 7,5 млрд параметров. Она создана слиянием CataLlama-v0.1-Base и Meta-Llama-3-8B-Instruct: веса 32 слоёв объединены в пропорции 2:1, а слои эмбеддингов, нормализации и выходной головы скопированы из Meta-Llama-3-8B-Instruct. Модель принимает текст и генерирует текст; её контекст составляет 8192 токена. Модель сохраняет навыки работы с каталанским языком от CataLlama-v0.1-Base и приобрела базовые способности следовать инструкциям. Она предназначена для генерации текста и экспериментов с расширением языковых возможностей LLM, в частности для каталанского; это базовая модель, не дообученная для конкретных прикладных задач. Указанная лицензия — Llama 3 Community License.
codeswitch-hineng-lid-lince — модель Sagor Sarker для определения языка в смешанных сообщениях на хинди и английском. Она размечает текст на уровне токенов, присваивая фрагментам языковые метки, чтобы выявлять переключение между языками в одной последовательности. Модель построена на BERT и обучена на данных LinCE для распознавания хинди-английского кода. Она принимает текст и выдаёт токенные метки; поддерживаемая длина контекста — 512 токенов. Вес модели составляет около 205,1 млн параметров. Репозиторий содержит веса в форматах PyTorch и Flax, включая safetensors. Модель подходит для анализа код-свитчинга и подготовки разметки смешанных текстов, но область её применения ограничена сочетанием хинди и английского и задачей языковой идентификации на уровне токенов. Лицензия — MIT.
DAVinCI-Yi-Ko-6B-v0.8 — плотная авторегрессионная языковая модель семейства Llama примерно на 5,9 млрд параметров, дообученная на базе beomi/Yi-Ko-6B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужны ответы или продолжение текста на корейском языке. Для модели указано контекстное окно 2048 токенов и формат весов Safetensors. Данные о наборе обучения, оценке качества и конкретных ограничениях в карточке отсутствуют. Модель опубликована по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
Koichi Yasuoka разработал эту модель на базе DeBERTa V2, предварительно обученной на японской Википедии и текстах Aozora Bunko, а затем дообучил её для разметки частей речи и синтаксического анализа. Модель назначает каждому длинному слову японского текста тег UPOS и признаки FEATS; она предназначена для токенной классификации и может использоваться как компонент японского NLP-конвейера. Модель содержит 137,8 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Лицензия — CC BY-SA 4.0. Карточка показывает пример применения через Transformers; в каталожных метаданных указана поддержка задачи token-classification.
Модель tbosse/distilbert-base-uncased-finetuned-pos разработана как дообученная версия distilbert-base-uncased для разметки частей речи в тексте. Она использует архитектуру DistilBERT и решает задачу классификации токенов на данных CoNLL-2003. Контекст модели составляет до 512 токенов. Модель предназначена для присвоения словам текстовой последовательности меток частей речи. В README для оценочной выборки указаны точность 0,9246 и F1 0,9126. Она может служить основой для анализа грамматической структуры англоязычных текстов; описание не содержит сведений о других сценариях применения. Лицензия — Apache-2.0.
DukunLM-7B-V1.0-Uncensored — языковая модель для генерации текста и выполнения инструкций на индонезийском языке, разработанная azale-ai. Это плотная авторегрессионная модель семейства LLaMA объёмом 6,6 млрд параметров, дообученная методом QLoRA на индонезийской части MBZUAI/Bactrian-X. В карточке указан шаблон запросов Alpaca; модель опубликована в форматах PyTorch и Safetensors. Контекст составляет 2048 токенов. Модель предназначена для ответов на запросы и генерации индонезийского текста в диалоговых и инструкционных сценариях. Английский язык унаследован от базовой модели, однако дообучение ориентировано на индонезийский. Разработчик предупреждает, что модель не имеет фильтров и выравнивания, может допускать ошибки, культурные предубеждения и выдавать оскорбительный контент. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
EsperBERTo-small-pos — модель для разметки токенов на основе архитектуры RoBERTa, обученной на эсперанто. Карточка называет её дополнительной моделью к публикации в блоге. Модель содержит 96,6 млн параметров и принимает последовательности длиной до 514 токенов. Модель предназначена для задач классификации токенов, например разметки частей речи в тексте на эсперанто. Доступны версии весов PyTorch, Flax, ONNX и Safetensors. Лицензия в предоставленных сведениях не указана.
EXAONE-3.5-2.4B-it-DACON-LLM — дообученная Dongwook Min (mindw96) версия EXAONE 3.5 2.4B Instruct для восстановления корейских отзывов, искажённых обфускацией. Модель предназначена для генерации текста и диалогового взаимодействия; карточка связывает её с соревнованием по восстановлению корейских отзывов. Это плотная авторегрессионная модель семейства EXAONE с 2,4 млрд параметров и контекстом до 32 768 токенов. Метаданные указывают поддержку корейского и английского языков, формат safetensors и библиотеку Transformers. Лицензия в доступных данных не приведена.
GenZ Translator v2 — компактная языковая модель Sankar-2910 для преобразования сленга поколения Z, интернет-сокращений и неформальных сообщений в естественный разговорный английский с сохранением смысла и интонации. Это decoder-only Transformer семейства Llama с 26,1 млн параметров, работающий через Transformers; README также указывает на собственный токенизатор. Контекст — 384 токена. Версия 2 продолжает обучение на чекпойнте исходной модели, созданной с нуля, и ориентирована на короткие сообщения, подписи для соцсетей и объяснение распространённых выражений. Модель распространяется по лицензии Apache-2.0. Модель специализирована и не предназначена для общего диалога, программирования, математических рассуждений, поиска знаний или длинных бесед. Она может неверно трактовать неоднозначный или региональный сленг, терять отрицания и другие детали, изменять обычный английский без необходимости, а также ошибаться на повторяющихся символах, URL, именах пользователей и смешанном языке. Результаты бенчмарков ограничены: улучшения на составной вручную проверке не подтвердились ростом точного совпадения на отложенном наборе.
Juba-27M — символьная Conv-Transformer-модель с 26,9 млн параметров, обученная с нуля для преобразования кабильского текста из письма Neo-Tifinagh в стандартную латиницу. Модель разработана для языка кабильский (Taqbaylit, код kab); она восстанавливает пропущенную в Tifinagh гласную schwa «e» и предсказывает границы дефисных цепочек клитик. Архитектура включает 6 слоёв энкодера и 6 слоёв декодера, свёрточные ядра размером 3 и 5 символов и контекст длиной 512 токенов. Основные сценарии применения — преобразование архивных и учебных корпусов в латинскую запись и восстановление schwa в кабильских источниках Neo-Tifinagh. В README сообщается о точности полного совпадения предложений 94,22% на тестовом наборе из 49 795 предложений; пары для обучения получены автоматическим преобразованием латинского текста, поэтому результаты не сравнивались с независимо созданной Tifinagh-записью. Модель распространяется по лицензии Apache-2.0; загрузка через Transformers требует trust_remote_code=True. Модель не предназначена для перевода между кабильским и другими языками. Она не восстанавливает капитализацию, хуже справляется с цепочками клитик через дефис и не проверена на вариантах Tifinagh, OCR, вводе с клавиатуры или оцифровке архивов. Другие родственные берберские языки не входят в область применения.
ThuyNT03/KLTN_COQE_viT5_total_ASPOL_v2 — дообученная модель семейства T5, созданная на основе VietAI/vit5-large. Веса содержат 389,3 млн параметров и опубликованы в формате safetensors; лицензия — MIT. Карточка не описывает назначение, обучающие данные или оценку качества этой версии. Базовая модель предназначена для генерации текста на вьетнамском языке, включая ответы на вопросы, суммаризацию и перевод, однако эти возможности нельзя уверенно приписать дообученному чекпойнту без дополнительных сведений.
KLTN_COQE_viT5_total_SPAOL_v4 — модель семейства T5, дообученная авторами репозитория на базе VietAI/vit5-large. Веса содержат 389,3 млн параметров и опубликованы в формате safetensors; модель распространяется по лицензии MIT. Карточка не описывает назначение дообучения, датасет, оценку качества или ограничения. Базовая VietAI/vit5-large предназначена для генерации текста на вьетнамском языке, включая ответы на вопросы, суммаризацию и перевод, но эти возможности нельзя уверенно приписать данной производной модели без дополнительных сведений.