I.6Перевод и языковая адаптация

tiendung/open_llama_3b-8k_visyll — языковая модель семейства LLaMA с 3,3 млрд параметров, разработанная на основе OpenLLaMA. Разработчик расширил словарь токенизатора с 32 тысяч до 40 тысяч токенов, добавив 8 тысяч наиболее употребительных вьетнамских слогов. Модель предназначена для генерации текста; расширенный словарь ориентирован на обработку вьетнамского языка. В метаданных указан контекст 2048 токенов и формат PyTorch. Информация о лицензии, конкретных сценариях применения и оценках качества отсутствует.

StarO AI 2.69 Super — небольшая языковая модель на арабском языке, разработанная Хавой Ахмедом Аль-Акрамом и компанией C.a. Star Technology. В карточке модель описана как созданная с нуля на PyTorch, с собственной плотной архитектурой StarO. Метаданные указывают контекст до 1024 токенов; README также приводит характеристики более ранней версии, включая 10 слоёв и 1024 измерения эмбеддинга, поэтому их нельзя уверенно отнести к текущему выпуску. Модель предназначена для генерации арабского текста, в том числе литературного арабского и разговорных вариантов, и рассчитана на запуск на устройствах с ограниченными ресурсами. README заявляет поддержку работы при объёме оперативной памяти до 4 ГБ, однако не приводит независимых оценок качества, а описанные результаты тестов ограничены. Поддержка проекта этой версии прекращена; лицензия репозитория — CreativeML OpenRAIL-M.

bedus-creation/t5-small-dataset-i-lim-to-eng — дообученная модель семейства T5, созданная на основе google-t5/t5-small. Она содержит 38,5 млн параметров и предназначена для преобразования текста в текст. По названию репозитория модель может быть ориентирована на перевод с языка I-lim на английский, однако README не подтверждает эту задачу и не описывает обучающие данные; поэтому область применения нельзя установить уверенно. Модель использует архитектуру T5ForConditionalGeneration и имеет контекст длиной 512 токенов. В README приведены значения потерь на обучении и валидации, но нет описания методики оценки или результатов на практических задачах. Репозиторий содержит веса в формате TensorFlow и распространяется по лицензии Apache-2.0.

Это дообученная модель XLM, созданная на основе FacebookAI/xlm-mlm-100-1280 для Plains Cree и английского языка. Она обучена предсказывать замаскированные токены с использованием Translation Language Modeling: предложения на двух языках объединялись, а маскировка применялась совместно. Дополнительно использовалась функция потерь InfoNCE для сближения представлений предложений на кри и английском языках. Модель предназначена как энкодер-основа для кросс-языковой дистилляции классификаторов переносного языка на Plains Cree. Для обучения использовались параллельные тексты Bloomfield и корпус EdTeKLA, около 9 000 пар предложений. Контекст модели — 512 токенов; архитектура — XLM с 570 млн параметров. Репозиторий содержит веса в формате safetensors и распространяется по лицензии CC BY 4.0. Модель подходит для задач восстановления замаскированных токенов и получения согласованных представлений текстов на Plains Cree и английском, в частности для дальнейшего обучения кросс-языковых классификаторов. Её специализация на одной языковой паре и небольшом параллельном корпусе ограничивает перенос на другие языки и области; готовый классификатор переносного языка в репозитории не заявлен.

Davlan/xlm-roberta-large-finetuned-amharic — модель XLM-RoBERTa Large, дообученная для заполнения пропусков в тексте на амхарском языке. Она принимает текст с маскированным фрагментом и предсказывает подходящие токены для его восстановления. Модель имеет 658,7 млн параметров, использует архитектуру XLMRobertaForMaskedLM и контекст длиной до 514 токенов. Модель подходит для восстановления пропущенных слов и анализа амхарского текста через задачу fill-mask. В README указана оценка loss 1,1295 на тестовом наборе, но набор данных и подробности оценки не описаны. Распространяется по лицензии MIT.

itskerem4 разработал доменно-адаптированную модель на архитектуре BERT для турецких исламских текстов. Она дообучена методом masked language modeling на переводе Корана (6 236 аятов) и исламских текстах, чтобы предсказывать скрытые слова в контексте, например в предложениях о молитве и закяте. Модель содержит 137,8 млн параметров, принимает текст с маскируемым словом и выдаёт вероятные варианты его заполнения. Длина контекста — до 512 токенов; основной язык — турецкий. Основана на dbmdz/bert-base-turkish-cased и распространяется по лицензии CC BY 4.0, допускающей коммерческое и академическое использование.

burmese-gpt2 — языковая модель на архитектуре GPT-2, разработчик — zayar26. Модель дообучена для генерации текста; карточка приводит значение loss 2.4037 на тестовой выборке, но не описывает датасет и подробности оценки. Модель принимает текст и генерирует текст. Контекст составляет 512 токенов. По названию она предназначена для работы с бирманским языком, однако README не подтверждает языковое покрытие. Модель распространяется по лицензии MIT.

cuneiformBase-400m — дообученная модель Thalesian на базе Google UMT5 для перевода, транслитерации и преобразования письма в нескольких древних языках. Она использует архитектуру UMT5 encoder-decoder с 12 слоями кодировщика и 12 слоями декодировщика, связанными входными и выходными эмбеддингами; в метаданных указано 296,5 млн параметров. Модель принимает клинописные знаки или латинскую транслитерацию и может выдавать перевод на английский, а для хеттского также на немецкий, транслитерацию или знаки соответствующей системы письма. Поддерживаются аккадский, шумерский, хеттский, Linear B и эламский; для транслитерации предусмотрены обычный, расширенный и упрощённый стили. Модель подходит для перевода коротких строк, цифровой ассириологии и смежных исследований, учебных материалов и конвейеров преобразования клинописного ввода. Контекст ограничен 512 токенами, поэтому длинные тексты следует делить на отдельные строки. Качество перевода шумерского ниже, поддержка эламского экспериментальная, а результаты могут ухудшаться на нестандартных транслитерациях и вне обучающих доменов. Модель распространяется по лицензии Apache-2.0.

JPNsensei-V2 — модель генерации текста на базе japanese-stablelm-instruct-gamma-7b, предназначенная для ответов на английском языке на вопросы об изучении японского. Модель разработана kanxxyc и основана на архитектуре Mistral с плотной структурой и 7,1 млрд параметров; она принимает текст и генерирует текст. Контекст составляет 32 768 токенов, форматы репозитория — PyTorch. Модель подходит для ответов на вопросы по японскому языку в учебных сценариях. При использовании рекомендуется применять формат промпта, описанный в карточке, и Transformers версии 4.34.0 или новее. Для обучения использовались данные с сайта Stack Exchange Japanese. Лицензия в предоставленных данных не указана.

Latxa 7B v1.1 — языковая модель на 6,6 млрд параметров, разработанная исследовательским центром HiTZ и группой IXA Университета Страны Басков UPV/EHU. Это плотная авторегрессионная модель семейства LLaMA 2, основанная на meta-llama/Llama-2-7b и продолжившая предварительное обучение на корпусе Latxa v1.1, преимущественно на баскском языке. Контекст модели составляет 4096 токенов. Модель предназначена для генерации текста и языковых экспериментов с баскскими данными: её можно использовать с подходящими подсказками или дообучить для конкретной задачи. Английские данные также включались при обучении, но для языков помимо баскского качество не гарантируется. Это базовая предобученная модель без дообучения на инструкции, поэтому её не рекомендуется использовать как готового чат-ассистента. Версия устарела и опубликована для воспроизводимости; авторы рекомендуют более новую версию из своей коллекции. Лицензия Llama 2 допускает коммерческое и исследовательское использование на её условиях.

Taga-llama-v0.3 — экспериментальная чат-модель на архитектуре LLaMA-2, дообученная командой 922-Narra для диалогов на тагальском языке. Модель содержит 6,6 млрд параметров, принимает текст и генерирует текст; базовая модель — LLaMA-2 7B Chat. Для репозитория указаны формат PyTorch и контекст 4096 токенов; в карточке также упомянуты варианты GGML, GGUF и QLoRA. Модель предназначена главным образом для чата на тагальском: она может отвечать на сообщения и поддерживать короткие диалоги. Обучающий набор примерно из тысячи примеров основан на предложениях на тагальском, дополненных LLaMA-2 13B преимущественно трёхходовыми диалогами. Качество ограничено небольшим и частично синтетическим набором данных: в длинных беседах модель может перейти на английский или смешивать языки, а диалог может терять связность. Разработчик предупреждает, что модель не гарантирует безопасных или согласованных ответов и не предназначена для производственного использования. Лицензия — Llama 2.

Navya-1b-sft-v9 — языковая модель семейства Navya от Navyam AI, разработанная с нуля и дообученная методом supervised fine-tuning на корпусе с финансовыми материалами об Индии. Модель имеет плотную архитектуру LlamaForCausalLM и 337,6 млн параметров; для работы указана библиотека Transformers, а веса опубликованы в формате safetensors. Контекст составляет 4096 токенов. Модель предназначена для ответов на вопросы о личных финансах в индийском контексте. В обучающий корпус входили финансовые тексты на английском, хинди, хинглише и других языках Индии; метаданные явно отмечают английский и хинди. README характеризует её как исследовательскую модель и предупреждает, что ответы не являются инвестиционной рекомендацией. Лицензия — Apache-2.0.

duraad/nep-spell-mt5-small-01 — дообученная модель семейства mT5 с архитектурой MT5ForConditionalGeneration и примерно 157,4 млн параметров. В README указано, что она создана на основе duraad/nep-spell-mt5-small-00, но сведения о датасете, обучении и оценке отсутствуют. Модель предназначена для генерации текста по текстовому запросу. По названию репозитория можно предположить назначение для исправления орфографии непальского языка, однако README не подтверждает эту специализацию, поэтому конкретные сценарии применения и поддерживаемые языки определить нельзя. Модель распространяется по лицензии Apache-2.0.

razhan/roberta-base-ckb — модель на архитектуре RoBERTa, дообученная на базе roberta-base для заполнения пропусков в тексте. Она принимает текст с замаскированным токеном и предсказывает подходящие варианты для его замены. Модель содержит 153,2 млн параметров, имеет контекст длиной до 514 токенов и распространяется в формате PyTorch. Модель ориентирована на язык CKB (центральнокурдский). Её можно использовать для подстановки пропущенных слов и изучения языковых закономерностей в текстах на этом языке. В README обучающий датасет, результаты оценки и дополнительные сценарии применения не описаны. Лицензия — MIT.

SIKU-BERT/sikuroberta — предобученная языковая модель семейства RoBERTa на архитектуре BERT, разработанная исследовательской группой Нанкинского сельскохозяйственного университета для автоматической обработки классического китайского языка. Модель обучена на проверенном полнотекстовом корпусе «Сыку цюаньшу» и содержит около 136,1 млн параметров; максимальная длина контекста — 512 токенов. Модель предназначена для задач обработки древних и литературных китайских текстов. Метаданные указывают задачу fill-mask: модель предсказывает пропущенный токен в тексте. Она может служить основой для анализа и извлечения информации из исторических корпусов. Репозиторий предоставляет веса PyTorch, а карточка демонстрирует загрузку через Transformers. Модель рассчитана на китайский язык, в особенности на классический китайский. Она распространяется по лицензии Apache-2.0. Результаты и пригодность для конкретных исторических корпусов могут зависеть от жанра и периода текста; карточка не приводит оценок качества.

Stanza — набор инструментов для лингвистического анализа естественных языков, разработанный Stanford NLP. Этот репозиторий содержит модель Stanza для древнегреческого языка (grc), предназначенную для разметки текста на уровне токенов в рамках лингвистического анализа. Модель распространяется в формате PyTorch и доступна по лицензии Apache-2.0. Карточка описывает её как часть набора инструментов Stanza для анализа текста от исходного текста до синтаксического разбора и распознавания сущностей, однако конкретные параметры и дополнительные возможности этого чекпойнта не приведены.

TinyLlama-1.1B-Hindi — дообученная модель семейства Llama, созданная на основе unsloth/tinyllama. Она предназначена для генерации текста. Карточка не описывает конкретные сценарии применения и обучающие данные; название указывает на ориентацию на хинди, но README этого не подтверждает. Модель содержит около 1 млрд параметров, принимает текст и выдаёт текст. Архитектура — плотная причинно-языковая LlamaForCausalLM, максимальный контекст — 2048 токенов. Весы опубликованы в формате safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.

zenz-v2.5-small — Кейта Мива дообучил на японском наборе данных Zenz-v2.5 небольшую языковую модель GPT-2 для преобразования каны в кандзи. Она предназначена для использования в нейронной системе ввода Zenzai и учитывает контекст при выборе вариантов записи. Модель содержит 91 млн параметров, использует токенизатор с разбиением на символы и байтовый BPE и принимает контекст длиной до 1024 токенов. Модель рассчитана на японский язык и задачу генерации текста при преобразовании каны в кандзи. Веса опубликованы в формате safetensors. Лицензия CC-BY-SA 4.0 требует соблюдать условия атрибуции и распространения производных материалов на тех же условиях.

mabaashar/allam-7b-mental-health-merged — дообученная Mohammed Abdullah Ba'ashar модель на базе humain-ai/ALLaM-7B-Instruct-preview. Она предназначена для диалоговой генерации текста и может применяться в сценариях, связанных с психическим здоровьем; README не уточняет конкретные клинические задачи или специализацию модели. Модель использует плотную архитектуру Llama с классом LlamaForCausalLM и содержит 6,7 млрд параметров. Она принимает текст и генерирует текст, поддерживает английский и арабский языки, контекст составляет до 4096 токенов. Доступны веса в формате safetensors, лицензия — Apache-2.0. Специализация на психическом здоровье следует из названия модели, но карточка не описывает обучающие данные, проверку качества или безопасность ответов. Поэтому результаты не следует считать клинической оценкой или заменой помощи специалиста.

Koichi Yasuoka разработал DeBERTa V2, дообученную на японских текстах Википедии и 青空文庫 для синтаксического анализа зависимостей. Модель использует формат вопроса и контекста для поиска головы длинного слова (long-unit-word) в японском предложении: слово задаётся как вопрос, а предложение — как контекст. Для неоднозначного слова в контексте рекомендуется указывать [MASK]. Модель содержит 435,4 млн параметров, принимает текст и имеет контекстное окно до 512 токенов. Она предназначена для японского языка и решает задачу question-answering как способ разметки синтаксических зависимостей. Лицензия — CC BY-SA 4.0. Карточка не описывает ограничения помимо необходимости учитывать неоднозначность повторяющихся слов при формировании вопроса.

Это дообученная модель генерации текста семейства GPT-2, созданная на основе fpadovani/eus-latn-100mb-ppt-Dp-10mb_seed455. По карточке, её обучали с помощью TRL; пример запуска показывает генерацию ответа на вопрос пользователя. Модель предназначена для продолжения текста и формирования ответов в диалоге. Модель использует архитектуру GPT2LMHeadModel и формат весов safetensors. Длина контекста — 512 токенов. Название и базовая модель указывают на латинский баскский язык; карточка не уточняет лицензию и оценку качества.

GoLLeM-110M-PL-v2 — польская языковая модель авторегрессивной архитектуры GPT-2, созданная Аркадиушем Слотой и обученная с нуля. Это базовая модель для продолжения текста, а не чат-бот: ей задают начало фразы или абзаца, после чего она генерирует продолжение. Модель содержит около 110 млн параметров, использует 12 слоёв, 12 голов внимания, словарь из 32 000 токенов и контекст длиной 512 токенов. Обучение проведено на польском корпусе примерно из 2 млрд токенов, включающем энциклопедические и литературные источники, а также очищенные веб-тексты. Модель предназначена для генерации польского текста и передачи его стиля и формы. Небольшой размер ограничивает надёжность фактических утверждений: модель может выдумывать конкретные сведения и не подходит как самостоятельная база знаний или для ответов на вопросы без дополнительной настройки. Персональные данные были удалены из обучающих данных, поэтому модель может подставлять вместо них специальные маркеры. Лицензия — CC-BY-SA-4.0; использование требует атрибуции и соблюдения условий share-alike.

ClassCat/gpt2-small-greek-v2 — грекоязычная авторегрессионная языковая модель семейства GPT-2, опубликованная ClassCat. Она предназначена для генерации продолжения текста на греческом языке. Модель использует архитектуру GPT2LMHeadModel и содержит примерно вдвое меньше параметров, чем GPT-2 Base; токенизатор BPE имеет словарь размером 50 000 токенов, а контекст составляет 128 токенов. Модель обучалась на греческих подмножествах CC-100 и OSCAR, а также на греческой Википедии. Её можно использовать для продолжения фраз и создания коротких грекоязычных текстов. Репозиторий содержит веса PyTorch и рассчитан на использование с Transformers. Лицензия — CC BY-SA 4.0.

Vishwas1/hummingbird-base-marathi-finetuned — дообученная на датасете OSCAR модель Vishwas1 на архитектуре GPT-2 для генерации текста на маратхи. Она принимает текстовый контекст длиной до 128 токенов и продолжает его сгенерированным текстом. Модель подходит для экспериментов и приложений, которым нужна генерация текста на маратхи. Репозиторий использует библиотеку Transformers и формат safetensors. Лицензия не указана в доступных данных.

Keural-Cortex-8B-SFT-step600 — промежуточный чекпойнт SFT модели Keural, созданный MKD Co., Ltd. на базе Qwen3-8B после дополнительного предобучения на корейском корпусе и расширения контекста с помощью YaRN. Это плотная авторегрессионная языковая модель примерно с 8,2 млрд параметров; в метаданных размер указан как 7,6 млрд. Контекст заявлен до 65 536 токенов, но инструкционное дообучение охватывало только 16 384 токена. Модель предназначена для диалогов и рассуждений преимущественно на корейском языке, а также для вызова инструментов. В README приведены примеры связных корейских ответов и решения простых задач на корейском и английском. Чекпойнт опубликован для изучения: обучение остановлено на шаге 600 из запланированных 926, а полноценная оценка модели не проводилась. Известные дефекты существенно ограничивают практическое применение: генерация кода часто подменяется JSON-вызовом инструмента, модель чрезмерно часто вызывает инструменты, может давать короткие или пустые ответы и ненадёжно отвечает о собственной идентичности. Режим рассуждений нестабилен, а качество инструкционного следования за пределами 16 384 токенов не обучалось. Лицензия — Apache-2.0.

KW5 109M Instruct — небольшая языковая модель Regnant для генерации ответов на инструкции на суахили. Она основана на decoder-only архитектуре, совместимой с Llama: 12 слоёв, размер скрытого состояния 768, FFN 2048 и 109,5 млн параметров. Модель дообучена методом LoRA на базе regnant-io/kw5-109M; адаптер объединён с базовыми весами. Контекст — 2048 токенов по метаданным, при этом в README рекомендуется ограничивать запрос вместе с ответом 1024 токенами. Модель предназначена для диалоговой генерации и простых ответов на суахили, преимущественно в танзанийском варианте. В тестах она плохо извлекает ответы из переданного текста, ненадёжно сообщает факты, почти не отказывается отвечать на вопросы без ответа и слабо соблюдает числовые ограничения. Не подходит для поиска достоверных фактов и медицинских, юридических или финансовых рекомендаций; в README также отмечены минимальная настройка безопасности и необходимость надзора. Лицензия репозитория — Apache 2.0.

rasyosef/Llama-3.2-400M-Amharic-Instruct — инструктивно дообученная версия Llama 3.2 400M Amharic, разработанная автором репозитория. Это плотная языковая модель с архитектурой LlamaForCausalLM, предназначенная для генерации текста и диалоговых ответов на инструкции. Для общения рекомендуется формат с сообщениями user и assistant; пример запроса в карточке дан на амхарском языке. Модель содержит 412,5 млн параметров, работает через Transformers и принимает текст, выдавая текст. Её контекст ограничен 1024 токенами. Она подходит для коротких запросов и ответов на амхарском языке; качество на других языках и пригодность для сложных задач не подтверждены. Лицензия в предоставленных данных не указана.

obadx/muaalem-model-v3_2 — модель автоматического распознавания арабской речи, представленная в статье об обнаружении и исправлении ошибок произношения у изучающих чтение Священного Корана. Она дообучена на базе facebook/w2v-bert-2.0 и использует архитектуру Wav2Vec2BertForMultilevelCTC; число параметров по метаданным — 402,7 млн. Модель принимает аудио и выдаёт текстовое распознавание на арабском языке. Её назначение — распознавать чтение Корана, в том числе в сценариях обучения и анализа произношения. Опубликована для Transformers под лицензией MIT. Карточка не приводит результатов оценки и подробных сведений о точности, поэтому качество на конкретных записях нельзя определить по имеющимся данным.

NAMAA-Saudi-TTS-V2 — модель синтеза речи с клонированием голоса для саудовского арабского, в частности найди. Она создана NAMAA-Space полным дообучением SWivid/Habibi-TTS на специализированных данных саудовской речи. Модель принимает арабский текст и аудиозапись длительностью 5–8 секунд с голосом-образцом, затем генерирует речь с тем же голосом, найдийской интонацией и произношением. В основе лежит F5-TTS с архитектурой Diffusion Transformer (DiT) и методом flow matching; по README, модель содержит около 335 млн обучаемых параметров. Для генерации используется денойзинг мел-спектрограммы за 32 шага ODE. Обучение проводилось на примерно 18,4 часах саудовской и найдийской речи; аудио приведено к 24 кГц, моно. Лицензия CC-BY-NC-SA-4.0 запрещает коммерческое использование без отдельного разрешения правообладателя. Модель рассчитана на создание найдийской арабской речи по тексту с аудиообразцом голоса. Она не предназначена для других арабских диалектов: на их входе может сохранять найдийские особенности. Без эталонной аудиозаписи синтез невозможен. Формальная оценка качества не приводится; в результате могут проявляться особенности исходных подкастных записей, например шум помещения или фоновая музыка.

Purlie-2B-i1-GGUF — квантованная версия мультимодальной модели PinkPixel/Purlie-2B, подготовленная mradermacher. Модель относится к семейству Qwen2-VL и предназначена для работы с изображениями и текстом. Основные сценарии применения связаны с вязанием крючком: анализом изображений, работой со схемами и узорами, а также переводом материалов. Заявлены английский и вьетнамский языки. Размер исходной модели — 2B параметров. Модель распространяется в формате GGUF и доступна в нескольких вариантах квантования с размером файлов примерно от 0,8 до 1,7 ГБ, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. К сильным сторонам относятся мультимодальность, специализированная направленность на схемы и узоры для вязания крючком, поддержка изображений и возможность локального запуска благодаря компактным GGUF-квантам. Ограничения включают узкую предметную специализацию, возможное снижение качества на более агрессивных уровнях квантования и отсутствие в README информации о размере контекстного окна, результатах тестирования и точных требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями могут потребоваться дополнительные mmproj-файлы из статического репозитория.