I.6Перевод и языковая адаптация

ClassCat/roberta-small-greek — модель RoBERTa для греческого языка, представленная пользователем ClassCat. Она предназначена для заполнения пропусков в тексте: подставляет вероятные слова вместо замаскированного токена, например в предложении «Έχει πολύ καιρό που δεν [MASK]». Модель имеет 59,2 млн параметров, использует BPE-токенизатор со словарём из 50 000 токенов и принимает контекст длиной до 130 токенов. Для обучения использованы греческие подмножества CC-100 и OSCAR, а также греческая Википедия Wiki40B. Модель распространяется в формате PyTorch по лицензии CC BY-SA 4.0.

ScandiBERT — многоязычная модель семейства XLM-RoBERTa, разработанная для работы с текстами на скандинавских языках. Она обучена на крупных корпусах датского, фарерского, исландского, норвежского и шведского языков. В карточке указано, что модель занимала первое место в рейтинге ScandEval на момент обновления описания. Модель содержит 151,7 млн параметров, принимает текстовые последовательности длиной до 514 токенов и предназначена для задачи fill-mask: предсказания пропущенного токена в тексте. Обучение проводилось на данных нескольких языков, включая Danish Gigaword, NCC и корпуса исландского текста. Доступны веса в форматах PyTorch и safetensors. Модель может быть полезна для языкового анализа и экспериментов со скандинавскими языками, в частности для восстановления пропущенных слов и оценки контекстных языковых представлений. Лицензия AGPL-3.0.

SmolLM-135M-Taiwan-Instruct-v1.0 — инструкция-дообученная языковая модель автора benchang1110 на базе benchang1110/SmolLM-135M-Taiwan. Это плотная Llama-архитектура с 134,5 млн параметров, предназначенная для генерации текста и диалоговых ответов по инструкциям. Карточка демонстрирует создание стихотворения на традиционном китайском языке с темами Тайваня и родины; обучающие данные включают Guanaco-Taide, TaiwanChat-Taide, Belle-Taide и ChatTaiwan. Модель принимает текст и генерирует текст. Контекст ограничен 2048 токенами. Весы доступны в формате safetensors, библиотека — Transformers. Модель выпущена под лицензией MIT. Данные указывают на ориентацию на диалоги на тайваньском традиционном китайском, но не содержат количественной оценки качества; малый размер модели может ограничивать сложные рассуждения и длинные ответы.

suzume-poc — компактная языковая модель, разработанная на основе Google Gemma-2B и адаптированная для работы на японском языке посредством продолжения предварительного обучения на японской Википедии. Модель содержит 2,5 млрд параметров, использует архитектуру GemmaForCausalLM и формат safetensors; длина контекста составляет 8192 токена. Для работы с моделью применяется библиотека Transformers. Модель предназначена для генерации текста и японскоязычных сценариев на устройствах с ограниченными ресурсами, например смартфонах и бытовой электронике. В карточке указана возможность коммерческого использования, однако конкретный идентификатор лицензии не приведён. Разработчик предупреждает, что инструкционное дообучение модели может быть затруднено.

dahara1/translate-task-thinking-test — экспериментальная модель для машинного перевода, созданная на основе google/gemma-2-2b-jpn-it и дообученная для перевода с японского на английский и с английского на японский. Она использует плотную архитектуру Gemma 2 с 2,7 млрд параметров, принимает текст и рассчитана на контекст до 8192 токенов. В шаблон чата добавлен отдельный ход «thinking», чтобы исследовать влияние дополнительного времени на рассуждение на качество перевода. Модель предназначена прежде всего для изучения машинного перевода и сравнения вариантов с ходом «thinking» и без него. В README сообщается, что на традиционных метриках thinking-версия обычно уступала стандартной, а иногда модель повторяет фрагменты или игнорирует инструкции. Вес модели также увеличился вдвое из-за ошибки при слиянии LoRA-адаптера. Лицензия — Apache-2.0.

Prince Nasamu Alhassan разработал промежуточный чекпойнт распознавания ганского английского языка на основе Whisper large-v3-turbo. Модель дообучена на вещательной речи и данных серебряного качества из Ghana Speech и связанных корпусов; в README она описана как первый этап двухэтапного обучения, а для использования рекомендована завершённая модель whisper-large-v3-turbo-tekyerema-eng. Модель принимает аудио и выдаёт текст; архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. Она предназначена для распознавания речи на ганском английском, но README указывает, что это промежуточный чекпойнт, опубликованный для возобновления обучения, а не готовый продукт. Оценка проводилась на прочитанном и машинно переведённом тексте, поэтому она не отражает надёжно полевую речь и поведение при переключении языков. Лицензия — CC BY-NC 4.0, допускающая использование с некоммерческими ограничениями.

XLMR-ENIS — модель семейства XLM-RoBERTa, разработчик которой в карточке Hugging Face указан как vesteinn. Она обучена на текстах на исландском и английском языках и предназначена для заполнения пропусков в тексте: модель предсказывает подходящее слово или фрагмент на месте маски. Модель содержит 151,7 млн параметров, принимает текст и имеет контекст длиной до 514 токенов. Веса опубликованы в форматах PyTorch и Safetensors. Лицензия — AGPL-3.0. Карточка не описывает специальные предметные области или дополнительные сценарии использования.

RogerB/afro-xlmr-large-kinteal-domain — дообученная модель XLM-RoBERTa Large для предсказания пропущенных токенов. Она основана на Davlan/afro-xlmr-large, модели, адаптированной для африканских языков. Число параметров — 658,7 млн, контекст — до 514 токенов; формат весов — PyTorch. Модель подходит для восстановления замаскированных слов и языковых задач, где требуется предсказать токен по контексту. В README указана оценка Loss 1,1966 на тестовом наборе, но набор данных обозначен как None, поэтому результаты и специализацию на конкретном домене оценить нельзя. Лицензия — MIT.

AKK-60m — инструкционная модель на архитектуре T5, разработанная Thalesian и дообученная на основе google/t5-small. Она предназначена прежде всего для перевода аккадских клинописных знаков и транслитераций на английский, а также поддерживает обратный перевод с английского на аккадский, транслитерацию между клинописью и латиницей, группировку транслитерации по словам и выявление пропущенных знаков. Модель содержит 38,7 млн параметров, работает с текстом и рассчитана на контекст до 512 токенов по метаданным; README отдельно указывает контекстное окно 64 токена. Модель подходит для коротких аккадских строк, конвейеров транслитерации и экспериментов с обратным поиском. В README приведены метрики BLEU для нескольких направлений перевода и транслитерации. На длинных фрагментах модель не тестировалась, а её небольшой контекст ограничивает работу с протяжёнными текстами. Лицензия — Apache-2.0.

Cross-Translation Bible Embeddings — модель sentence-transformers, дообученная создателями репозитория LoveJesus для сопоставления библейских стихов в разных переводах. Она кодирует предложения в общий векторный простор: переводы одного стиха должны получать близкие эмбеддинги, а разные стихи — более далёкие. Модель основана на paraphrase-multilingual-MiniLM-L12-v2 и обучена контрастивным методом на примерно 300 тысячах пар стихов из переводов KJV, ASV, YLT, BBE и WEB. В метаданных указаны архитектура BERT, 124,3 млн параметров и контекст до 512 токенов. Модель предназначена для поиска соответствий между переводами, семантического сравнения стихов и извлечения эмбеддингов для библейских текстов. README сообщает о высокой точности разделения пар одного стиха и разных стихов на отложенной выборке; эти результаты относятся к описанному набору и оценке. Лицензия — MIT. Английский язык указан в метаданных, а названные в карточке переводы — англоязычные.

ThuyNT/CS505_COQE_viT5_train_Instruction0_SOAPL — дообученная VietAI/vit5-large на наборе данных, названном в карточке None. Модель построена на архитектуре T5ForConditionalGeneration, содержит 389,3 млн параметров и распространяется в формате safetensors. Карточка не описывает назначение модели, обучающие данные или результаты оценки, поэтому определить целевую задачу и надёжные сценарии применения нельзя. Базовая VietAI/vit5-large предназначена для генерации текста на вьетнамском языке, включая ответы на вопросы, суммаризацию и перевод; это не подтверждает, что данная дообученная модель сохраняет эти возможности или ориентирована на конкретную задачу. Лицензия — MIT.

Модель Koichi Yasuoka — дообученная версия DeBERTa V2 на 137,8 млн параметров, предназначенная для синтаксического разбора японского текста: определения головного слова для длинных единиц слов. Задача представлена как извлечение ответа на вопрос; обучение проводилось на данных Universal Dependencies для японского языка, а предобучение — на японской Википедии и текстах 青空文庫. Модель принимает текстовый контекст и вопрос, а затем предсказывает ответ, связанный с искомой синтаксической зависимостью. Контекст ограничен 512 токенами. Если слово, заданное в вопросе, встречается в контексте несколько раз, README рекомендует помечать нужное вхождение токеном [MASK]. Модель опубликована в формате PyTorch под лицензией CC BY-SA 4.0.

EsperBERTo-small — модель Julien-C на архитектуре RoBERTa, обученная на эсперанто. Она предназначена для заполнения пропусков в тексте: модель предсказывает подходящее слово или фрагмент на месте специального маскера. Модель содержит 96,6 млн параметров и принимает последовательности длиной до 514 токенов. В карточке указаны реализации PyTorch и JAX, а также форматы Flax и Safetensors. Подходит для языковых задач с эсперанто, в частности для восстановления пропущенных слов и анализа контекста. Карточка не уточняет лицензию и ограничения применения; проверьте условия репозитория перед использованием.

EvoVLM-JP-v1-7B — экспериментальная универсальная визуально-языковая модель, разработанная Sakana AI методом эволюционного слияния Shisa Gamma 7B v1 и LLaVA-1.6-Mistral-7B. Это авторегрессионная модель семейства LLaVA с 7B в названии и архитектурой LlavaForConditionalGeneration; репозиторий содержит веса в формате safetensors. Модель предназначена для ответов на вопросы о японских изображениях и других сценариев понимания изображений на японском языке. Для оптимизации использовалась часть японского датасета Visual Genome VQA. Карточка называет модель экспериментальным прототипом для исследований и разработок, не предназначенным для коммерческого применения или критически важных сред. Лицензия — Apache License 2.0.

Gemma 2B Tamil v0.1 Alpha — экспериментальная двуязычная языковая модель Абхинанда Балакришнана, созданная на основе Google Gemma 2B. Это плотная GPT-подобная модель с 2,5 млрд параметров и контекстом до 8192 токенов, предназначенная прежде всего для причинно-следственного моделирования языка и генерации текста на тамильском и английском языках. Модель прошла продолжительное предобучение на данных тамильской Википедии, затем дообучалась на смешанных англо-тамильских наборах Alpaca. Модель может служить основой для генерации текста и языковых экспериментов с тамильским языком. Разработчик предупреждает, что качество ответов может быть нестабильным, а модель не предназначена для следования инструкциям; для этого предлагается отдельная instruct-версия. Модель не прошла фильтрацию вредоносного контента. Распространяется на условиях Google Gemma Terms of Use.

dehanalkautsar/gpt2-am-wikimulti — авторская GPT-2-small модель, обученная с нуля на амхарской части набора WikiMulti. Она предназначена для продолжения амхарского текста и генерации текста на амхарском языке. Модель использует плотную архитектуру GPT-2 с 12 слоями, размером скрытого состояния 768 и 12 головами внимания; размер словаря токенизатора Byte-Level BPE — 50 257 токенов, контекст — до 1 024 токенов. Веса GPT-2 и токенизатор обучены с нуля, без использования предобученных весов GPT-2. В репозитории указаны веса в формате safetensors и библиотека Transformers. По приведённой в карточке валидационной perplexity 398 качество генерации может быть ограниченным. Сведения о лицензии в предоставленных данных отсутствуют.

HooshvareLab/gpt2-fa — персидская модель генерации текста семейства GPT-2, опубликованная HooshvareLab. Она предназначена для продолжения текста по заданному фрагменту и других сценариев генерации на персидском языке. Модель построена на архитектуре GPT2LMHeadModel, имеет контекстное окно 1024 токена и доступна в форматах PyTorch, TensorFlow и Flax. Модель поддерживает персидский язык. Репозиторий распространяется по лицензии Apache-2.0. Карточка не содержит сведений о конкретном обучающем наборе данных или оценках качества.

yellowback/gpt-neo-japanese-1.3B — японская авторегрессионная языковая модель семейства GPT-Neo, разработанная автором репозитория yellowback и обученная на японских текстовых корпусах CC-100, OSCAR и Wikipedia. Она предназначена для генерации продолжений текста на японском языке и может использоваться для создания черновиков, примеров и простых текстовых заготовок. Модель содержит 1,5 млрд параметров, использует архитектуру GPTNeoForCausalLM и принимает текст, выдавая текст. Длина контекста составляет 2048 токенов. Репозиторий содержит веса в формате PyTorch; модель распространяется по лицензии Apache-2.0.

KazakhBERTmulti — модель семейства BERT от amandyk для заполнения пропусков в тексте на казахском языке. Она принимает последовательность с замаскированным токеном и предсказывает подходящие варианты, что подходит для анализа контекста и языковых экспериментов. Модель имеет архитектуру BertForMaskedLM, содержит 190 млн параметров и поддерживает контекст длиной до 512 токенов. Доступны веса PyTorch. В карточке приведена ссылка на исследование морфологических особенностей казахского языка и их влияния на качество машинного перевода. Лицензия — AFL-3.0. В карточке не приведены оценки качества и подробные сведения о данных обучения; пригодность для других языков не подтверждена.

kinyaRoberta-large-kinre-finetuned — дообученная модель RoBERTa для предсказания замаскированных слов в тексте на киньяруанда. Она основана на jean-paul/kinyaRoberta-large, содержит 136,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для заполнения пропусков в тексте; в README указана потеря 2,6478 на наборе оценки, но сведения о наборе данных и условиях оценки отсутствуют. Модель работает с текстом и выдаёт предсказания для замаскированных токенов. Репозиторий распространяет веса в формате PyTorch. Лицензия в предоставленных данных не указана.

Navya-1C-SFT — языковая модель семейства Navya от navyam.ai, разработанная с нуля и дообученная методом SFT для вопросов о личных финансах в Индии. Это плотная авторегрессионная модель архитектуры LlamaForCausalLM на 1,31 млрд параметров; базовое обучение проводилось примерно на 103 млрд токенов, после чего модель дообучили на индийском финансовом корпусе. Для текста используется собственный токенизатор на 64 тыс. токенов, контекст составляет 4096 токенов. Модель предназначена для ответов на вопросы о личных финансах в индийском контексте. В карточке указаны английский и хинди; README также упоминает Hinglish и другие индийские языки, но не перечисляет их. Модель доступна через Transformers в формате Safetensors и распространяется по лицензии Apache-2.0. Разработчики обозначают её как исследовательскую и предупреждают, что ответы не являются инвестиционной рекомендацией.

gsarti/opus-mt-tc-en-pl — преобразованная в формат PyTorch модель машинного перевода, основанная на оригинальном чекпойнте OPUS Tatoeba English-Polish. Её разработчик — Йорг Тидеманн; исходная модель обучена с библиотекой MarianNMT на данных Tatoeba в составе OPUS. Архитектура — Transformer MarianMT, около 58,4 млн параметров; модель переводит текст с английского на польский и поддерживает контекст до 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с английского на польский. Для указанного тестового набора Tatoeba приведены BLEU 47,5 и chr-F 0,673. В README сообщается, что эта копия сейчас не работает; для рабочего варианта предлагается обратиться к исходному чекпойнту в репозитории Tatoeba. Модель распространяется по лицензии Apache-2.0.

Это экспериментальная модель автоматического распознавания речи на языке календжин, созданная дообучением Tonykip на базе NVIDIA parakeet-tdt-0.6b-v3. Она предназначена для расшифровки речи на диалектах кипсигис и нанди, исследований распознавания речи на малоресурсных африканских языках и использования в качестве базовой модели для KaleBench-ASR. Модель использует архитектуру FastConformer с декодером Token-and-Duration Transducer и содержит около 0,6 млрд параметров. Для календжин перестроен токенизатор SentencePiece с BPE-словарём из 2048 токенов, включая сохранение буквосочетания ng'. В тестировании на 198 несценарных аудиозаписях модель показала CER 0,260; сравнение ещё не прошло проверку носителями языка. Модель поддерживает только жадное декодирование в Transformers. Автор предупреждает, что экспериментальная версия менее надёжна на реальной речи, чем рекомендуемая им Tonykip/whisper-kalenjin-v3-turbo. Ограничения включают покрытие только диалектов кипсигис и нанди, слабую обработку вставок английского и суахили, а также возможное влияние непроверенных обучающих расшифровок на точность. Лицензия — CC-BY-4.0.

Модель hahahafofo/Qwen-1_8B-Stable-Diffusion-Prompt — дообученная версия Qwen для создания текстовых запросов к Stable Diffusion. Она преобразует описания на китайском языке в соответствующие английские промпты и умеет создавать промпты по текстам разных форм, в том числе по классической китайской поэзии. Модель дообучена методом SFT на 35 тысячах примеров; её архитектура — плотная QWenLMHeadModel семейства Qwen, размер — 2,3 млрд параметров, контекст — до 8192 токенов. Модель принимает текст и генерирует текстовые промпты, предназначенные для последующей генерации изображений в Stable Diffusion. В карточке приведены настройки обучения: одна эпоха и скорость обучения 1e-5. Лицензия — Apache-2.0. Описанная специализация ориентирована прежде всего на китайско-английские запросы; качество для других языков и типов входа не подтверждено.

TW-Pythia-6.9B-Chat — диалоговая языковая модель, разработанная zetavg на основе EleutherAI/pythia-6.9b. Это плотная авторегрессионная модель GPT-NeoX с 8,8 млрд параметров и контекстом 2048 токенов; для традиционного китайского добавлены 8000 токенов, а слои эмбеддингов изменены и переобучены. Модель настроена для диалога и обучалась на англо-китайских парах предложений из COCT, смешанных англоязычных и китайских данных ShareGPT, а также корпусах традиционного китайского из метаданных. README отмечает базовые возможности перевода между английским и традиционным китайским, но сообщает, что практическая ценность обработки традиционного китайского без дополнительного обучения не продемонстрирована. Репозиторий содержит веса PyTorch. Лицензия не подтверждена из-за неопределённости с правами на обучающие данные; условия использования следует считать неустановленными до их уточнения.

Armenian-MiniLlama 100M Instruct — компактная языковая модель Evanroubert для выполнения инструкций и ответов на вопросы на армянском языке. Это дообученная методом supervised fine-tuning модель семейства MiniLlama с плотной архитектурой MiniLlamaForCausalLM и 88,1 млн параметров; она принимает текст и выдаёт текст. В карточке указано обучение на 41 600 очищенных армянских инструкциях из набора saillab/alpaca-armenian-cleaned и формат диалога с разделением на инструкцию и ответ. Контекст модели — 512 токенов. Модель предназначена для коротких диалоговых запросов и простых задач на армянском языке. Небольшой размер позволяет рассматривать её для локального запуска на периферийных устройствах и в браузере; README также приводит ориентировочный объём около 200 МБ в FP16 и 55 МБ в INT4. Репозиторий содержит веса PyTorch, лицензия — MIT. Небольшое число параметров и короткий контекст ограничивают её пригодность для сложных задач и длинных документов.

V4ldeLund/gemma-3-1b-pt-faroese-experiment5 — дообученная с помощью TRL текстовая модель на архитектуре Gemma 3, созданная на базе предварительно обученной google/gemma-3-1b-pt. В репозитории указано, что это эксперимент с фарерским языком, однако сведения о составе обучающих данных и результатах оценки не приведены. Модель содержит 1 млрд параметров, использует плотную архитектуру Gemma3ForCausalLM и формат safetensors. Метаданные указывают контекст до 32 768 токенов и возможность диалоговой генерации; пример запуска показывает генерацию продолжения ответа на пользовательский запрос через Transformers. Лицензия в предоставленных данных не указана.

ClassCat/gpt2-base-japanese-v2 — японская языковая модель генерации текста, построенная на архитектуре GPT-2. Разработчик использует настройки GPT-2, изменив размер словаря; модель работает с BPE-токенизатором на 60 000 токенов и принимает контекст длиной до 1024 токенов. Модель предназначена для продолжения японского текста и генерации вариантов продолжения по заданной подсказке. Она обучалась на японской Википедии wiki40b и подмножестве японских веб-текстов CC-100. Для работы указана библиотека Transformers. Обучение на японских энциклопедических и веб-текстах ориентирует модель на японский язык, но качество и достоверность сгенерированных утверждений не гарантируются. Модель распространяется по лицензии CC BY-SA 4.0.

Модель GPT-2 Small дообучена для генерации текста на греческом языке Академией сухопутных войск Греции (SSE) и Техническим университетом Крита (TUC). Это авторегрессионная GPT-2 с 12 слоями, размерностью скрытого состояния 768 и 12 головами внимания; она содержит 117 млн параметров и использует токенизацию с BPE-сегментацией. Контекст составляет до 1024 токенов. Модель предназначена для продолжения и генерации греческого текста. При дообучении использован корпус около 5 ГБ на основе CC100, WikiMatrix, Tatoeba, Books, SETIMES и GlobalVoices; авторы отмечают, что больший корпус мог бы улучшить результаты. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

LitBERTa uncased — модель семейства RoBERTa для заполнения пропусков в литовском тексте. Автор обучил её примерно на 4,7 ГБ данных в течение десяти дней на RTX 2070 с 8 ГБ видеопамяти; модель охватывает специальные литовские буквы, а её словарь на 128 тысяч токенов учитывает большое число словоформ. В метаданных указаны 211,6 млн параметров и контекст длиной 258 токенов. Модель подходит для подстановки вероятных слов в замаскированные места и анализа контекста литовских фраз. Автор отмечает, что качество ограничено доступными ресурсами для обучения. Лицензия MIT.