I.6Перевод и языковая адаптация

zhzh98/gpt2-german-mono2bi-en2b-embedft-seed13 — языковая модель семейства GPT-2, обученная с нуля; карточка не сообщает, кто именно её разработал. Она предназначена для генерации текста. Модель реализована как плотная GPT2LMHeadModel, использует библиотеку Transformers, распространяется в формате safetensors и имеет контекст длиной 256 токенов. Название указывает на связь модели с немецким и английским языками, однако README не описывает обучение, данные и предполагаемые сценарии использования. Лицензия в предоставленных сведениях не указана. README также не содержит результатов оценки качества, поэтому пригодность модели для конкретных задач по этим данным установить нельзя.

GPT-2 Nepali WikiMulti — авторегрессионная языковая модель семейства GPT-2, обученная Dehan Al Kautsar с нуля на непальской части корпуса WikiMulti. Это GPT-2-small с 12 слоями, размером скрытого представления 768 и 12 головами внимания; модель и отдельный byte-level BPE-токенизатор обучены без использования предобученных весов или исходного англоязычного словаря GPT-2. Контекст составляет до 1024 токенов, словарь — 43 846 токенов. Модель предназначена для продолжения и генерации текста на непальском языке, в том числе на основе данных Википедии. Она выдаёт непальский текст, но карточка не описывает специализированные задачи вроде диалога, инструкционного следования или работы с инструментами. Валидационная perplexity указана как 4,71. Модель опубликована в формате safetensors и рассчитана на использование через Transformers. Лицензия в предоставленных данных не указана.

aariciah/gpt2-persian-20k-lc — языковая модель на архитектуре GPT-2, опубликованная в формате safetensors и доступная для использования через Transformers. По карточке это дообученная версия GPT-2; модель предназначена для генерации текста, однако README не содержит сведений о целевом сценарии или обучающих данных. Модель принимает текст и продолжает его. Размер модели и поддерживаемый язык в метаданных не указаны; название репозитория указывает на персидский язык, но README этого не подтверждает. Длина контекста — 256 токенов. Лицензия в предоставленных данных не указана.

CKIP GPT2 Tiny Chinese — компактная плотная языковая модель архитектуры GPT-2 с головой для генерации текста, предоставленная Mu Yang из CKIP. Модель входит в проект с инструментами и моделями обработки традиционного китайского языка. Предназначена для генерации текста на традиционном китайском языке. В метаданных указаны 1024 токена контекста и формат PyTorch. Для токенизации автор рекомендует BertTokenizerFast вместо AutoTokenizer. Репозиторий также описывает инструменты сегментации слов, разметки частей речи и распознавания именованных сущностей, но не утверждает, что эта GPT-2 модель сама выполняет эти задачи. Лицензия модели — GPL-3.0. README не приводит размер модели, оценку качества или дополнительные сведения об ограничениях.

GPT-2 — дообученная Imran1 модель генерации текста на корпусе новостей на урду. Она обучалась с причинно-языковой целью на 1000 примерах и предназначена для продолжения и генерации текстов в новостном стиле на урду. Модель использует архитектуру GPT-2, представлена в форматах PyTorch и Safetensors и имеет контекст длиной 1024 токена. Автор сообщает о тренировочной потере 3,042 и предупреждает, что из-за малого объёма данных качество может быть невысоким. Лицензия — MIT.

HmarBERT-mini-v2 — компактная языковая модель семейства HmarBERT, разработанная для языка хмар (hmr), одного из языков зо. Это 8-слойный BERT-энкодер для предсказания скрытых токенов в тексте; модель обучена с нуля на корпусах предложений и абзацев на языке хмар. В README указано 29,34 млн параметров, тогда как метаданные Hugging Face сообщают 37,1 млн; архитектура использует скрытый размер 512, восемь голов внимания, словарь WordPiece из 7 000 токенов и максимальную длину последовательности 512 токенов. Модель предназначена для заполнения пропусков в тексте на языке хмар и получения контекстных языковых представлений, в том числе для экспериментов и локального запуска на скромном оборудовании. В README описаны связанные эмбеддинги и трёхэтапное предварительное обучение с детерминированным маскированием целых слов. Репозиторий содержит веса safetensors; лицензия — Apache 2.0. Результаты для других языков или прикладных задач в источниках не заявлены.

Llama-3-8B-flashback-v1 — полное дообучение модели Meta-Llama-3-8B, созданное продолжением предварительного обучения на форумах. Разработчик использовал около 2,25 млн веток обсуждений со шведского сайта, примерно 40 ГБ текста, и обучал модель три эпохи. Модель предназначена для генерации текста в стиле форумных веток: заголовков, сообщений авторов и ответов, включая цитирование предыдущих реплик. Архитектура — плотная LlamaForCausalLM с 7,5 млрд параметров; контекст — 8192 токена. Карточка указывает поддержку шведского, английского, норвежского и датского языков. Лицензия — MIT. Специализация на форумных обсуждениях может ограничивать качество ответов вне этого жанра и домена. Данные обучения сосредоточены на одном шведском форуме, поэтому модель может воспроизводить его стиль и особенности.

LUNI-base — маскированная языковая модель на архитектуре ModernBERT, разработанная для люксембургского языка. Она предварительно обучена на люксембургских и дополненных люксембургских текстах по рецепту Ettin и предназначена для предсказания скрытых токенов в контексте, например для восстановления пропусков и анализа формулировок. Модель относится к семейству encoder, имеет 149 млн параметров и контекст до 7 999 токенов по метаданным; README указывает контекст 1 024 токена. Токенизатор использует BPE с 50 368 токенами и специальными токенами в стиле BERT. Модель подходит для задач заполнения масок на люксембургском языке и как языковая основа для экспериментов с этим языком. Она распространяется в формате Safetensors и используется через Transformers версии 4.48.0 или выше. Лицензия — CC BY-SA 4.0.

Marathi-SmolLM2-145M — экспериментальная базовая языковая модель на 145,4 млн параметров, созданная разработчиком sky-2002 по мотивам архитектуры SmolLM2. Это плотная авторегрессионная модель семейства Llama для генерации текста на маратхи. Она предварительно обучена на проверенной маратхской части набора ai4bharat/sangraha объёмом около 2,8 млрд токенов. Модель рассчитана на продолжение текста и исследовательские эксперименты с генерацией на маратхи; диалоговая донастройка для неё в карточке обозначена как будущая работа. В метаданных указан контекст до 8192 токенов, однако README сообщает, что при обучении использовалась длина контекста 512 токенов. Формат весов — safetensors, библиотека — Transformers. Модель может выдавать бессвязный текст, особенно на запросы вне обучающих доменов или в разговорном стиле. Условия лицензии в предоставленных данных не приведены.

Stanza для Old East Slavic (orv) — модель из набора инструментов лингвистического анализа текста, разработанного командой Stanford NLP. Репозиторий содержит модель PyTorch для классификации токенов; в Stanza такие модели используются как часть конвейера анализа текста. Модель предназначена для обработки текстов на древневосточнославянском языке. Указанная лицензия — Apache-2.0. Данных о размере модели, контексте и конкретном наборе меток в карточке нет.

NYTK разработала эту небольшую GPT-2 модель для генерации текста на венгерском языке в новостном стиле. Модель предварительно обучена на венгерской Википедии, затем дообучена на корпусе новостных текстов с сайтов hvg.hu, index.hu и nol.hu. Она предназначена для продолжения текста и создания черновиков, похожих на венгерские новости. Модель использует архитектуру GPT-2 с плотными весами и доступна в формате PyTorch. Контекст составляет 1024 токена. В README приведено значение perplexity 22,06 для новостной модели; это результат оценки, а не гарантия качества для произвольных запросов. Лицензия — MIT.

truongpdd/vietnews-gpt2 — авторегрессионная языковая модель на архитектуре GPT-2, предназначенная для генерации текста. Карточка показывает загрузку через Transformers как причинной языковой модели; репозиторий содержит варианты весов PyTorch и Flax, а контекст составляет 1024 токена. Название указывает на связь модели с новостями на вьетнамском языке, поэтому её можно использовать для продолжения и генерации новостного текста на вьетнамском. README не описывает обучение, состав данных или оценку качества. Лицензия в предоставленных данных не указана.

Модель binxu/Ziyue-GPT2 — авторская GPT-2 для генерации текстов на классическом китайском языке. Она обучена на текстах китайской классики, собранных с ctext.org; обучающая выборка небольшая и занимает около 19 МБ. В перечень источников входят конфуцианские и даосские произведения, трактаты по военному делу и истории, а также классические романы. Модель подходит для продолжения фрагментов и создания стилизованного текста на основе китайской классики. Использует архитектуру GPT-2 и токенизатор bert-base-chinese; максимальный контекст составляет 1024 токена. Репозиторий содержит веса в форматах PyTorch и safetensors. Карточка не сообщает лицензию, поэтому условия использования следует проверить на странице модели.

AraPoemBERT — модель семейства BERT, разработанная для работы с арабской поэзией. Она предварительно обучена на корпусе, содержащем более двух миллионов стихотворных строк, и предназначена для предсказания скрытых фрагментов текста в задаче fill-mask. Модель содержит 132,8 млн параметров, использует архитектуру BertForMaskedLM и работает с контекстом длиной до 32 токенов. Модель подходит для восстановления пропусков в арабских стихах и анализа языковых закономерностей поэтического текста. Репозиторий содержит код и результаты. Доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Bharat-Tiny-LLM v3.4 — экспериментальная языковая модель, разработанная eulogik. Это плотная авторегрессионная модель семейства Qwen3 с 1,7 млрд параметров, предназначенная для генерации текста в чате и решения математических задач. Модель дообучена на смешанном наборе данных для математики и чата; базовая модель — eulogik/Bharat-Tiny-LLM-v3. Доступны веса в формате safetensors, контекст — до 32 768 токенов. Модель ориентирована на хинди и хинглиш. Разработчик сообщает о слабом качестве чата и результате около 13% на GSM8K-Hindi против 56% у v3; версия помечена как устаревшая и сохранена для воспроизводимости. Лицензия — Apache-2.0.

ChatWaifu 2.0 Vision — мультимодальная чат-модель разработчика spow12 (yw_nam), дообученная на базе mistral-community/pixtral-12b и построенная на архитектуре LLaVA. Она принимает текст и изображения, поддерживает японский и английский языки и предназначена для диалогов, ролевого общения в образах персонажей визуальных новелл и обсуждения изображений в чате. В обучении использовались наборы для ролевых диалогов, инструкций и понимания изображений; README указывает примерно 370 тысяч примеров SFT. Модель позволяет задать собственную персону персонажа или общаться с предусмотренными образами. Она не прошла полное тестирование, а автор сообщает об ошибке во входных данных при дообучении и рекомендует обновлённую версию. Из-за включения материалов для взрослых модель может генерировать откровенный контент. Лицензия в метаданных — CC BY-NC 4.0; README также ограничивает использование некоммерческими и исследовательскими целями.

Choqok 1B 0.0-alpha-1 — небольшая языковая модель Jabir Project, разработанная Мухаммадрезой Хагири и дообученная на персидских данных на основе Meta Llama 3.2 1B. Это плотная авторегрессионная модель семейства Llama для генерации текста и диалогового использования; заявленный размер — 1,2 млрд параметров, нативный контекст — до 131 072 токенов. Репозиторий содержит веса Safetensors, модель рассчитана в том числе на локальный запуск и имеет интерфейс вызова инструментов. Основное назначение — ответы и диалоги на персидском языке, в том числе на устройствах с ограниченными ресурсами. Разработчики отмечают слабое качество и несвязность персидских ответов, а также появление посторонних символов при генерации на персидском и арабском. Модель может ошибочно представляться как Llama от Meta из-за происхождения от базовой модели. Лицензия MIT; README заявляет о возможности свободного коммерческого использования.

Это доменно адаптированная версия DistilBERT Base Uncased, дообученная AlexStamp на датасете отзывов о фильмах IMDB для задачи masked language modeling. Модель принимает английский текст и предсказывает пропущенные токены; её можно применять через Transformers pipeline fill-mask для подсказок при анализе или редактировании отзывов и других текстов о кино. В основе лежит DistilBertForMaskedLM с контекстным окном до 512 токенов. Дообучение на неформальной лексике и сочетаниях слов из отзывов о фильмах адаптирует языковые представления к этой тематике. В README сообщается о снижении perplexity с 23,14 до 9,91 на оценке доменной адаптации. Модель распространяется по лицензии Apache-2.0. Она предсказывает маскированные токены, а не присваивает отзывам метки тональности; заявленные результаты относятся к языковому моделированию на целевом домене и сами по себе не подтверждают качество для других задач.

ELECTRA small Japanese generator — компактная модель семейства ELECTRA, разработанная izumi-lab и предварительно обученная на японском тексте. Архитектура включает 12 слоёв, скрытые состояния размерности 256 и 4 головы внимания; модель содержит около 21 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для заполнения пропусков в японском тексте. Она обучена на японской Википедии по состоянию на 1 июня 2021 года: корпус содержит около 20 млн предложений. Токенизация выполнена с помощью MeCab с IPA-словарём и WordPiece, размер словаря — 32 768 токенов. Модель подходит для восстановления скрытых слов и экспериментов с задачами masked language modeling на японском языке. Её корпус ограничен Википедией, поэтому результаты могут быть слабее на специализированных текстах и других языках. Лицензия — CC BY-SA 4.0.

huranokuma/es — японская GPT-2-модель, дообученная для написания текстов ES (эссе и заявлений при трудоустройстве). Разработчик сообщает, что для обучения использовано более 20 тысяч ES от кандидатов, получивших предложения о работе; обучение проводилось с использованием кода из репозитория rinnakk/japanese-pretrained-models компании rinna. Архитектура — GPT2LMHeadModel, формат весов — PyTorch, контекст — 1024 токена. Модель предназначена для генерации японских текстов ES по заданному текстовому запросу. Карточка упоминает веб-приложение, но не описывает интерфейс или способ его использования. Модель распространяется по лицензии MIT. Качество генерации и ограничения в карточке не оценены; поскольку обучающие данные состоят из ES кандидатов, получивших предложения, модель может воспроизводить их особенности.

HuBERT Large German v1 — акустическая модель распознавания немецкой речи в последовательность фонем Международного фонетического алфавита (IPA), разработанная для системы оценки произношения PronunCheck. Это дообученная на немецкой части Multilingual LibriSpeech модель HuBERT Large с архитектурой CTC; размер опубликованной модели — 402,7 млн параметров. Она выдаёт 70 типов фонемных токенов, включая немецкие гласные и дифтонги, согласные и знаки ударения, и предназначена для оценки произношения методом Goodness of Pronunciation. Модель подходит для фонемной транскрипции немецкой речи и оценки произношения в чистых аудиозаписях. На тестовой части Multilingual LibriSpeech указана ошибка PER около 28,4%, а на спонтанной речи Mozilla SPS 4.0 — около 35,6%. Модель обучалась на чистых аудиокнигах, поэтому хуже справляется с быстрой разговорной речью, реверберацией и записями с низкокачественных микрофонов. Лицензия — Creative Commons Attribution 4.0 (CC BY 4.0).

Goldfish kac_latn_5mb — авторегрессионная языковая модель на архитектуре GPT-2, разработанная как часть набора Goldfish для 350 языков. Это модель для языка качинский в латинской письменности, обученная на объёме данных, соответствующем примерно 5 МБ после поправки на различия в кодировании текста. В модели около 27,6 млн параметров, словарь содержит 26 984 токена, максимальная длина последовательности — 512 токенов. Для лучшей работы перед входным текстом следует добавлять токен [CLS], совпадающий с [BOS]. Модель предназначена для генерации продолжения текста на качинском языке и исследований языкового моделирования для малоресурсных языков. Обучающие данные собраны из MADLAD-400 и NLLB; разработчики отмечают, что набор Goldfish создан прежде всего для сопоставления моделей между языками и не рассчитан на сравнение качества для распространённых языков с современными крупными языковыми моделями. Модель опубликована в формате PyTorch, библиотека — Transformers. Лицензия — Apache-2.0.

kncarab5mb — одноязычная авторегрессионная языковая модель семейства GPT-2 из набора Goldfish, разработанного для сопоставимого изучения моделей на 350 языках и работы с языками с ограниченными ресурсами. Модель предназначена для генерации текста на центральноканури на арабском письме; при подаче текста рекомендуется добавлять в начало токен [CLS], который также выполняет роль [BOS].

pkupie/lawyer-llama-13b-v2 — языковая модель семейства Llama на 13 млрд параметров, представленная в формате safetensors и рассчитанная на генерацию текста. Название указывает на юридическую специализацию, однако README не содержит сведений о назначении, обучении или проверенных возможностях модели. В метаданных указан китайский язык и контекст до 4096 токенов. Модель может быть полезна для экспериментов с генерацией юридических текстов, но её качество и пригодность для практических юридических задач по доступным материалам подтвердить нельзя. Указана лицензия Llama 2.

Llama-3.2-3B-Instruct-NEO-WEE-HORROR-GGUF — это квантизированная GGUF-версия модели Llama 3.2 3B Instruct, доработанная DavidAU с использованием набора данных NEO IMATRIX Tiny «Wee» Horror. Модель предназначена прежде всего для генерации художественных текстов, рассказов, сюжетов и подсюжетов, продолжения сцен, ролевых диалогов и работы с жанрами fiction, включая horror, science fiction и romance. Модель имеет около 3 миллиардов параметров, поддерживает текстовую генерацию и заявленный контекст до 131 000 токенов, обычно обозначаемый как 128K. Указаны языки English, French, German, Spanish, Italian, Portuguese, Chinese, Japanese, Russian и Korean. Для работы рекомендуется шаблон Llama 3; использование других шаблонов, например Command-R, может существенно изменить результат. По заявлению автора, модель способна работать на GPU со скоростью около 90 токенов в секунду, однако фактическая производительность зависит от оборудования и выбранного кванта. Основная особенность доработки — усиление творческой выразительности с мрачной и хоррор-ориентированной стилистикой: модель добавляет напряжение, ощущение надвигающегося ужаса, более интенсивные сцены и яркую прозу. Это может быть преимуществом для художественного письма и ролевых сценариев, но ограничивает пригодность модели для нейтральной генерации и может приводить к графическим или подразумеваемым описаниям насилия и ужаса. Результаты заметно зависят от температуры, repetition penalty и типа квантизации; автор рекомендует кванты IQ3 и IQ4, особенно IQ4_XS, а также repetition penalty от 1.02 и выше. Модель распространяется по лицензии Apache-2.0.

LOGION-base — модель семейства BERT, разработанная Чарли Коуэн-Брином, Крестоном Бруксом, Йоханнесом Хаубольдом и Барбарой Грациози. Она предназначена для восстановления пропущенных токенов в текстах на древнегреческом и других вариантах премодерного греческого языка. Модель содержит 140,1 млн параметров, использует архитектуру BertForMaskedLM и обрабатывает контекст длиной до 512 токенов. Она продолжает предварительное обучение на корпусе свыше 70 млн слов премодерного греческого, исходно опираясь на веса и токенизатор Ancient Greek BERT Прана́йдипа Сингха, обученного на материалах First1KGreek, Perseus Digital Library, PROIEL Treebank и Gorman's Treebank. LOGION-base подходит для заполнения масок и связанных с этим исследовательских сценариев обработки исторических греческих текстов; README также упоминает поиск последовательностей для нескольких маскированных токенов. Качество зависит от периода, жанра и токенизации текста. Лицензия в предоставленных данных не указана.

MizGPT — авторегрессионная языковая модель на архитектуре GPT-2, разработанная и поддерживаемая Hillbyte. Модель дообучена на очищенном и токенизированном корпусе текстов на языке мизо (лушай); в обучающем наборе было 125 341 пример. В основе лежит openai-community/gpt2 примерно с 124 млн параметров. Модель предназначена для генерации продолжения текста и использует контекст до 1024 токенов. MizGPT подходит для создания историй и творческих текстов на мизо, автодополнения фраз и экспериментов с NLP для малоресурсных языков Индии. В README приведены результаты оценки на отдельной проверочной выборке: perplexity 24,99 и точность 39,18%. Это компактная модель, поэтому длинные генерации могут терять связность, а фактическую корректность результатов следует проверять. Лицензия — MIT.

pbt_arab_5mb — одноязычная языковая модель из набора Goldfish, разработанного для обучения моделей на 350 языках. Эта версия предназначена для южного пушту на арабском письме и обучена на корпусе объёмом около 5 МБ после поправки на повышенное число байтов в текстах на этом языке. Данные взяты из NLLB, включающего CommonCrawl и ParaCrawl. Модель использует архитектуру GPT-2 с 34,9 млн параметров и контекстом до 512 токенов. Она предназначена прежде всего для изучения и генерации текста на низкоресурсном языке, а также для сопоставления моделей между языками. Для подачи текста рекомендуется добавлять в начало токен [CLS], используемый как [BOS]. Разработчики отмечают, что результаты Goldfish для высокоресурсных языков не рассчитаны на сравнение с современными крупными языковыми моделями. Модель распространяется под лицензией Apache-2.0.

kurogane/pico-hiragana-3.8M-base-5BT — компактная текстовая модель для генерации и продолжения японского текста, разработанная автором репозитория на базе архитектуры Qwen3.5. В ней около 3,5 млн параметров, 2000 токенов словаря, шесть слоёв Gated DeltaNet и два слоя полного внимания; нативный контекст — 4096 токенов. Модель рассчитана на японский язык с упором на хирагану и поддерживает чатовый формат, а также обычное продолжение текста. Репозиторий представляет собой формат распространения исходного чекпойнта и совместимого токенизатора для загрузки через Transformers, а не новое обучение или официальную модель Qwen. В README описаны подготовленные 5 млрд входных токенов японских текстов и диалогов, значительная часть которых повторялась при обучении. Модель текстовая; зарезервированные идентификаторы для других модальностей не означают их поддержку. Автор сообщает об успешной проверке совместимости токенизатора, но динамическую загрузку Auto-классами, генерацию и pipeline на момент составления README ещё не проверил. Для работы нужны Transformers 5.12.1, SentencePiece и PyTorch; токенизатор использует удалённый Python-код. Отдельное instruction tuning и оценка безопасности не заявлены. Метаданные указывают лицензию Apache-2.0, тогда как README говорит, что условия лицензии ожидают подтверждения автора; лицензионный статус следует сверить перед использованием.

Rudra-7b — языковая модель для продолжения текста на санскрите, разработанная saucam. Это дообученная с помощью QLoRA версия Gemma-7b; в карточке указаны архитектура Gemma с плотной моделью и 8,2 млрд параметров. Модель представлена в формате safetensors, использует контекст до 8192 токенов и обучалась на данных saucam/sans_data. Модель предназначена для генерации продолжений санскритского текста и экспериментов с языковыми моделями для санскрита. Для загрузки автор приводит пример генерации через Transformers. Лицензия — Apache-2.0. Карточка не содержит оценок качества или подробного описания ограничений, поэтому пригодность результатов для конкретных задач следует проверять отдельно.