I.6Перевод и языковая адаптация

Wongwian Micro Instruct — компактная языковая модель Wongwian, разработанная в рамках исследовательского проекта тайских языковых моделей. Модель содержит 238,3 млн параметров по метаданным и предназначена для генерации текста и диалогов с выполнением инструкций. Её обучили с нуля на преимущественно тайских данных объёмом 40 млрд токенов, затем провели дообучение на диалогах на тайском языке. Используются архитектура Llama для причинного языкового моделирования и токенизатор SentencePiece Unigram с словарём 32 тыс. токенов; модель работает через Transformers и хранится в формате safetensors. Модель рассчитана прежде всего на тайский язык, также заявлена поддержка английского. Окно контекста — 2048 токенов. Её можно применять для коротких диалогов на тайском, следования инструкциям и демонстрационных задач, где важны компактность и локализация. Лицензия — MIT. Из-за небольшого размера модель не подходит для сложных рассуждений и развёрнутого анализа. Возможны фактические ошибки, повторения, смещения из обучающих данных и снижение качества у предельной длины контекста.

seanghay/xlm-roberta-khmer-small — компактная модель XLM-RoBERTa для кхмерского языка, разработанная seanghay и обученная с нуля методом masked language modeling на корпусе из 5 млн предложений, 162 млн слов и 578 тыс. уникальных слов. В метаданных указано 62,8 млн параметров; модель использует словарь размером 8 тыс. токенов и поддерживает контекст до 514 токенов. Модель предназначена для заполнения пропусков в кхмерском тексте: она предсказывает замаскированные слова и подходит для языковых задач, построенных на таком представлении. Автор отмечает, что она компактнее xlm-roberta-base и лучше приспособлена к кхмерскому языку. Обучающие данные собраны с публичных новостных сайтов и Википедии. Доступна в формате Safetensors и распространяется по лицензии Apache-2.0. Карточка показывает применение через библиотеку Transformers и pipeline fill-mask; сведений о других задачах и оценках качества не приводится.

Armenian-MiniLlama 100M — компактная авторегрессионная языковая модель семейства MiniLlama, разработанная Evanroubert и обученная с нуля на армянском корпусе объёмом 2,56 млрд токенов. Она предназначена для генерации армянского текста и экспериментов с небольшими языковыми моделями. Архитектура включает 88,1 млн параметров по метаданным, Grouped-Query Attention, блоки SwiGLU и позиционные RoPE; контекст — 512 токенов. Используется собственный токенизатор Byte-Level BPE с армянским алфавитом и поддержкой латинских аббревиатур. В README заявлены разнообразие генерации и корректная обработка армянской морфологии и пунктуации. Модель принимает и генерирует текст; доступные данные подтверждают специализацию на армянском языке. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Короткое контекстное окно и небольшой размер ограничивают объём учитываемого текста и общие возможности модели.

BEREL — версия 1.0 модели BERT для раввинистического языка, разработанная командой авторов Avi Shmidman, Joshua Guedalia, Shaltiel Shmidman, Cheyn Shmuel Shmidman, Eli Handel и Moshe Koppel. Это плотная модель с архитектурой BertForMaskedLM, предназначенная для заполнения пропусков в тексте. Она содержит 211,6 млн параметров, работает с контекстом до 512 токенов и доступна в форматах PyTorch и Safetensors через библиотеку Transformers. Модель рассчитана на тексты на иврите; название указывает на раввинистически кодированный язык. Модель подходит для задач языкового моделирования и анализа исторических или раввинистических текстов на иврите. Авторы указывают, что BEREL 3.0 является улучшенной версией. Распространяется по лицензии Apache-2.0.

CPM-Generate-distill — китайская авторегрессионная языковая модель для генерации текста, полученная дистилляцией CPM. В README CPM описана как модель с 2,6 млрд параметров, разработанная исследовательской командой Beijing Zhiyuan Institute of Artificial Intelligence и Университета Цинхуа; размер указан для CPM, поэтому его нельзя уверенно приписать именно дистиллированной версии. Репозиторий создан неофициальным загрузчиком и содержит веса в форматах PyTorch, TensorFlow и Flax. Модель предназначена для генерации китайского текста. Она основана на архитектуре GPT-2, принимает текст и выдаёт текст, а заявленная длина контекста составляет 1024 токена. README указывает, что это дистиллят CPM, но не описывает отдельные преимущества или результаты оценки этой версии. Лицензия в предоставленных данных не указана. Поскольку репозиторий загружен неофициально, происхождение файлов и условия их использования следует сверять с исходным репозиторием CPM-Generate.

Koichi Yasuoka разработал эту модель на базе DeBERTa V2, дообучив KoichiYasuoka/deberta-base-japanese-aozora для определения синтаксической вершины слова в японском тексте. Задача оформлена как question answering: слово-кандидат задаётся в вопросе, а модель ищет его голову в контексте; README рекомендует использовать [MASK] в контексте, чтобы снять неоднозначность, если слово встречается несколько раз. Модель содержит 137,8 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Она предназначена для синтаксического анализа японского языка, в частности для выявления зависимостей в разбиении на длинные единицы слов. Модель распространяется в формате PyTorch по лицензии CC BY-SA 4.0.

Dolma v2 — модель BERT-base для предсказания замаскированных слов в текстах на языке хмар (Hmar, hmr). Её разработал пользователь azinamotoe; модель дообучена на базе robzchhangte/MizBERT и обучалась на наборе hmar-heritage-org/dolma-pretrain, содержащем 89 605 предложений и около 2,4 млн токенов. Модель предназначена для восстановления пропусков в хмарских текстах и получения контекстных представлений слов. Она содержит 136,7 млн параметров, принимает текст с маскированными токенами, имеет контекстное окно 512 токенов и распространяется в формате Safetensors. В README указаны шесть эпох обучения, оценочная ошибка 1,90 и perplexity 6,68. Лицензия модели — MIT. Обучение на ограниченном по объёму корпусе может сказываться на качестве для редких слов, тем и вариантов языка; модель ориентирована на задачу masked language modeling, а не на генерацию свободных ответов.

KarmaCST разработала GPT-2 Large, причинную языковую модель для дзонг-кэ, обученную предсказывать продолжение текста. Она подходит для интерактивного подбора следующего слова и генерации текста на основе заданного фрагмента. Модель использует архитектуру GPT-2 Large с 36 слоями, 20 головами внимания и размерностью эмбеддингов 1280; README указывает около 774 млн параметров и собственный быстрый токенизатор. Контекст ограничен 128 токенами. Веса доступны в формате safetensors, лицензия — MIT. Модель ориентирована на дзонг-кэ; её качество и пригодность для других языков или задач не описаны.

LOGION-50k_wordpiece — модель BERT для древнегреческого языка, созданная Чарли Коуэном-Брином, Крестоном Бруксом, Йоханнесом Хаубольдом и Барбарой Грациози для филологических исследований. Авторы обучили токенизатор WordPiece с размером словаря 50 000 и модель на корпусе более чем из 70 миллионов слов премодерного греческого текста. Модель предназначена для предсказания пропущенных токенов в тексте и может использоваться для языкового анализа древнегреческих текстов и вспомогательной проверки ошибок. Это плотная BERT-модель класса BertForMaskedLM с 151,6 млн параметров и контекстом до 512 токенов. В карточке указано использование библиотеки Transformers и формата PyTorch. Модель специализирована на древнегреческом и не описана как генеративный чат-бот. README не сообщает лицензию и подробные результаты оценки; для проверки качества и условий использования следует обратиться к карточке модели и материалам проекта на GitHub.

MangaLMM — мультимодальная модель для понимания манги, представленная авторами работы «MangaVQA and MangaLMM: A Benchmark and Specialized Model for Multimodal Manga Understanding». Репозиторий содержит веса модели; метаданные указывают архитектуру Qwen2.5-VL и размер 7,1 млрд параметров. Модель принимает изображения манги и текстовые запросы, а в ответ генерирует текст. Она предназначена для визуальных вопросов и ответов и других сценариев анализа манги. Контекст составляет до 128 000 токенов. В карточке не перечислены поддерживаемые естественные языки и конкретные ограничения качества. Лицензия — MIT.

Myna-Hokkien — открытая разговорная речевая модель iNLP Lab при SUTD для общения на хоккиенском языке. Она принимает речь на вход и отвечает сгенерированной речью без промежуточного преобразования в текст; также поддерживает текстовый ввод и вывод. В этой версии модель ориентирована прежде всего на сингапурский акцент хоккиенского. Архитектура основана на Qwen3-Omni, веса опубликованы в формате safetensors. Модель предназначена для голосовых диалогов, вопросов и инструкций на хоккиенском. Лицензия Apache 2.0. В карточке не приведены размер модели и длина контекста; качество для других разновидностей хоккиенского не описано.

Nepali-GPT2-CausalLM — языковая модель авторегрессионной архитектуры GPT-2, опубликованная пользователем raygx на Hugging Face. Модель дообучена на неизвестном наборе данных; в карточке приведены результаты одного этапа обучения: train loss 4,7022 и validation loss 4,6237. Модель предназначена для генерации текста на непальском языке. Её можно применять для продолжения непальского текста и создания простых текстовых черновиков. Указанная длина контекста — 1024 токена; репозиторий содержит веса в формате TensorFlow. Качество и пригодность для конкретных сценариев трудно оценить: обучающие данные и подробные результаты оценки не описаны. Лицензия в предоставленных данных не указана.

predBor-v0.5 — предварительная базовая языковая модель, созданная с нуля для боснийского, хорватского и сербского языков с поддержкой английского. Это причинная плотная модель архитектуры LLaMA с 779,3 млн параметров, токенизатором Bor-v2 и контекстом до 4096 токенов. Модель обучалась на корпусе Bor-CORPUS-22B; опубликованный чекпойнт видел 11 млрд токенов и остаётся недообученным. Модель предназначена для продолжения текста и экспериментов с генерацией на языках BCS и английском. README отмечает ранние способности к переводу между BCS и английским и к продолжению текста с фактами или ответами при подходящем приглашении, но это не чат-модель: она не предназначена для самостоятельного диалога или ответов на вопросы. Ответы могут содержать галлюцинации. Репозиторий распространяется по лицензии MIT.

Qwen3-1.7B Issa Haiku — компактная текстовая модель на архитектуре Qwen3, разработанная Taku-Yumilab на основе Qwen/Qwen3-1.7B. Веса адаптера LoRA, обученного методом QLoRA на двуязычных примерах хайку Иссы, объединены с базовой моделью, поэтому репозиторий содержит самостоятельную версию без необходимости загружать PEFT-адаптер отдельно. Модель насчитывает 1,7 млрд параметров и поддерживает контекст до 40 960 токенов. Модель предназначена для генерации японского хайку с последующим английским поэтическим переводом: ожидаемый ответ состоит из хайку на японском языке, пустой строки и перевода в 2–4 строках. Обучение проведено в течение одной эпохи на 10 820 двуязычных примерах. Лицензия — Apache-2.0. Это специализированная модель для поэтической генерации, а не универсальный переводчик или чат-модель. Её результат может отличаться от заданной структуры или художественных ожиданий; обучение на ограниченном наборе примеров не гарантирует точность перевода или воспроизведение стиля во всех запросах.

Модель moxeeeem/wav2vec2-finetuned-pronunciation-correction — дообученная версия wav2vec 2.0 Large XLSR-53 для анализа произношения на уровне фонем. Она принимает речь и выводит транскрипцию в фонетической записи, что подходит для выявления и разбора особенностей произношения. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; модель рассчитана на английский язык и работает с аудиовходом. В карточке указана CER 0,1, но не приведены условия измерения этой метрики. Модель распространяется по лицензии Apache-2.0.

Модель RogerB/xlm-roberta-base-finetuned-kinyarwanda-kin-finetuned — дообученная версия Davlan/xlm-roberta-base-finetuned-kinyarwanda для предсказания замаскированных слов в тексте. Она основана на архитектуре XLM-RoBERTa с плотной моделью и головкой masked language modeling, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Подходит для восстановления пропусков в текстах на киньяруанда и задач, построенных на предсказании замаскированных токенов. В README указана оценка loss 1,3074 на наборе для оценки, но датасет обозначен как None, а описание обучения и ограничения не приведены. Модель опубликована в формате PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.

Chocolatine-Cook-3B-combined-SFT-DPO-v0.1 — модель генерации текста, разработанная Jonathan Pacifico в 2024 году и дообученная на базе microsoft/Phi-3.5-mini-instruct. Это плотная модель семейства Llama с 3,7 млрд параметров, рассчитанная на диалог и специализированная на французской кулинарной лексике: карточка сообщает о 283 терминах и определениях французской кухни. Модель прошла последовательное дообучение SFT и DPO на специально созданных франкоязычных кулинарных датасетах. Она предназначена для ответов на вопросы о кулинарных терминах и определениях, а также для диалога на тему французской кухни. Контекст составляет 4096 токенов; веса опубликованы в формате safetensors. Автор описывает модель как демонстрационный проект и сообщает, что у серии Chocolatine нет механизма модерации. Лицензия — MIT.

KhanomTan LLM Instruct 1B — тестовая языковая модель для генерации текста на тайском языке, разработанная Wannaphong Phatthiyaphaibun. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров. Модель доступна в формате safetensors, поддерживает диалоговый сценарий и принимает текст, выдавая текст; длина контекста составляет 2048 токенов. Модель предназначена для экспериментов с генерацией и диалогом на тайском языке. README прямо обозначает её как тестовую модель, поэтому карточка не подтверждает пригодность для надёжного применения. Распространяется по лицензии Apache-2.0.

houdini001/nep-spell-mbart-epoch1 — дообученная модель на базе duraad/nep-spell-mbart, созданная с помощью архитектуры mBART и предназначенная для генерации текста по текстовому вводу. В карточке указано дообучение на датасете, обозначенном как None, поэтому конкретное назначение и обучающие данные определить нельзя. Модель содержит 457,4 млн параметров, принимает текст с контекстом до 1024 токенов и сохранена в формате safetensors. README не приводит сведений об авторе обучения, языках, оценке качества или условиях применения; по названию базовой модели можно предположить задачу исправления орфографии непальского текста, но это не подтверждено описанием.

Модель occitan-distilgpt2-medium — языковая модель семейства GPT-2, дообученная crossroderick на разделе Википедии на окситанском языке. Она предназначена для генерации текста на окситанском и экспериментов с обработкой этого языка; в README приведено значение loss 2,0163 на оценочной выборке. Модель использует архитектуру GPT2LMHeadModel, веса опубликованы в формате safetensors, длина контекста — 1024 токена. README не описывает дополнительные сценарии применения или ограничения. Условия лицензии в доступных данных не приведены.

Модель johnpaulbin/qwen2.5-3b-tokipona-v4-merged-fp16-chat — чат-модель на архитектуре Qwen2.5, дообученная johnpaulbin на базе unsloth/qwen2.5-3b-instruct-bnb-4bit с помощью Unsloth и библиотеки Hugging Face TRL. Она предназначена для генерации текста и диалогов; название указывает на настройку для токипоны, однако README не уточняет обучающие данные и конкретные языковые возможности. Модель содержит 3,1 млрд параметров, принимает текст, имеет контекст длиной до 32 768 токенов и распространяется в формате PyTorch. Лицензия — Apache-2.0. Модель подходит для диалогов и генерации текста на токипоне, а также для экспериментов с компактной моделью Qwen2.5. Указанный базовый чекпойнт — 4-битный, тогда как эта версия обозначена как merged-fp16; README не поясняет процедуру слияния или точность итоговых весов. Качество и уровень владения токипоной в карточке не описаны.

Koichi Yasuoka разработал эту модель на основе KoichiYasuoka/roberta-base-thai-spm, дообучив её для определения синтаксических зависимостей в тайском языке. Модель использует архитектуру RoBERTa и формулирует задачу поиска вершины зависимости как вопросно-ответную: слово задаётся в question, а контекст предложения — в context. Для неоднозначного слова, встречающегося в предложении несколько раз, автор рекомендует отмечать нужное в context токеном [MASK]. Модель обучена на текстах тайской Википедии с разметкой Universal Dependencies и предназначена для разбора зависимостей, в частности обнаружения синтаксической вершины. Размер — 115,6 млн параметров, длина контекста — 512 токенов; опубликована в формате PyTorch под лицензией Apache-2.0. Карточка помечает её как question-answering, хотя прикладное назначение — синтаксический разбор; результат зависит от корректной разметки входных слов и контекста.

noeminaepli разработал модель разметки частей речи для швейцарского немецкого языка. Она классифицирует токены по тегам STTS и предназначена для морфосинтаксического анализа текстов на швейцарском немецком, например для подготовки корпусов и лингвистических исследований. Модель построена на архитектуре BERT и содержит 137,1 млн параметров; максимальная длина контекста — 512 токенов. Для использования доступны веса PyTorch и интерфейс Transformers. Лицензия — CC; конкретный вариант лицензии в предоставленных данных не уточнён.

aristoBERTo — трансформерная модель семейства BERT для древнегреческого языка, разработанная проектом Diogenet Калифорнийского университета в Сан-Диего. Это модель с 140,1 млн параметров, архитектурой BertForMaskedLM и контекстом до 512 токенов. Её предобучили продолжением обучения: исходные веса GreekBERT, обученного на корпусе современного греческого объёмом около 30 ГБ, адаптировали на корпусе древнегреческих текстов объёмом около 900 МБ. Модель предназначена для предсказания пропущенных токенов и тонкой настройки на задачи древнегреческой лингвистики, включая разметку частей речи, морфологии, синтаксических зависимостей и лемм, а также распознавание именованных сущностей. Она может помогать восстанавливать повреждённые тексты папирусов, надписей и рукописей. В большинстве упомянутых авторами downstream-задач на древнегреческом языке модель превосходит xlm-roberta-base и mdeberta. Модель распространяется в формате PyTorch. В карточке не указана лицензия, поэтому условия повторного использования следует проверить в репозитории модели.

AX-DeepSeek-V4-Pro-0813-MLX-AXQ-2bit-MTP — экспериментальная квантизированная сборка модели DeepSeek-V4-Pro-0813 от DeepSeek, подготовленная в формате MLX с использованием AXQuant. Это MoE-модель класса примерно 1,6 трлн параметров, предназначенная для генерации текста на английском и китайском языках, локального экспериментального запуска и изучения работы сверхкрупных моделей на компьютерах Mac. Модель относится к pipeline text-generation и рассчитана на использование через AX Engine; стандартная загрузка как полностью размещённой в памяти модели не предусмотрена. В сборке применена смешанная точность: эксперты, attention и shared MLP квантизированы до 2 бит, embedding и router — до 8 бит, нормы и LM head сохранены в BF16, а DSpark/MTP — в 16-битном виде. MTP упакован, но ускорение speculative decoding не заявлено. Полная таблица экспертов не помещается в unified memory современных Mac, поэтому AX Engine постранично загружает экспертные слои с SSD, из-за чего обработка каждого токена сопровождается медленным дисковым вводом-выводом. Сборка имеет экспериментальный статус, не сертифицирована и не предназначена для практического промышленного использования или поддерживаемых продуктовых сценариев. Качество относительно BF16 и FP8 не измерялось, а ускорение MTP/DSpark не подтверждено. Для использования требуется экспериментальный режим AX Engine; лицензия — MIT, при этом в пакет включена лицензия исходной модели DeepSeek.

Bayon (បាយ័ន) — авторегрессионная языковая модель, разработанная attentionlab и обученная с нуля для генерации текста на кхмерском языке. Это базовая предварительно обученная модель, предназначенная для продолжения текста и языкового моделирования, а также для исследований моделей и токенизаторов для малоресурсных языков и создания моделей Bayon Instruct. Модель использует плотную архитектуру GemmaForCausalLM с декодером-трансформером: около 109 млн параметров, 28 слоёв, размер скрытого состояния 512, grouped-query attention, GeGLU, RoPE и RMSNorm. Контекст — 8192 токена. Для кхмерского разработан собственный BPE-токенизатор с 5000 токенов и byte fallback. Обучение проводилось с нуля на примерно 1,361 млрд кхмерских токенов из attentionlab/fineweb-2-khmer-extended; оно завершилось на шаге 18 000 из запланированных 50 000. Bayon подходит для генерации и продолжения кхмерского текста и исследовательских экспериментов. Это компактная модель без настройки на инструкции, поэтому она может продолжать запрос вместо прямого ответа; её возможности и фактическая точность ограничены, а оценка охватывает лишь небольшой набор вопросов по истории и культуре кхмеров. Возможны ошибки, повторы, предвзятые или нежелательные формулировки. Лицензия — Apache-2.0.

Koichi Yasuoka разработал японскую BERT-модель на основе bert-base-japanese-char-extended и дообучил её для синтаксического разбора зависимостей: определения головного слова для длинных единиц слов. Задача оформлена как question-answering: слово задаётся в вопросе, а предложение — в контексте; для неоднозначного слова README рекомендует помечать его в контексте токеном [MASK]. Модель содержит 118,1 млн параметров, использует архитектуру BERT и принимает текст с контекстом до 512 токенов. Она предназначена для японского языка и обучалась на текстах японской Википедии с использованием UD_Japanese-GSDLUW. Лицензия — CC BY-SA 4.0. Карточка не приводит оценок качества или подробностей о применении за пределами описанной задачи синтаксического разбора.

Koichi Yasuoka разработал эту модель на архитектуре DeBERTa V2 для японского синтаксического анализа зависимостей. Она определяет головное слово для длинных единиц японского текста, формулируя задачу как поиск ответа на вопрос. Модель дообучена на базе KoichiYasuoka/deberta-large-japanese-unidic; при обучении использовались тексты 青空文庫 и данные UD_Japanese-GSDLUW. Размер модели — 435,4 млн параметров, контекст — до 512 токенов. Модель принимает текст с контекстом и вопросом, указывающим на слово, для которого нужно найти синтаксическую вершину. Если одно и то же слово встречается несколько раз, в README рекомендуется помечать нужное в контексте токеном [MASK], чтобы убрать неоднозначность. Модель ориентирована на японский язык и задачу dependency parsing; в карточке Hugging Face её pipeline указан как question-answering. Модель распространяется по лицензии CC BY-SA 4.0. Она специализирована на японских длинных единицах и синтаксических зависимостях, поэтому не предназначена для общего ответа на вопросы; контекст ограничен 512 токенами.

DavidCBaines/ebible_m2o-nllb600m-ton — модель перевода библейских стихов на тонганский язык, созданная дообучением NLLB-200-distilled-600M. Она переводит с четырёх родственных языков: себуано, индонезийского, маори и тагальского. Модель предназначена для эксперимента по подготовке черновых переводов книг Ветхого Завета для языка, на котором в обучении присутствовал только Новый Завет: при обучении использовались новозаветные стихи на тонганском, а оценка проводилась на отложенных текстах Ветхого Завета. Архитектура — M2M-100 для генерации текста; контекст составляет 1024 токена. В тестах на книгах Руфь, Иона и Бытие 1 модель превзошла по chrF3 показатель простого копирования ближайшего исходного текста. Результаты характеризуют ограниченный экспериментальный сценарий с библейскими текстами, а не перевод общего назначения. Модель выпущена под лицензией CC-BY-NC-SA-4.0 и не предназначена для коммерческого использования.

GPT-2 Khmer WikiMulti — авторская модель семейства GPT-2, обученная с нуля разработчиком dehanalkautsar на кхмерской части набора WikiMulti. Это плотная авторегрессионная языковая модель с архитектурой GPT-2-small: 12 слоёв, размер скрытого состояния 768 и 12 голов внимания. Модель и отдельный токенизатор Byte-Level BPE обучены с нуля; предобученные веса GPT-2 и исходный англоязычный словарь не использовались. Модель предназначена для продолжения кхмерского текста и генерации текста на кхмерском языке. Контекст — до 1024 токенов; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. В README приведены значение perplexity 4,10 и лучшая validation loss 1,41; качество для иных задач или языков не заявлено. Лицензия в предоставленных данных не указана.