I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейtacab/somali-agriculture — языковая модель GPT-2 для генерации текстов на сомалийском языке по вопросам сельского хозяйства. Она обучена на примерно 10 000 пар запросов и ответов и предназначена для ответов на аграрные вопросы, подготовки учебных материалов для фермеров и создания тематических чат-ботов. Модель имеет архитектуру GPT-2 с 4 слоями, 4 головами внимания и размером эмбеддинга 256; используется собственный BPE-токенизатор. Контекст ограничен 512 токенами. Модель распространяется под лицензией MIT. Карточка не приводит оценки качества; обучение на ограниченном тематическом наборе данных может ограничивать точность и охват ответов.
Watashiha-Llama-2-13B-Ogiri-sft — японская языковая модель для генерации ответов в жанре огири, разработанная командой Watashiha. В её основе Llama 2 с 13 млрд параметров: к модели добавили японскую лексику, провели дополнительное предобучение на японских и английских корпусах, а затем дообучили на данных огири. Для японских токенов расширили словарь до 45 046 элементов. Модель принимает текст и генерирует текст; максимальный контекст составляет 4096 токенов. В карточке указана библиотека neuronx-nemo-megatron и формат safetensors. Модель предназначена для придумывания японских шутливых ответов на заданные темы, а также для генерации текста на японском языке. В описанной разработчиками оценке огири модель получила больше высоких оценок, чем использованная для сравнения watashiha-gpt-6b; это не гарантирует качество каждой отдельной шутки. Модель выпущена по лицензии LLAMA 2 COMMUNITY LICENSE, условия которой следует учитывать при использовании.
Wav2vec2-large-robust-Pronounciation-Evaluation — дообученная модель на базе facebook/wav2vec2-large-robust для оценки произношения по аудиозаписи. Она использует архитектуру Wav2Vec2ForSequenceClassification и содержит 402,7 млн параметров. В README приведены результаты на оценочной выборке: accuracy, F1, precision и recall — 0,72; loss — 0,7846. Модель предназначена для классификации аудио в сценариях оценки произношения. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Сведения о поддерживаемых языках, составе классов и данных для обучения отсутствуют.
IJyad/whisper-large-v3-Tarteel — дообученная модель OpenAI Whisper Large V3 для распознавания арабской речи при чтении Корана. Она принимает аудио и преобразует записи коранической рецитации в текст; для обучения использован набор Tarteel AI Everyayah. Модель содержит 905,2 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель предназначена для транскрибации коранических рецитаций и исследований, связанных с исламоведением. Валидационный показатель WER в README указан примерно как 48%; модель ориентирована на узкую область и может хуже работать с другими видами арабской речи, а также не предназначена для других языков. Для надёжного вывода рекомендуется передавать явные маски внимания. Лицензия — MIT.
Это англоязычная модель BERT для восстановления замаскированных слов в текстах. Она обучена командой проекта Living with Machines на корпусе исторических книг, изданных в 1760–1850 годах; корпус содержит около 1,3 миллиарда токенов. Модель насчитывает 136,7 млн параметров, использует архитектуру BERT для masked language modeling и принимает последовательности длиной до 512 токенов. Модель подходит для подстановки пропусков и анализа исторической английской лексики в текстах соответствующего периода. Её можно применять в исследованиях истории языка и цифровой гуманитаристике, например, чтобы изучать контекстное употребление слов в книгах 1760–1850 годов. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
Living with Machines — англоязычная BERT-модель, обученная на корпусе исторических книг, опубликованных в 1890–1900 годах. Корпус содержит около 1,1 млрд токенов; модель разработана при участии исследовательской инициативы Living with Machines и The Alan Turing Institute. Модель предназначена для заполнения пропусков в тексте на английском языке и анализа исторической лексики и формулировок конца XIX века. Это плотная архитектура BERT с головой BertForMaskedLM, 136,7 млн параметров и контекстом до 512 токенов. Доступны веса PyTorch и Safetensors. Специализация на книгах 1890–1900 годов делает модель полезной для исторических текстов, но её языковые представления привязаны к этому корпусу и периоду и могут хуже подходить для современного английского или других жанров. Лицензия в предоставленных данных не описана.
Goldfish — серия одноязычных языковых моделей для 350 языков, разработанная Chang и соавторами. Эта версия предназначена для генерации текста на фиджийском языке латинским письмом и обучена на небольшом корпусе объёмом около 5 МБ с поправкой на различия в длине UTF-8-текста между языками. Модель основана на GPT-2 с 36 989 952 параметрами, использует библиотеку Transformers и имеет контекст до 512 токенов. Модель подходит для экспериментов и генерации текста на фиджийском, особенно в задачах изучения и сравнения качества языковых моделей для малоресурсных языков. Для оптимальной работы README рекомендует добавлять токен [CLS] в начало входной последовательности; [SEP] используется как разделитель последовательностей и соответствует [EOS]. Goldfish создавалась прежде всего для сопоставления языков и малоресурсных сценариев, поэтому её результаты для распространённых языков не рассчитаны на сравнение с современными крупными языковыми моделями. Лицензия — Apache-2.0.
inverse_gec — дообученная модель T5, разработанная на основе mika5883/pretrain_rugec. В репозитории указано, что обучение проведено на наборе данных, название которого не приведено; описание назначения, способов применения и оценки отсутствует. Архитектура — T5ForConditionalGeneration с 123,8 млн параметров и контекстом 512 токенов; веса сохранены в формате safetensors. По имеющимся данным нельзя надёжно определить конкретную задачу модели, её поддерживаемые языки или условия лицензии.
alfredplpl/ja-aozora-wikipedia-gemmba-2b — языковая модель семейства Gemma, разработчик которой обозначил её как оригинальную модель. Она предназначена для генерации текста; в названии указана ориентация на японскую Википедию и библиотеку Aozora. Модель имеет 2,5 млрд параметров, использует плотную архитектуру Gemma и поддерживает контекст до 8192 токенов. Автор предупреждает, что модель работает с ошибками и не рекомендует её к использованию. Репозиторий содержит веса в формате safetensors. Указана лицензия other; конкретные условия лицензии по имеющимся данным определить нельзя.
langlm-gguf — набор из двух моделей, созданных Энтони Филдсом (AnthonyFC) для исправления грамматических ошибок в предложениях изучающих немецкий и испанский языки. Модели дообучены методом LoRA на EuroLLM-1.7B, затем адаптеры объединены с базовой моделью, словарь сокращён для каждого языка и веса квантизированы в GGUF Q4_K_M. В каждой версии около 1,3 млрд параметров; файлы занимают примерно 755–757 МиБ. Это базовые модели для текстового дополнения, а не чат-модели: для получения результата их следует вызывать с заданным текстовым промптом и ожидать ответ в JSON. Модель исправляет одно предложение за раз и может перечислить внесённые изменения и типы ошибок. Немецкая версия обучена на ученических предложениях Falko-MERLIN и синтетических ошибках в чистом тексте; испанская — на предложениях учащихся из COWS-L2H и синтетических ошибках. Версии рассчитаны на локальный запуск, в том числе через llama.cpp или в браузере с WebGPU. По данным карточки, сжатие мало повлияло на метрику F0.5, но испанская версия стала чаще изменять изначально правильные предложения. Точность классификации типов ошибок ограничена, а качество на других жанрах и языках не измерялось. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.
Goldfish pan_guru_5mb — одноязычная языковая модель семейства GPT-2, разработанная как часть набора Goldfish исследователями Chang и соавторами. Она предназначена для генерации текста на панджаби письмом гурмукхи и экспериментов с низкоресурсными языками, а также для сопоставления моделей между языками при ограниченном объёме обучающих данных. Модель содержит около 33,8 млн параметров, имеет словарь из 40 049 токенов и контекст до 512 токенов. Она обучена на корпусе объёмом около 5 МБ после поправки на более высокий средний размер текста в UTF-8 по сравнению с английским; среди источников данных — Glot500, NLLB, OSCAR и Википедия. Для генерации рекомендуется добавлять токен [CLS] в начало входа. Модель подходит для небольших экспериментов по генерации текста на панджаби и изучения поведения языковых моделей для малых языков. Авторы отмечают, что результаты Goldfish для высокоресурсных языков не рассчитаны на сравнение с современными крупными языковыми моделями. Лицензия — Apache-2.0.
Phos 7B — модель генерации текста на базе архитектуры Mistral, опубликованная Elizezen. По приведённому примеру она создаёт японскую художественную прозу с диалогами и описанием сцен, поэтому подходит для генерации и продолжения повествовательных текстов на японском языке. Модель содержит 7,1 млрд параметров и поддерживает контекст до 8192 токенов; файлы представлены в формате safetensors. Карточка демонстрирует связный литературный текст и выдержанный диалоговый стиль. Пример не устанавливает качество модели в других жанрах или задачах. Лицензия в предоставленных данных не указана.
SJ-ko — корейская GPT-модель на 75,32 млн параметров, созданная и обученная с нуля Сунджином Муном из Сеульского национального университета. Релиз SJ-0.7.1simft поставляется в формате GGUF; архитектура включает 20 слоёв, размерность 512, 8 голов внимания, RMSNorm, RoPE, SwiGLU и QK-Norm. Для совместимости с llama.cpp используется раскладка GGUF типа qwen3. Модель предназначена для генерации текста на корейском языке и учебных экспериментов с небольшими языковыми моделями. Вариант дообучен для вызова инструментов calc, clock и локального поиска BM25: управляющая программа задаёт специальный токен инструмента, а модель формирует аргументы или ответ по результату. Для такого сценария необходима отдельная программа-обвязка; обычный запуск через Ollama не активирует вызовы инструментов. Обучение проводилось на корейских и английских текстах, включая материалы AI Hub, Википедии и namu.wiki. Автор предупреждает, что модель может выдумывать факты и зацикливаться на повторениях; проект носит образовательный характер и не предназначен для производственного использования. Лицензия — CC BY-NC-SA 4.0.
Surt v3 — это дообученная Surinder Singh модель Whisper-small для распознавания Gurbani в аудиозаписях с выводом текста на гурмукхи. Модель предназначена для транскрибации спокойного чтения Sehaj Path и музыкального исполнения киртана; она обучена с нуля от базовой openai/whisper-small на примерно 660 часах канонизированных аудиозаписей и размеченных текстов. Архитектура — WhisperForConditionalGeneration, библиотека — Transformers; в README указаны входное аудио 16 кГц, моно, обрабатываемое фрагментами до 30 секунд, и язык Punjabi с режимом transcribe. На согласованных тестовых наборах заявлены WER 16,31% для Sehaj Path и 54,80% для киртана. Модель специализирована на Gurbani: она не обучалась на повседневной пенджабской речи, катхе, английском, хинди и других языках, поэтому качество для них может быть низким. Результаты также могут ухудшаться на шумных записях и аудио с акустикой, отличной от обучающих веб-записей. Модель распространяется по лицензии Apache-2.0.
Violet — языковая модель GPT-NeoX, дообученная Zakarth для роли мисс Violet Hartwell, молодой англичанки из Кенсингтона конца XIX века. Модель содержит около 1,8 млрд параметров, использует архитектуру GPTNeoXForCausalLM и принимает контекст до 4096 токенов. Она обучалась преимущественно на англоязычных текстах 1800–1899 годов и рассчитана на генерацию текста в режиме диалога. Модель подходит для ролевого общения от лица персонажа, творческого письма в викторианском стиле, написания писем, описания сцен и ответов о викторианском этикете. В режиме чата формирует строку настроения вместе с ответом; для неё предусмотрен специальный формат запросов и отдельный токенизатор Violet. Лицензия — CC0-1.0. Ответы могут содержать исторические предубеждения, случайные современные фрагменты из-за ошибок OCR, а также неточности в датах и возрастах; модель иногда ошибается в указании пола собеседника или персонажа. Она не предназначена для актуальных фактических вопросов или медицинских, юридических и финансовых рекомендаций.
nenekochan/Yi-6B-yoruno — это разговорная языковая модель на 5,8 млрд параметров, созданная автором репозитория на основе Yi-6B от 01.AI. Модель дообучена методом QLoRA с использованием Firefly на китайских диалогах из датасета yoruno-vn, составленных по материалам первых четырёх произведений серии с удалёнными длинными описаниями. Модель предназначена для генерации диалогов и текста в стиле исходных произведений, а также для продолжения многоходовых бесед на китайском языке. Контекст модели составляет 4096 токенов. Автор отмечает, что вариант на Yi-6B лучше воспроизводит исходный стиль, чем ранний вариант на ChatGLM3-6B-Base, но уступает ему в творческой свободе. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Zomi QLoRA v1 — языковая модель на архитектуре Qwen2, дообученная разработчиком paumkim на текстах на языке зоми (зоу) с помощью QLoRA ранга 128. Это адаптер для Qwen/Qwen2.5-3B; модель содержит 3,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для продолжения предварительного обучения и адаптации базовой модели к языку зоми. Модель генерирует и продолжает тексты на зоми, а также обрабатывает его грамматику и лексику. Она подходит для создания фрагментов и предложений на этом языке и как основа для дальнейшего дообучения. В README указано, что модель пока не следует инструкциям, не поддерживает диалог и не предназначена для перевода зоми и английского по запросу. Лицензия — MIT.
Antler-7B-RP-v2 — японская языковая модель для ролевых диалогов, разработанная Aratako на базе Elizezen/Antler-7B. Это плотная MistralForCausalLM на 7,1 млрд параметров, дообученная с помощью LoRA на наборах LimaRP-augmented и Rosebleu-1on1-Dialogues-RP v2. Модель рассчитана на генерацию реплик персонажа и описаний обстановки; контекст обучения и нативный контекст составляют до 8192 токенов. Для диалога рекомендуется шаблон чата Mistral и формат с описанием мира, персонажей и ролевой инструкции. По сравнению с предыдущей версией модель чаще добавляет описания ситуации. В метаданных указан японский язык. Возможны пустой ответ с преждевременным EOS и выход реплик за пользователя; модель также может нарушать заданную роль. Репозиторий опубликован под Apache-2.0, однако автор отмечает, что лицензия базовой модели неясна и условия могут измениться.
EmojiLM — модель KomeijiForce на архитектуре BART с 255,1 млн параметров, предварительно обученная на наборе данных Text2Emoji. Она преобразует предложения на английском языке в последовательности эмодзи, например фразу «I love pizza» — в «🍕😍». Модель предназначена для генерации эмодзи по тексту; длина контекста составляет 1024 токена. Модель опубликована в формате PyTorch. В README не указаны сведения о лицензии, поэтому условия использования по имеющимся данным определить нельзя.
ChatWaifu 2.0 Vision — мультимодальная чат-модель, разработанная spow12 и собранная с помощью mergekit. Она предназначена для ролевых диалогов с персонажами визуальных новелл и может учитывать изображения в разговоре. В карточке указаны японский и английский языки; модель построена на архитектуре LLaVA, а метаданные связывают её с Pixtral 12B и ChatWaifu 2.0 Vision Base. Модель рассчитана на разговоры в образе заданных персонажей или собственной waifu, а также на обсуждение изображений в чате. Автор предупреждает, что модель протестирована не полностью и может генерировать NSFW-контент из-за обучающих данных с материалами для взрослых. Лицензия в метаданных — CC-BY-NC-4.0; автор также указывает на использование только для некоммерческих и исследовательских целей.
gai-1.0 — компактная причинная языковая модель семейства GAI, представленная в форматах GGUF и SafeTensors. По карточке Hugging Face, версия GGUF содержит около 7,5 млн параметров, а версия Base — около 1,04 млн; GGUF заявлен как совместимый с LM Studio. Модель предназначена для генерации текста. В карточке указаны польский язык и лицензия MIT. Данных о контекстном окне, обучении и качестве генерации нет; небольшой размер модели ограничивает ожидаемую сложность задач.
GLM-Edge-1.5B-Chat-Greek — чат-модель на архитектуре GLM, разработанная как дообученная версия hereticness/heretic_glm-edge-1.5b-chat. Она предназначена для генерации диалоговых ответов с улучшенными навыками греческого языка. Модель содержит 1,5 млрд параметров, использует формат safetensors и поддерживает контекст до 8192 токенов; в метаданных также указана поддержка английского и китайского языков. Карточка предупреждает о низкой связности ответов, частых галлюцинациях и сюрреалистичной риторике, поэтому результатам не следует доверять без проверки. Указана лицензия other; конкретные условия использования следует сверить с лицензией базовой модели и репозитория.
KainoBERTa-sphragis — языковая модель RoBERTa base, разработанная Urdatorn для древнегреческого языка. Это маскированная языковая модель с 12 слоями, размером 768 и 12 головами внимания; она содержит около 138,4 млн параметров и принимает последовательности длиной до 1 025 токенов. Веса обучены с нуля: модель не наследует веса FacebookAI/roberta-base. Модель обучена на очищенной версии корпуса Urdatorn/AncientGreek-no-sphragis и предназначена для предсказания замаскированных токенов и изучения языковых закономерностей древнегреческого. Она также служит архитектурным контролем в сравнении с KainoBERT на третьей редакции рейтинга Sphragis. Корпус очищен от работ бенчмарка, совпадающих строк и заданных текстовых окон, однако очистка не исключает всех коротких цитат, парафразов или текстов, встроенных в комментарии; кроме того, из обучения удалены произведения авторов, проверяемых бенчмарком. Лицензия в метаданных указана как other.
Модель amitness/roberta-base-ne — языковая модель RoBERTa, обученная с нуля на 12 миллионах предложений из непальской части набора CC-100. Она предназначена для заполнения пропусков в непальском тексте: модель предсказывает подходящий токен вместо маскированного фрагмента. Модель содержит 96,6 млн параметров, имеет контекст длиной до 514 токенов и доступна в форматах PyTorch, Flax и Safetensors. Модель подходит для подстановки пропущенных слов и токенов в непальских фразах и для экспериментов с маскированным языковым моделированием. Лицензия MIT разрешает свободное использование и распространение с соблюдением её условий. Обучение на одном языковом корпусе ограничивает применение непальским текстом; качество для других языков и задач не заявлено.
Stoicheia-fold-5 — это анонимно выпущенный символьный masked-diffusion энкодер на 405 млн параметров для древнегреческого языка, опубликованный вместе со статьёй на рецензировании. Архитектура Char-BERT использует 32 слоя и чередует локальное внимание в окне 256 символов с глобальным вниманием. Вход представлен пятью выровненными слоями: буквами, границами слов и предложений, диакритикой, регистром и пунктуацией; каждый слой можно независимо маскировать, задавая неизвестные символы явно. Модель предназначена для заполнения масок и работы с древнегреческими текстами в разных формах записи, включая отредактированные тексты, scriptio continua и лакуны неизвестной длины. Контрольная точка fold 5 исключает из обучения тестовую десятую часть литературного корпуса соответствующего разбиения; README описывает очистку от точных, переставленных и близких дубликатов для оценки без утечки тестовых фрагментов. Модель распространяется по лицензии Apache-2.0. README не сообщает результаты вне описанного сценария оценки.
VNPen writer 2B v0.1 preview — текстовая модель MewBaka Studio для написания сценариев визуальных новелл на упрощённом китайском языке. Она дообучена методом LoRA на базе Qwen/Qwen3.5-2B; адаптер объединён с базовой моделью. Параметры модели — 1,7 млрд, архитектура — плотная Qwen3.5ForCausalLM. Вход и выход — текст, заявленный контекст — 262 144 токена. Модель предназначена для продолжения сценария, переписывания текста с уменьшением характерных для ИИ формулировок и создания примерных сцен по описанию настроения. Результат оформляется строками «говорящий:текст», а повествование помечается как «旁白:». Модель обучалась на китайском корпусе визуальных новелл; мультимодальные компоненты Qwen в опубликованных весах отсутствуют. Это предварительный чекпойнт, а не выпуск v0.1: обучение проведено на подмножестве данных и в течение одной эпохи. В README указана известная проблема деградации; приведённые программные метрики оценивают формат и поверхностные характеристики, а не качество письма. Корпус обучения не распространяется. Лицензия — Apache-2.0.
Gheya-Nacid-instruct-v1 — разговорная текстовая модель семейства GPT-2, разработанная Finisha-LLM. Согласно карточке, это дообучение базовой модели Gheya-Nacid на более чем 1100 парах вопросов и ответов; модель предназначена для творческой генерации на французском языке, в частности для создания неологизмов, метафорических формулировок и идей на стыке этики и искусства. Архитектура — GPT2LMHeadModel, формат весов — safetensors, длина контекста — 1900 токенов. Модель ориентирована на свободные творческие запросы и ответы в необычном, ассоциативном стиле. Она может быть полезна для поиска художественных концепций и преодоления творческого затруднения. Описание не приводит измеримых результатов тестирования качества. Лицензия указана как other, конкретные условия использования в предоставленных данных не раскрыты.
Goldfish gla_latn_5mb — авторегрессионная языковая модель семейства GPT-2 от разработчиков проекта Goldfish, обученная генерировать текст на шотландском гэльском языке в латинской графике. Модель содержит около 35,9 млн параметров; её обучали на корпусе объёмом около 5 МБ, собранном преимущественно из веб-текстов Common Crawl. Используются токенизатор со словарём из 44 264 токенов и контекст длиной до 512 токенов. Модель предназначена для исследований и экспериментов с низкоресурсным шотландским гэльским языком, а также для сравнения монолингвальных моделей между языками. Она может продолжать заданный текст и генерировать короткие фрагменты; для ожидаемого формата входа README рекомендует добавлять в начало токен [CLS]. Проект предупреждает, что качество моделей Goldfish для языков с большим объёмом ресурсов не рассчитано на сравнение с современными крупными языковыми моделями. Репозиторий использует лицензию Apache-2.0.
HmarBERT-mini — компактная модель семейства BERT, созданная разработчиком azinamotoe с нуля для языка хмар (Hmar, hmr), одного из зо-языков. Это четырёхслойный энкодер BERT с 384 скрытыми измерениями и 6 головами внимания; по метаданным модель содержит 18,9 млн параметров, использует формат safetensors и обрабатывает последовательности длиной до 512 токенов. В README указан размер 16,91 млн параметров, поэтому оценки размера в источниках расходятся. Модель обучена на предложениях и абзацах на языке хмар и предназначена для предсказания замаскированных слов, анализа контекста и исследований низкоресурсного языка. Токенизатор без учёта регистра сводит варианты написания с диакритикой и без неё к одинаковым токенам и сохраняет стандартные буквы и диграфы хмар. Компактный размер рассчитан на быстрый запуск на обычных компьютерах и базовых CPU. Лицензия — Apache-2.0. Модель специализирована на языке хмар; перенос её на другие языки и задачи за пределами заполнения масок не описан. Качество зависит от состава обучающих текстов, включая религиозные, прозаические, эссеистические и онлайн-материалы.
KainoBERT — модель ModernBERT-base для заполнения пропусков в древнегреческом тексте, разработанная Urdatorn. Это маскированная языковая модель с 22 слоями, размером 136 млн параметров и byte-level BPE-токенизатором на 32 768 токенов. Модель обучена с нуля на корпусах древнегреческих текстов; она не использует английские веса answerdotai/ModernBERT-base. Метаданные указывают контекст 8 192 токена, тогда как README описывает обучение с окном 1 024 токена. Модель предназначена для предсказания замаскированных токенов и экспериментов с древнегреческими текстами. Она принимает текст в нижнем регистре без пунктуации, сохраняя политонические знаки; также поддерживает текст только с буквами. Текущая версия обучена на работах из наборов Sphragis и Sphragis-Metre, поэтому её нельзя использовать для оценки на этих бенчмарках; для таких экспериментов автор рекомендует родительскую модель KainoBERT-sphragis. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.