I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейChatWaifu v1.3.1 — языковая модель spow12 для диалогов в образе персонажей визуальных новелл и ролевого общения. Это объединение весов нескольких моделей методом linear mergekit на базе Mistral Nemo Instruct; в состав входят ChatWaifu v1.2, NeverSleep/Lumimaid-v0.2-12B и Epiculous/Violet_Twilight-v0.1. Модель имеет архитектуру MistralForCausalLM и 12,1 млрд параметров. Модель предназначена для многоходовых бесед, генерации реплик с заданной персоной и продолжения диалога с длинным контекстом. Карточка описывает японские обучающие данные и японских персонажей; метаданные также указывают английский, французский, немецкий, испанский, итальянский, португальский, русский и китайский языки. В метаданных указан контекст до 1 024 000 токенов, тогда как README заявляет 128k; фактический предел зависит от конфигурации и используемого запуска. Модель может генерировать материалы для взрослой аудитории. README предупреждает, что в обучающих данных могли сохраниться NSFW-примеры. Лицензия в метаданных — CC BY-NC 4.0; карточка также ограничивает использование некоммерческими и исследовательскими целями.
yuanzhoulvpi/chinese_falcon_7b_chat — китайская чат-модель, созданная автором репозитория путём SFT дообучения Falcon-7B на нескольких десятках тысяч примеров. Она предназначена для генерации текста и диалоговых ответов на китайском языке. Модель построена на плотной архитектуре RefinedWebModel с причинным языковым моделированием; в репозитории указано около 9,9 млрд параметров, веса доступны в форматах PyTorch и safetensors. В README автор отмечает, что качество модели посредственное и уступает Bloom-7B; также приводится отзыв о сравнении с Bloom-1B. Лицензия в предоставленных данных не указана.
Darwin-ttttsss-1781247897 — созданная VIDRAFT модель для автоматического опыта по скрещиванию моделей в Сеульском музее робототехники и искусственного интеллекта. Это плотная причинно-языковая модель семейства Qwen2 с 1,5 млрд параметров, дообученная на основе Qwen/Qwen2.5-1.5B-Instruct и представленная в формате safetensors. Она поддерживает диалог и генерацию текста; заявленная длина контекста — 32 768 токенов. По карточке, модель получена скрещиванием Darwin-1B-유머왕 и Darwin-1B-코딩요정 методом Darwin MRI: слои анализируются по норме и энтропии, затем веса родителей адаптивно смешиваются. Модель подходит для демонстрационных диалогов и генерации текста на корейском и английском языках. В README приведён пример ответа на корейском, однако он не описывает специализированные задачи модели. Лицензия — Apache-2.0. Карточка сообщает о базовой проверке работоспособности, но не приводит результатов подробной оценки качества.
Norod78 разработал небольшую модель генерации текста на основе GPT-2 для иврита. Модель сначала обучалась на корпусах OSCAR и CC-100 на иврите, а затем дополнительно дообучалась на данных из Twitter, Википедии и других источников. В метаданных указана архитектура GPT2LMHeadModel и контекст длиной 1024 токена. Модель предназначена для продолжения и генерации текста на иврите. Она распространяется по лицензии MIT. В карточке не приведены результаты оценки качества, поэтому пригодность для конкретных сценариев стоит проверять на собственных данных.
gate369/drug-alpaca — дообученная gate369 модель семейства Llama для генерации текста. Она создана на базе unsloth/llama-3-8b-bnb-4bit с использованием Unsloth и библиотеки TRL; число параметров составляет 7,5 млрд, контекст — до 8192 токенов. В метаданных указан английский язык и формат PyTorch. Название модели предполагает применение в тематике лекарств, однако README не описывает обучающие данные, проверенные возможности или конкретные медицинские сценарии. Модель может генерировать текст по входному запросу, но её ответы о лекарствах не следует считать проверенными медицинскими рекомендациями. Лицензия — Apache-2.0.
HiTZ/gpt2-eus-euscrawl — авторегрессионная языковая модель GPT-2, разработанная Juletx и предварительно обученная на баскском языке на текстах корпуса EusCrawl с помощью задачи предсказания следующего токена. Это вариант GPT-2 small со 124 млн параметров, архитектурой GPT2LMHeadModel и контекстом до 1024 токенов; модель принимает текст и генерирует продолжение по заданному фрагменту. EusCrawl включает тексты с 33 баскских сайтов, а при обучении использовалась токенизация byte-level BPE с размером словаря 50 304. Модель подходит для генерации текста на баскском языке и может служить основой для дообучения под прикладные задачи. Она обучалась на неотфильтрованных интернет-данных, поэтому может воспроизводить их предвзятость и создавать недостоверный текст; её не следует использовать в сценариях, где необходима фактическая точность, без дополнительной проверки. Лицензия — CC; конкретный вариант лицензии в предоставленных данных не уточнён.
Koichi Yasuoka разработал японскую GPT-2 Large для разметки частей речи и морфологических признаков. Модель дообучена на основе ku-nlp/gpt2-large-japanese-char и присваивает каждому короткому слову метки UPOS (Universal Part-Of-Speech) и FEATS; в метаданных также указан датасет Universal Dependencies. Модель предназначена для автоматической разметки японского текста по токенам, например для лингвистического анализа и подготовки корпусов. Это плотная GPT-2-модель с контекстом до 1024 токенов, доступная в формате PyTorch. Лицензия — CC BY-SA 4.0. Карточка также упоминает синтаксический анализ зависимостей, однако описанный пример использования показывает POS-разметку; подтверждённая задача в метаданных — классификация токенов. Ограничение контекста составляет 1024 токена, а назначение модели — японский язык.
HongLouMeng-6b — языковая модель проекта stylellm, созданная для переноса стиля классической китайской литературы. По README, модель дообучена на романе «Сон в красном тереме» и использует усвоенные словарь, конструкции предложений, риторические приёмы и особенности диалогов, чтобы переписывать исходный текст в соответствующей манере. В примерах модель преобразует фрагменты «Белоснежки» в стилистику романа. Модель основана на Yi-6B и имеет архитектуру LlamaForCausalLM; в метаданных указаны 5,8 млрд параметров, контекст 4096 токенов и формат safetensors. Она принимает текст и генерирует текст, ориентирована на китайский язык и сценарии стилизации, литературной имитации и редактирования. В README приведена лицензия «other» без дополнительных условий; конкретные ограничения этой лицензии из доступных данных установить нельзя.
IceBERT-igc — модель для исландского языка, обученная Miðeind на архитектуре RoBERTa-base с помощью fairseq. Она предназначена для заполнения пропусков в тексте: модель предсказывает подходящий токен в позиции, отмеченной как маскированная. Обучающая выборка включала Icelandic Gigaword Corpus v20.05 объёмом 8,2 ГБ и 1,388 млрд токенов. Модель содержит 151,6 млн параметров и поддерживает контекст длиной до 514 токенов. IceBERT-igc подходит для языковых задач на исландском, где нужно восстанавливать пропущенные слова или получать контекстные представления токенов. Это маскированная языковая модель, поэтому она не предназначена для свободной генерации длинных текстов. Лицензия — CC BY 4.0.
IMPARA-QE — обученная модель для оценки качества автоматического исправления грамматики (GEC), разработанная gotutiyan. Она предсказывает качество исправленного текста без эталонного исправления и предназначена для оценки систем и результатов GEC. Модель основана на BERT и имеет 135,5 млн параметров; максимальная длина контекста — 512 токенов. В README указаны корреляции 95,93 по Пирсону и 93,01 по Спирмену для метрики Expected Wins из работы Grundkiewicz et al. (2015); при расчёте этой метрики использовалась модель оценки SE на базе bert-base-cased. Модель распространяется по лицензии MIT.
subhrokomol/Llama2-7B-Hindi-finetuned — дообученная модель генерации текста на архитектуре Llama 2, созданная с помощью PEFT-LoRA на базе meta-llama/Llama-2-7b-hf. Обучение проводилось на 1% датасета zicsx/mC4-Hindi-Cleaned-3.0 после транстокенизации; автор сообщает об обучении в течение трёх часов на RTX A500. Модель предназначена для генерации текста на хинди. Она содержит 6,6 млрд параметров, принимает текст и выдаёт текст, а заявленная длина контекста составляет 4096 токенов. В метаданных также отмечена возможность работы с кодом, но README не описывает её качество или сценарии. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества; обучение на 1% датасета ограничивает основания для выводов о широте и надёжности её знаний.
Llama 3.2 400M Amharic — плотная авторегрессионная языковая модель семейства Llama, созданная rasyosef. По карточке, модель обучена с нуля за 23 часа на одной видеокарте A100 40 ГБ на 274 млн токенов амхарского текста; число параметров составляет около 412,5 млн. Она использует токенизатор Llama 3.2 1B, заново обученный на том же амхарском корпусе с размером словаря 32 тыс. токенов, и поддерживает контекст до 1024 токенов. Модель предназначена для генерации текста на амхарском языке и является базовой: она не проходила supervised fine-tuning и не настроена для диалога по инструкциям. В карточке приведены perplexity на валидации 41,3 и обучение на корпусах OSCAR, mC4 и наборе амхарских предложений автора. Лицензия в предоставленных данных не указана.
MediKo-1.1B-A0.6B-Instruct — корейская медицинская языковая модель для диалогов и выполнения инструкций, разработанная на базе Qwen3-0.6B. Она использует архитектуру VocMoE: расширенный медицинский словарь из 5 000 корейских токенов и восемь специализированных экспертов, из которых для каждого токена выбираются два; общий путь обработки сохраняет плотный FFN базовой модели. Всего модель содержит около 1,13 млрд параметров, из них активно используются около 0,59 млрд; контекст — до 40 960 токенов. Модель предназначена для исследовательских и образовательных задач корейского медицинского NLP: диалогов, ответов на вопросы и анализа медицинских текстов на корейском языке. В карточке приведены результаты нулевого обучения на корейских и англоязычном медицинском бенчмарках; проверка описана только для корейского медицинского текста. Модель может галлюцинировать, а её смесь экспертов требует больше памяти, чем сопоставимая плотная модель. Это не медицинское устройство: результаты нельзя использовать для диагностики, лечения, назначения препаратов или клинических решений. Лицензия — Apache-2.0.
MERaLiON-Omni-MM-10B — мультимодальная модель с примерно 8,1 млрд параметров из семейства MERaLiON-2, представленная как воспроизведение модели по исследовательской статье. Она принимает изображения, видео и аудио и предназначена для диалогового анализа этих данных с ответами на английском, китайском, индонезийском, тайском и малайском языках. Архитектура объединяет MERaLiON-2-10B AudioLLM и визуальный энкодер Qwen2.5-Omni ViT; обучение выполнено с LoRA для ViT, аудиоэнкодера и LLM по стратегии ACRC. Это чекпойнт до GRPO-выравнивания. Модель подходит для исследовательских экспериментов с пониманием изображений, аудио и видео, включая видео общего назначения и материалы из Юго-Восточной Азии. Версия Alpha не проходила safety alignment и red-teaming после обучения, поэтому её ответы могут быть ненадёжными, предвзятыми или галлюцинаторными; авторы не рекомендуют практическое развёртывание. Лицензия указана как other; README запрещает коммерческое использование и ограничивает выпуск исследованиями и оценкой.
Bulgarian mGPT 1.3B — языковая модель для генерации текста на болгарском языке, созданная на базе mGPT-XL (1,3 млрд параметров). Разработчики дообучили исходную модель на дополнительных данных для 23 языков, включая болгарский; обучение этой версии продолжалось 200 шагов. Базовая модель обучалась на 61 языке с использованием Wikipedia и корпуса C4. Модель предназначена для продолжения текста и генерации болгарского текста по заданному контексту. Она использует архитектуру GPT-2 и принимает последовательности длиной до 2048 токенов. В метаданных также указана поддержка английского и русского языков, но основное назначение этой версии — болгарский. В README приведена perplexity 15,2 на валидационной выборке, однако сравнительных оценок и подробного описания качества для прикладных задач нет. Модель распространяется под лицензией MIT.
osiria/minilm-l6-h384-italian-cased — компактная MiniLMv2 для итальянского языка, созданная Osiria на основе mMiniLMv2 L6xH384 mMiniLMv2. Авторы адаптировали модель к итальянскому, изменив слой эмбеддингов с учётом частот слов по корпусу Википедии. В метаданных указаны архитектура XLM-RoBERTa, 25,9 млн параметров и контекст до 514 токенов; README указывает словарь из 30 498 токенов и размер около 90 МБ. Модель предназначена для заполнения пропусков в итальянском тексте: она предсказывает замаскированные токены в контексте. Доступны веса PyTorch и safetensors. Лицензия — MIT.
MORENA 0.5B Mini Wolof CPT — чекпойнт продолженного предобучения (CPT) модели MORENA 0.5B Mini, разработанный авторами репозитория mamelles. Он предназначен для генерации текста на волоф и экспериментов с языковым моделированием на этом языке. Модель построена на базе vamboai/morena-0.5b-mini; в карточке указаны замороженный токенизатор MORENA на 65 тысяч токенов и контрольная точка обучения на шаге 1500. Для запуска авторы предлагают использовать обычный PyTorch-код из репозитория, включая modeling_morena.py; модель не использует Transformers. В опубликованной оценке указаны BPB 3,9783, perplexity 1439,82 и BLEU 2,67 по протоколу morena-native. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с файлами репозитория.
flax-community/norsk-gpt-wiki — языковая модель в стиле GPT-2, обученная на норвежской части набора данных Wiki40B. Модель создала сообщество flax-community; обучение выполнялось на TPU с помощью Flax и пайплайна causal language modeling в рамках челленджа Hugging Face Flax/Jax. Модель предназначена для генерации норвежского текста и продолжения заданного фрагмента. Она использует архитектуру GPT2LMHeadModel, поддерживает контекст до 1024 токенов и опубликована в форматах Flax, PyTorch и Safetensors. Лицензия в предоставленных данных не указана.
OYO-BERT — модель Davlan для обработки текстов на йоруба. Она предварительно обучена примерно на 100 тысячах шагов на корпусе из материалов WURA, Википедии и MT560 с применением удаления токенов; в основе лежит архитектура BERT-base, а размер составляет 137,8 млн параметров. Модель предназначена для предсказания замаскированных слов в тексте на йоруба и может использоваться, например, для восстановления пропусков в предложениях и анализа контекстных языковых представлений. Модель принимает текст и предсказывает вероятные токены вместо маски. Максимальная длина контекста — 512 токенов. Доступна в формате PyTorch по лицензии Apache-2.0. Карточка демонстрирует применение через Transformers pipeline fill-mask; качество на конкретных наборах данных в README не описано.
Карточка модели officialmobai/rostam на Hugging Face совпадает с карточкой prog-love/rostam, поэтому описание составлено по ней. Рустам V4 — независимая персоязычная языковая модель, разработанная проектом prog-love на архитектуре GPT-2. Модель прошла последовательное дообучение на классической персидской литературе и инструкционных примерах; текущая версия расширена до 36 слоёв методом Progressive Layer Stacking и содержит около 117,5 млн параметров. Для токенизации используется собственный Byte-Level BPE, контекст ограничен 256 токенами. Модель предназначена для генерации текста на персидском языке и выполнения инструкций: она может отвечать на запросы, поддерживать простые диалоги и создавать тексты, опираясь на классическую персидскую поэзию и прозу. В обучении использованы датасеты Persian Alpaca, Shahnameh и Ganjoor. Карточка заявляет способность к многошаговым рассуждениям, однако короткое контекстное окно и размер модели ограничивают сложные задачи и работу с длинными материалами. Распространяется по лицензии MIT.
Silicon-Alice-7B — дообученная модель на базе Silicon-Masha-7B, разработанная автором репозитория LakoMoor. Это плотная авторегрессионная языковая модель семейства Mistral с 7,1 млрд параметров и контекстом до 8192 токенов. Она предназначена для ролевых диалогов, общения от лица персонажей и генерации текста общего назначения; автор отмечает хорошее следование описаниям персонажей и улучшенное понимание русского языка. Поддерживаются русский и английский языки. Модель рассчитана в том числе на ERP-сценарии и помечена как NSFW. В README рекомендован шаблон Noromaid для SillyTavern, но предлагается пробовать и другие шаблоны. Модель распространяется в формате Safetensors по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.
stanfordnlp/stanza-la — модель из набора Stanza, разработанного Stanford NLP для лингвистического анализа латинского языка. Она принимает текст и выполняет разметку последовательности токенов; в экосистеме Stanza такие модели используются как часть анализа текста, от исходной строки до синтаксического разбора и распознавания сущностей. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не сообщает её размер и длину контекста. Для обработки латинского текста модель подходит как компонент NLP-конвейера; качество на конкретных жанрах и исторических вариантах языка отдельно не охарактеризовано.
tiny-ko-20m-sft — дообученная автором minpeter разговорная языковая модель на архитектуре Llama с 20 млн параметров. Модель предназначена для генерации текста и диалоговых ответов на корейском языке; длина контекста составляет 8192 токена. Она создана на основе minpeter/tiny-ko-20m-base и дообучена на наборах корейских инструкций, диалогов и текстов, включая Korean-FineTome-100k, smol-koreantalk и наборы Evol-Instruct, Alpaca-GPT4 и ShareGPT на корейском языке. Модель подходит для экспериментов с компактными корейскоязычными чат-моделями и генерацией ответов по инструкциям. Оценки качества и подробные ограничения в карточке не приведены. Файлы весов опубликованы в формате safetensors; сведения о лицензии отсутствуют.
Typakos-140M-it — компактная двуязычная чат-модель, разработанная на основе alexliap/typakos-140m-base. Это плотная авторегрессионная модель семейства Llama с 144,8 млн параметров и контекстом 2048 токенов. Модель дообучена в два этапа: supervised fine-tuning для следования инструкциям и формата диалога, затем Direct Preference Optimization для согласования ответов с предпочтениями. Обучение охватывало греческий и английский языки. Модель предназначена для генерации текста в ответ на инструкции и сообщения в чате. Она подходит для простых диалогов, коротких ответов и демонстрационных сценариев, где важен небольшой размер модели. По приведённым в карточке оценкам, её возможности заметно ограничены по сравнению с более крупными моделями; она слабо справляется с многошаговыми рассуждениями, а при жадном декодировании может повторять одну и ту же фразу. Лицензия — MIT.
Модель nikitastheo/v5-goldfish-500mb-15k-shared-seed43-eng-ell-sequential_interleaved — языковая модель GPT-2 для генерации текста, обученная автором с помощью скрипта train_clm.py из Hugging Face Accelerate. В карточке указаны архитектура GPT2LMHeadModel, формат весов safetensors и контекст до 512 токенов. Модель предназначена для продолжения текста и других сценариев генерации на основе входного текста. Название указывает на английский и греческий языки и последовательное чередование данных при обучении, но README не уточняет детали обучающего набора и качество модели. Лицензия в предоставленных данных не указана.
Vecteus-Poet — языковая модель на архитектуре Mistral, созданная Local-Novel-LLM-project. Это вариант Mistral-7B-v0.1, предназначенный для генерации художественного текста на японском и английском языках. В карточке указаны объединение нескольких моделей, дообучение с LoRA для домена и предложений, а также расширение контекста. Модель содержит около 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель подходит для продолжительной генерации прозы и работы с длинными текстовыми контекстами; шаблон инструкций не требуется. Карточка отмечает возможность генерации контента для взрослых и предупреждает о возможной предвзятости обучающих данных и высоком потреблении памяти при длинной генерации. Лицензия — Apache-2.0.
Vicuna Chinese Replication Beta — экспериментальная исследовательская языковая модель на архитектуре LLaMA, созданная для проверки того, как обучение на китайских диалоговых данных влияет на качество ответов. Модель содержит 12,9 млрд параметров и дообучена на базе Chinese-LLaMA-13B с настройками Vicuna. Для обучения использовали переведённые диалоги ShareGPT, синтетические китайские диалоги, а также часть данных FLAN и китайских школьных математических задач. Модель предназначена для генерации развернутых ответов в диалоге и демонстрационных экспериментов с китайскоязычными инструкциями. По описанию автора, ответы часто длиннее и подробнее, чем у моделей в стиле Alpaca, но модель склонна к более серьёзным галлюцинациям и американской культурной перспективе. Для работы с ней применяются PyTorch и Transformers. Распространяется по специальной лицензии; базовая LLaMA лицензирована Meta, условия следует проверять в файле LICENSE репозитория.
njand разработал модель распознавания речи на латинском языке, дообучив wav2vec2-xls-r-300m на чтении текстов из набора njand/llpsi-speech-dataset. Это аудиомодель архитектуры Wav2Vec2ForCTC с 402,7 млн параметров; репозиторий содержит веса Safetensors и ONNX, включая квантованный вариант ONNX INT8 для ускоренного вывода на CPU. Модель предназначена для расшифровки чёткой речи одного диктора с восстановленным классическим произношением. Результат выводится строчными буквами без пунктуации, с макронами для долгих гласных и различением согласных j/v от гласных i/u. В README сообщаются результаты пятифолдовой перекрёстной проверки; языковое декодирование KenLM улучшало WER, но декодер в репозитории не предоставлен. Модель рассчитана на классическую латынь и может хуже распознавать церковное или итальянское произношение, шумную запись и речь нескольких говорящих. Лицензия — MIT.
Bedru/whisper-medium-amharic-smoke — модель автоматического распознавания речи, созданная дообучением Whisper Small от OpenAI. Она принимает аудио и предназначена для преобразования речи в текст. В README указана оценка на тестовой выборке: loss 1,7905 и WER 1,7508; описание модели и обучающих данных не приведено, а результат WER указывает на очень высокую долю ошибок распознавания. Модель использует архитектуру Whisper и опубликована в формате Safetensors для Transformers. Метаданные указывают лицензию Apache-2.0 и базовую модель openai/whisper-small. Название предполагает настройку для амхарского языка, однако сведения о языковой поддержке в метаданных отсутствуют, поэтому это назначение нельзя подтвердить по карточке.
dathi103/bert-job-german — модель BERT для заполнения пропусков в немецком тексте. Она дообучена на неизвестном наборе данных на базе bert-base-german-cased и содержит 136,3 млн параметров. Модель принимает текст с маскированным токеном и предсказывает подходящий токен; максимальная длина контекста составляет 512 токенов. Модель может применяться для восстановления пропущенных слов в немецких фразах и изучения контекстных подстановок. В карточке указана метрика Loss 1,8488 на оценочном наборе, однако набор данных и условия оценки не раскрыты, поэтому результат трудно интерпретировать. Лицензия — MIT.