I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейKoichi Yasuoka разработал японскую модель RoBERTa для определения синтаксической вершины слова в задаче dependency parsing. Она дообучена на базе KoichiYasuoka/roberta-large-japanese-aozora-char с использованием UD_Japanese-GSDLUW и представлена как задача question answering: в вопросе указывают слово, а в контексте модель находит его голову; маркер [MASK] в контексте помогает различать повторяющиеся слова. Модель содержит 412,3 млн параметров, использует веса PyTorch и принимает последовательности длиной до 512 токенов. Модель предназначена для анализа зависимостей в японском тексте. Для лицензированного использования применяются условия CC BY-SA 4.0. Карточка описывает конкретный сценарий синтаксического разбора; сведений о других языках или задачах нет.
Рустам V4 — независимая персоязычная языковая модель, разработанная проектом prog-love на архитектуре GPT-2. Модель прошла последовательное дообучение на классической персидской литературе и инструкционных примерах; текущая версия расширена до 36 слоёв методом Progressive Layer Stacking и содержит около 117,5 млн параметров. Для токенизации используется собственный Byte-Level BPE, контекст ограничен 256 токенами. Модель предназначена для генерации текста на персидском языке и выполнения инструкций: она может отвечать на запросы, поддерживать простые диалоги и создавать тексты, опираясь на классическую персидскую поэзию и прозу. В обучении использованы датасеты Persian Alpaca, Shahnameh и Ganjoor. Карточка заявляет способность к многошаговым рассуждениям, однако короткое контекстное окно и размер модели ограничивают сложные задачи и работу с длинными материалами. Распространяется по лицензии MIT.
Карточка модели quill-voice/shakespeare на Hugging Face совпадает с карточкой voice-box/shakespeare, поэтому описание составлено по ней. Shakespeare — дообученная QuillBytes модель на базе Qwen3-4B, предназначенная для диалога и генерации текста в стиле раннего современного английского языка. Она использует елизаветинскую лексику, обращения thee/thou/thy и стремится к ямбическому ритму, сохраняя этот стиль в ответах. Модель подходит для развлекательных бесед, стилизации текста и создания реплик с шекспировским звучанием. В репозитории есть веса GGUF, включая 4-битную квантизованную версию для локального запуска, а также вариант F16; метаданные указывают архитектуру семейства Qwen3. Лицензия — Apache-2.0. Модель рассчитана на развлечение и может постоянно отвечать в заданной стилистике, что ограничивает её применение для нейтральных ответов и задач, требующих современного языка.
neureps/warmly-nmt-small100-enko — Warmly(온기) командасы әзірлеген, SMaLL-100 негізінде ағылшын тіліндегі пікірлерді корей тіліне аударуға бейімделген модель. Ол сезімдік реңкі бар пікірлерді EN→KO аудару сценарийіне арналған; модель 330 млн параметрлі M2M-100 архитектурасына негізделген және 883 жұп дерекпен Qwen3.5-2B мұғалім моделінің аудармалары арқылы дообучен. Контекст ұзындығы — 1024 токен, модель Transformers және safetensors форматында ұсынылған. Пилоттық нұсқа сапа қақпасынан өтпеген және қабылданбаған, сондықтан ол зерттеу мен салыстыру үшін сақталған. README мазмұнның берілуі сәтті болғанын, алайда 20 мысалдың 5–6-сында мағыналық қате және эмодзилердің жоғалуы байқалғанын айтады; деректер жиынының шағындығы мен мұғалім аудармаларындағы қателер негізгі себеп ретінде көрсетілген. Лицензиясы — MIT.
Это модель xnpx, дообученная на основе facebook/wav2vec2-large-xlsr-53 для распознавания фонем в речи на хинди. Вместо обычной текстовой транскрипции она выдаёт токены Международного фонетического алфавита (IPA), используя архитектуру Wav2Vec2ForCTC с 24 слоями Transformer, размером 402,7 млн параметров и словарём из 64 токенов, включая специальные. Модель принимает аудио с частотой дискретизации 16 кГц и предназначена для фонетического анализа хинди, оценки произношения, приблизительного выравнивания фонем и лингвистических исследований. Она дообучена на подмножестве хинди датасета AI4Bharat IndicVoices и распространяется по лицензии Apache-2.0. Декодирование выполняется жадным методом CTC без языковой модели или beam search, поэтому границы фонем приблизительны. Модель ориентирована на хинди, может хуже работать с другими языками, шумной записью и аудио, записанным с большого расстояния.
felerminoali/xlmr_base_emakhuwa — дообученная модель XLM-RoBERTa для восстановления пропущенных токенов в тексте на языке эмакхува. Она использует архитектуру XLMRobertaForMaskedLM, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель загружена в формате safetensors и предназначена для задачи fill-mask. Карточка указывает, что модель дообучена на базе xlmr_base_emakhuwa, но не приводит сведения о наборе данных, оценке качества или практических ограничениях. Лицензия в предоставленных данных не указана.
josu/albert-pt-br — языковая модель семейства ALBERT, опубликованная пользователем josu на Hugging Face. Она предназначена для заполнения пропусков в тексте на бразильском португальском: модель предлагает вероятные слова или фрагменты на месте маркера [MASK]. Архитектура AlbertForMaskedLM содержит около 100,1 млн параметров, работает с контекстом до 512 токенов и представлена в формате PyTorch. Модель подходит для восстановления пропущенных слов, проверки языковых гипотез и демонстраций предсказания контекста на португальском языке. Карточка показывает пример, где в предложении о Марсе модель предсказывает «sistema». Данных о специальной предметной области или дополнительных возможностях нет. Лицензия в предоставленных сведениях не указана.
BiMediX2-8B-Bi — мультимодальная медицинская модель семейства LLaVA-LLaMA, разработанная MBZUAI на основе дообучения meta-llama/Llama-3.1-8B-Instruct. Модель принимает изображения и текст и генерирует текстовые ответы; её назначение — диалоговые сценарии в биомедицине и здравоохранении. В метаданных указаны 7,5 млрд параметров, контекст до 131 072 токенов и поддержка английского и арабского языков. Модель подходит для вопросов по медицинским изображениям и текстовым описаниям, а также для диалоговой помощи в медицинских и биологических задачах. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC-SA 4.0 допускает использование с указанием авторства и на условиях распространения производных материалов по той же лицензии, но запрещает коммерческое использование. Ответы модели не следует считать медицинским диагнозом или заменой оценки специалиста: метаданные не подтверждают клиническую валидацию. README в предоставленных данных содержит только заголовок, поэтому подробности обучения и результаты оценки установить нельзя.
ChatWaifu 12B v2.0 — языковая модель, созданная spow12 и собранная с помощью mergekit из нескольких моделей семейства Mistral Nemo, включая Magnum, Lyra, Pantheon-RP, Crimson Dawn и Himeyuri. Это плотная авторегрессионная модель типа CausalLM с 12,1 млрд параметров, предназначенная для диалогов в образе персонажей визуальных новелл и общения с чат-помощником. Карточка заявляет поддержку японского и английского языков; модель принимает текст и генерирует текст. Модель ориентирована на ролевые беседы с персонажами, в том числе из перечисленных в карточке визуальных новелл. В обучающих данных есть японские ролевые диалоги, инструкции, код и примеры NSFW-содержимого, поэтому ответы могут включать контент для взрослых. В метаданных указан контекст до 1 024 000 токенов, однако README не описывает практические ограничения такого контекста. Репозиторий распространяется по лицензии CC BY-NC 4.0; автор также указывает некоммерческое и исследовательское использование.
DanskGPT-tiny — языковая модель на архитектуре LLaMA, разработанная Mads Henrichsen как продолжение обучения TinyLLaMA. Модель содержит около 1,1 млрд параметров и обучена на 8 млрд токенов синтетического датского текста. Это базовая completion-модель для продолжения текста на датском языке, а не чат-ассистент. Она принимает текст и генерирует текст; для инференса автор указывает vLLM. В метаданных также указаны контекст длиной 2048 токенов и форматы PyTorch и Safetensors. Модель подходит для генерации и автодополнения датского текста. Лицензия — Apache-2.0; специализация на синтетических данных и отсутствие настройки для диалога ограничивают её применение как универсального помощника.
SamAgnoli/deberta-v3-base-spatial-language-detection — англоязычный классификатор на базе DeBERTa-v3-base от Microsoft, дообученный для определения, употреблено ли заданное слово пространственно в контексте конкретного высказывания. Модель принимает пару: высказывание и целевое слово; выдаёт метку «пространственное» или «непространственное». Архитектура — DeBERTa-v2 для классификации последовательностей, размер — 211,6 млн параметров, максимальная длина контекста — 512 токенов. Лицензия — MIT. Модель предназначена для контекстной разметки слов, обозначающих местоположение, направление или пространственные отношения. Наиболее подходящий сценарий — анализ слов, предварительно отобранных пространственным словарём; README сообщает F1 0,890 для пространственного класса на тестовых словах-кандидатах. Обучающие данные — отражения родителей и детей о занятиях в музейной мастерской. Модель рассчитана на английскую речь, а качество в иных жанрах и областях не гарантировано. Словарь предварительного отбора может пропустить слова, поэтому такие слова не попадут на классификацию; результаты тестирования основаны на одном ограниченном разбиении, и предсказания рекомендуется проверять.
huranokuma/es2 — японская GPT-2, дообученная автором модели для генерации текстов формата ES (эссе или заявлений, используемых при поиске работы). Для настройки использовано около 140 000 ES из разных областей; обучение проводилось с кодом из репозитория rinnakk/japanese-pretrained-models компании rinna. Модель принимает текст и генерирует продолжение, её контекст — 1024 токена. Модель предназначена для создания черновиков японских ES и демонстрации генерации таких текстов в веб-приложении. Доступны веса PyTorch, лицензия — MIT. Сведений о качестве, оценках и ограничениях применения в карточке нет.
RAS-LAB подготовила исследовательский чекпойнт GLM-4.7-Flash-24B-A3B-KREAP с сокращением числа маршрутизируемых экспертов методом KREAP force-fit. Это причинная MoE-модель для генерации текста и диалога на архитектуре Glm4MoeLiteForCausalLM. В чекпойнте 24,27 млрд параметров; контекст — до 202 752 токенов. Он основан на zai-org/GLM-4.7-Flash, но после обрезки содержит на 22,25% меньше параметров и не проходил дообучение. Сохранены маршрутизация top-4 и общие эксперты; число маршрутизируемых экспертов уменьшено с 64 до 48 на слой. Модель предназначена для исследований обрезки экспертов MoE, сравнения методов сжатия и офлайн-экспериментов, в частности с корейским и английским текстом. На опубликованных тестах результаты ниже базовой модели; защита экспертов не полностью соблюдена: шесть защищённых экспертов были удалены. Загрузка через Transformers 5.0.0 с PyTorch/CUDA проверена; спекулятивное декодирование MTP/NextN не поддерживается. Производительность и качество длинной генерации, диалога, поиска по длинному контексту и ряда других задач не оценивались полноценно. Лицензия — MIT.
yongzx/gpt2-finetuned-oscar-ko — языковая модель на архитектуре GPT-2, дообученная на корейской части корпуса OSCAR. Автор обучил токенизатор на подмножестве unshuffled_original_ko с размером словаря 50 257 и дообучил слои эмбеддингов токенов и позиций GPT-2, заморозив остальные параметры. Модель предназначена для генерации продолжения текста на корейском языке. Контекст модели составляет 1 024 токена. Она использует формат PyTorch и распространяется по лицензии MIT. В карточке описано обучение на 688 000 шагах с эффективным размером пакета 32; размер самой модели не указан в доступных данных.
Это авторская символьная языковая модель GPT-2 Large от группы KU-NLP: GPT2LMHeadModel с 717 млн параметров, предварительно обученная генерировать японский текст. Она предназначена для продолжения японских фраз и генерации текста через библиотеку Transformers; обучение проводилось на японской Википедии, японских частях корпусов CC-100 и OSCAR. Контекст модели — 1024 токена. Токенизатор использует символьный словарь размером около 6 тысяч единиц и байтовое BPE для редких символов. Пробел U+0020 отображается в [UNK], поскольку обычные пробелы были удалены из обучающих данных; для разделения слов следует использовать идеографический пробел U+3000. Модель распространяется по лицензии CC BY-SA 4.0.
aariciah/gpt2-urdu-dutch-routed — плотная авторегрессионная языковая модель GPT-2 для генерации текста, дообученная на основе aariciah/gpt2-urdu-20k-lc. Репозиторий использует библиотеку Transformers и формат весов safetensors; заявленная длина контекста — 256 токенов. Модель предназначена для генерации текста. В карточке она названа вариантом с поддержкой урду и нидерландского, однако сведения о датасете, маршрутизации между языками и результатах оценки не приведены. README также не описывает сценарии применения и ограничения. Лицензия в доступных данных не указана.
HyperCLOVA X SEED Think-14B KL-Grammar — корейскоязычная плотная авторегрессионная модель на 14,1 млрд параметров, разработанная автором репозитория на основе HyperCLOVA X SEED Think-14B. Она дообучена методом LoRA на отобранных заданиях по корейской грамматике и объединена с базовой моделью в самостоятельный BF16-чекпойнт Safetensors. Для сохранения исходных навыков в обучающую выборку также включили примеры по медицинской тематике. Модель предназначена для генерации ответов на корейском языке, в частности выбора правильного варианта в заданиях по грамматике: частям речи и морфемам, фонологии и орфографии, предложениям и речевым уровням вежливости. В карточке указан контекст 131 072 токена; обучение проводилось с максимальной длиной последовательности 1 024 токена. Автор сообщает о небольшом улучшении по пяти локальным осям для этой комбинации модулей и скорости обучения, однако это экспериментальный результат, а не гарантия качества. Лицензия — NAVER HyperCLOVA X SEED 14B Think Model License Agreement; следует также учитывать условия использования исходных данных AI Hub. Модель предназначена для исследований и оценки, точность ответов не гарантируется.
Это дообученная на японском языке модель генерации текста на базе GPT-2, разработанная fpadovani. Модель обучена с использованием TRL и предназначена для продолжения текста и ответов на текстовые запросы; в карточке приведён пример диалогового запроса на английском языке. Архитектура — GPT-2, формат весов — safetensors, контекст — до 512 токенов. Модель подходит для экспериментов с генерацией текста и ответами на короткие запросы. Карточка не описывает оценку качества или дополнительные специализированные возможности. Лицензия в предоставленных данных не указана.
legal-slovenian-roberta-base — модель семейства RoBERTa, обученная с нуля для предсказания пропущенных токенов в тексте. Она содержит 137,8 млн параметров и поддерживает контекст длиной до 514 токенов. Модель предназначена для задач заполнения масок в текстах на словенском языке; README сообщает значение loss 0,5113 на наборе оценки, но не описывает сам набор данных. Модель опубликована Joel Niklaus и доступна в формате PyTorch. Лицензия и сведения о специальной юридической настройке в карточке не приведены, поэтому её пригодность для конкретных юридических сценариев по имеющимся данным оценить нельзя.
Mini-Chinese-Phi3 — небольшая диалоговая языковая модель автора niwz, построенная на архитектуре Phi-3. По README, модель прошла предварительное обучение на распространённых китайских текстовых корпусах, затем инструкционную настройку SFT и оптимизацию предпочтений DPO; метаданные указывают 109,6 млн параметров, тогда как README приводит приблизительную оценку 0,13 млрд. Модель предназначена для генерации ответов в диалоге и выполнения инструкций на китайском языке. Проект создан как учебная практика по большим языковым моделям. Для обучения применялись DeepSpeed и Flash Attention 2; веса опубликованы в формате Safetensors. Лицензия — MIT. В README оценка модели обозначена как запланированная, поэтому данных о её качестве и надёжности нет.
ascktgcc/Mistral-nemo-ja-rp-v0.2 — это дообученная модель Mistral-Nemo от автора ascktgcc, настроенная для ролевых диалогов и повествовательных сценариев. Она предназначена для генерации ответов в ролевой игре, в том числе на японском языке; автор сообщает, что обучение на японских и англоязычных наборах данных должно улучшить японский по сравнению с Magnum. Модель имеет плотную архитектуру MistralForCausalLM с 12,1 млрд параметров и рассчитана на генерацию текста и диалог. Для управления генерацией автор рекомендует температуру около 0,3 и японскую инструкцию в системном сообщении, чтобы уменьшить примесь английского. Модель принимает текст и выдаёт текст. В обучающих данных есть примеры японской ролевой игры с материалами для взрослых, поэтому модель подходит для зрелых ролевых сценариев. Репозиторий содержит веса Safetensors; также автор указывает отдельную версию в формате GGUF. Лицензия — CC BY-NC-SA 4.0, которая ограничивает коммерческое использование.
NeutralGear_24B_V.2 — слитая автором OddTheGreat языковая модель для текстовых ролевых диалогов и художественного письма. Она объединяет несколько предварительно обученных Mistral-моделей и имеет 23,4 млрд параметров; репозиторий содержит веса Safetensors, а нативный контекст составляет 131 072 токена. Модель рассчитана на англоязычные и русскоязычные сценарии, включая нейтральные, мрачные и откровенные ролевые сюжеты. По словам автора, модель следует инструкциям и заданному формату, учитывает карточки персонажей и контекст, а ответы обычно имеют среднюю длину. Автор сообщает, что проверял её с пресетом Mistral-tekken v7 и изменённым системным промптом Shingane v.1; это не заменяет независимую оценку качества. Модель предназначена для генерации текста и чата. Модель слита из coder3101/Cydonia-24B-v4.3-heretic, Delta-Vector/MS3.2-Austral-Winton, Delta-Vector/Rei-24B-KTO и Naphula/BeaverAI_Fallen-Mistral-Small-3.1-24B-v1e_textonly. Сведения о лицензии в предоставленных данных отсутствуют. Она ориентирована на ролевую генерацию, включая сексуально откровенный контент.
Helsinki-NLP/opus-mt-es-es — модель машинного преобразования испанского текста в испанский, опубликованная проектом OPUS/Helsinki-NLP. Это модель архитектуры MarianMT на основе Transformer-align с 42,2 млн параметров; при подготовке текста используются нормализация и SentencePiece. В метаданных указана длина контекста 512 токенов, поддерживаются форматы PyTorch и TensorFlow. Модель предназначена для преобразования испанских текстов и предложений; в README приведена оценка BLEU 51,7 и chr-F 0,688 на тестовом наборе Tatoeba.es.es. Лицензия — Apache-2.0. Карточка не уточняет характер преобразования испанского текста, поэтому конкретный стиль или тип редакторской обработки определить нельзя.
Peach-2.0-9B-8k-Roleplay — диалоговая языковая модель для ролевых игр, разработанная ClosedCharacter. Это плотная авторегрессионная модель семейства Llama на 8,6 млрд параметров, дообученная на более чем 100 тысячах синтетически созданных диалогов на базе 01-ai/Yi-1.5-9B. Финальное обучение включало SFT и DPO; модель поддерживает чат и формат вывода SillyTavern. Модель предназначена для локального ролевого общения с персонажами, развития сюжета и генерации описаний действий. Разработчики заявляют об улучшенной работе с китайским и английским языками, в том числе при использовании англоязычных карточек персонажей в китайских диалогах. Контекст модели составляет 16 384 токена, однако обучение ограничивалось последовательностями до 8 тысяч токенов, поэтому качество может снижаться в длинных разговорах. Модель распространяется по лицензии MIT. Среди ограничений разработчики отмечают возможную генерацию токсичного, вредного и NSFW-контента, галлюцинации, а также слабые результаты в математике, программировании и логических задачах; для других языков, помимо китайского и английского, качество может быть ниже.
enAU-librivox-medium — модель синтеза речи для Piper, разработанная автором репозитория DataCraftsmanAustralia. Она объединяет десять голосов австралийского английского в одной модели VITS и предназначена для озвучивания текста с выбором диктора. Модель содержит около 70 млн параметров, выдаёт монофонический звук с частотой 22,05 кГц и работает на CPU; опубликована в формате ONNX. Обучение проведено на записях LibriVox из общественного достояния. Речь звучит как формальное литературное чтение с австралийским акцентом, а не как современная разговорная речь. Исходные тексты относятся к литературе XIX — начала XX века, поэтому модель слабее справляется с числами, сокращениями, техническими терминами, URL, электронными письмами и временными метками. Качество записей голосов неоднородно, а автоматические транскрипции не исправлялись. Лицензия модели — CC BY 4.0.
Prose Rewriter 4B v2.2 — модель для переписывания прозы, созданная автором репозитория на базе Qwen/Qwen3-4B-Base с дообучением LoRA rank 32, слитым с весами с коэффициентом 1,20. Модель переформулирует абзац, написанный большой языковой моделью, стремясь сделать текст более естественным и сохранить исходный смысл. Это плотная причинная языковая модель Qwen3 примерно с 3,7 млрд параметров и контекстом 32 768 токенов; доступны веса Safetensors и варианты GGUF Q8_0 и Q4_K_M. Модель рассчитана на английскую художественную прозу, диалоги и повествование от первого или третьего лица. Она принимает один абзац за вызов в специальном формате source/rewrite и предназначена для перефразирования, а не для диалога или выполнения инструкций. В оценке автора версия 2.2 реже повторяла фразы и предложения и реже добавляла неподтверждённое исходником содержание, чем версия 2.1. Однако модель всё ещё может придумывать местоимения или другие детали, повторяться и заметно сокращать текст; при коротком вводе она может дополнять, обрезать или выдумывать содержание. Практический минимум — около 15 слов, а техническая документация не является целевым жанром. Модель распространяется по лицензии AGPL-3.0.
megagonlabs/roberta-long-japanese — японская языковая модель RoBERTa от Megagon Labs, предварительно обученная на примерно 200 млн японских предложений из корпуса mC4. Это плотная трансформерная модель с 12 слоями, размером скрытого представления 768 и 12 головами внимания; в ней 137,8 млн параметров. Увеличенная до 1282 токенов позиционная длина позволяет обрабатывать более длинные последовательности, чем базовая японская RoBERTa. Модель предназначена для заполнения пропусков в японском тексте. Перед SentencePiece-токенизацией вход нужно предварительно сегментировать с помощью Juman++ v2.0.0-rc3; также требуется SentencePiece. Репозиторий содержит веса PyTorch, лицензия — MIT. В README описано предварительное обучение, а не специализированная настройка для отдельных предметных областей.
Koichi Yasuoka разработал компактную RoBERTa-модель, предварительно обученную на корпусах Coptic Scriptorium. Это языковая модель с маскированным обучением: она предсказывает пропущенные токены в коптском тексте и может служить основой для дообучения под разметку частей речи, синтаксический разбор зависимостей и другие задачи обработки коптского языка. Модель содержит около 11 млн параметров, принимает текстовые последовательности с контекстом до 128 токенов и распространяется в формате PyTorch. Лицензия — CC BY-SA 4.0.
stanfordnlp/stanza-cop — модель из набора Stanza, разработанного Stanford NLP для лингвистического анализа коптского языка. Она предназначена для разметки последовательностей токенов в текстах на коптском языке в составе инструментов Stanza. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Stanza предоставляет инструменты анализа текста от токенизации до синтаксического разбора и распознавания сущностей, однако карточка этой модели не уточняет, какие дополнительные задачи поддерживает именно данный чекпойнт. Метаданные относят его к классификации токенов; сведений о размере модели и длине контекста нет.
Swahili LLaMA — модель семейства LLaMA-2, разработанная Mollel и дообученная на текстах на суахили, включая материалы новостных изданий и блогов. Это плотная трансформерная языковая модель с 6,7 млрд параметров, предназначенная для продолжения текста; длина контекста — 2048 токенов. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Модель подходит для генерации текста на стандартном суахили и исследовательских экспериментов с языковыми моделями для этого языка. Она не проходила инструкционное дообучение, поэтому может плохо следовать сложным запросам, а также выдавать лишний текст и фактические ошибки. На коде модель работает слабо; разговорный суахили, сленг и другие языки могут вызывать ошибки. Разработчик предупреждает о возможной токсичности и предвзятости и отмечает, что качество модели для производственных задач не проверялось.