I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейOmniVoice Hakka Community 1 — контрольная точка OmniVoice, дообученная FormoSpeech на тайваньских диалектах языка хакка. Модель преобразует текст в речь и поддерживает клонирование голоса по образцу аудио с его текстовой расшифровкой, а также настройку голоса по текстовой инструкции. В карточке указано обучение в течение 16 000 шагов и поддержка шести диалектных меток: Sixian, Hailu, Dapu, Raoping, Zhao'an и Southern Sixian. Модель предназначена для синтеза речи на тайваньском хакка, включая озвучивание текста и генерацию речи с заданным голосом. В оценке на диалектах Sixian и Hailu она показала CER 2,03% и 2,44% соответственно; результаты относятся к описанным в карточке тестовым наборам и метрикам. Для использования нужен доступ к закрытому репозиторию Hugging Face. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение.
Pragna-1B — языковая модель Soket AI Labs для генерации текста на хинди, бенгали, гуджарати и английском языках. Это плотный decoder-only трансформер семейства LLaMA с 1,1 млрд параметров, вдохновлённый TinyLlama. Модель поддерживает контекст до 2048 токенов и использует Grouped Query Attention, Rotary Positional Encoding и активацию SiLU; веса опубликованы в формате safetensors. Модель подходит для продолжения текста и диалоговых сценариев, включая генерацию на индийских языках. В карточке приведены результаты тестов на нескольких языках, но они показывают ограниченные способности в сравнении с более крупными моделями; например, результат Pragna-1B на GSM8K равен нулю. Лицензия — Apache 2.0.
PULI GPT-2 — венгерская языковая модель семейства GPT-2, опубликованная NYTK. Она обучена с использованием Megatron-DeepSpeed на корпусе объёмом 36,3 млрд слов; карточка указывает 500 000 шагов обучения. Модель предназначена для генерации текста на венгерском языке и может использоваться для продолжения текста и экспериментов с языковыми моделями. Модель имеет архитектуру GPT2LMHeadModel, распространяется в формате PyTorch и принимает текст, выдавая текст. Максимальная длина последовательности составляет 1024 токена. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Qwen3.5-Hasutsubomi-9B — мультимодальная модель на 9 млрд параметров, разработанная проектом Local-Novel-LLM-project на основе Qwen/Qwen3.5-9B и дообученная для японского творческого письма и субкультурной тематики. Она предназначена для генерации рассказов, диалогов и планов миров, ролевого общения, а также для обсуждения аниме, манги и японских интернет-феноменов. Модель принимает текст и изображения: она может создавать истории по иллюстрациям и описывать визуальный дизайн персонажей или манга-панели. В карточке указаны японский и английский языки, архитектура Qwen3.5 с визуальным энкодером и контекст до 262 144 токенов. Весовые файлы представлены в формате safetensors. Это предварительная версия, которая всё ещё проходит обучение и эксперименты. В длинных текстах возможны повторения и нестабильное форматирование; ответы могут чрезмерно опираться на аниме-клише, а сведения о малоизвестных событиях субкультуры — содержать ошибки. Модель распространяется по лицензии Apache-2.0.
magistermilitum/Roberta_Historical — модель RoBERTa, обученная с нуля на исторических текстах и предназначенная служить основой для NLP-задач и обработки результатов HTR. Обучение проводилось на корпусе примерно из 650 млн токенов классической и средневековой латыни, старофранцузского и староиспанского языков; тексты охватывают период с V века до н. э. по XVI век. В числе источников — CC100, Corpus Corporum, CEMA, средневековые французские и испанские корпуса. Модель имеет около 119,4 млн параметров, архитектуру RoBERTa для masked language modeling и контекст до 514 токенов. Её можно применять как основу для адаптации к историческому NLP и HTR, а также для заполнения маскированных токенов. Репозиторий содержит веса PyTorch, лицензия — MIT. Карточка отмечает пересечения текстов между корпусами; такие дубликаты могут повлиять на оценку обобщения.
RoBERTa Tagalog Large — языковая модель с архитектурой RoBERTa, разработанная для филиппинского сообщества NLP. Она предварительно обучена на корпусе TLUnified — более крупном и тематически разнообразном корпусе для филиппинского языка, чем использовавшийся авторами ранее. Модель чувствительна к регистру и предназначена для заполнения пропусков в тексте: по контексту она предсказывает скрытые токены. Модель содержит 433,4 млн параметров и поддерживает контекст длиной до 514 токенов. Доступны веса PyTorch и TensorFlow. Лицензия CC BY-SA 4.0 требует указания авторства и распространения производных материалов на совместимых условиях. Карточка представляет модель как часть исследовательского проекта, открытую для применения в NLP на филиппинском языке.
RoLlama2-7b-Base-IMat-GGUF — это GGUF-квантизированная версия базовой языковой модели RoLlama2-7b-Base, разработанной OpenLLM-Ro. Квантизацию выполнил legraphista с использованием llama.cpp версии b2998 и метода imatrix для части вариантов. Модель предназначена для генерации текста на румынском языке и локального запуска через совместимые реализации llama.cpp. Модель содержит 7 млрд параметров, исходно представлена в формате FP32 и относится к текстовым моделям с авторегрессионной генерацией. В репозитории доступны варианты от FP16 и BF16 до низкобитных Q- и IQ-квантизаций размером примерно от 1,53 до 13,48 ГБ. Более компактные варианты требуют меньше памяти, но могут сильнее терять в качестве; варианты с imatrix доступны для ряда низкобитных форматов. Архитектура, размер контекста и дополнительные модальности в README не указаны. Основные сценарии использования — локальная генерация текста и запуск модели на ограниченных аппаратных ресурсах с выбором подходящего уровня квантизации. Модель является базовой, а не инструкционной, поэтому её поведение в диалогах и выполнение команд отдельно не заявлены. Указана лицензия llama2; конкретные условия её применения следует учитывать по правилам лицензии исходной модели.
Sarashina1-7B — японская языковая модель SB Intuitions с архитектурой GPTNeoX и автопредсказанием текста. Репозиторий описывает семейство Sarashina1; карточка этой модели относится к варианту на 7B параметров, тогда как метаданные указывают 8,8 млрд параметров. Модель обучена на японской части Common Crawl: в README указаны 1 трлн обучающих токенов для варианта 7B и около 550 млрд токенов в очищенном корпусе. Используются позиционные представления RoPE и токенизатор SentencePiece с unigram-моделью и byte fallback; нативная длина контекста — 2048 токенов. Модель предназначена для продолжения японского текста и других сценариев генерации текста. Она не настроена следовать инструкциям, поэтому может выдавать бессмысленные, неточные, предвзятые или нежелательные ответы; для диалоговых и пользовательских приложений разработчикам рекомендуется дополнительная настройка с учётом предпочтений людей и безопасности. Формат весов в репозитории — PyTorch, лицензия — MIT.
Sentence-ALDi — модель на основе BERT, разработанная для оценки степени диалектности арабского текста. Она дообучена на базе MarBERT и использует регрессионную голову для оценки отдельного текста; модель предназначена для анализа арабской речи и различения диалектных и менее диалектных вариантов. В README указаны арабский язык и набор данных AOC-ALDi. Архитектура — BertForSequenceClassification, около 190 млн параметров, контекст до 512 токенов; формат весов — PyTorch. Модель подходит для оценки диалектности предложений и для исследовательского анализа арабских диалектов. Ограничение контекста составляет 512 токенов, а README не приводит сведения о лицензии или подробностях интерпретации шкалы оценки.
r1char9 разработал T5Gemma2-Detox-RU — дообученную модель семейства T5Gemma2 для преобразования токсичных текстов на русском и английском языках в нейтральные формулировки с сохранением исходного смысла. Модель основана на encoder-decoder архитектуре Google T5Gemma2 и принимает текст с префиксом «Детоксифицируй: » для русского или «Detoxify: » для английского. Размер модели в предоставленных данных не указан. Модель обучалась в два этапа на парах токсичных и нейтральных текстов: сначала методом SFT, затем с выравниванием предпочтений DPO/ORPO. Основной целевой язык — русский; качество обработки других языков не гарантируется. Модель распространяется по лицензии Apache-2.0.
yzk/trocr-large-printed-vedic — модель OCR для распознавания печатных ведических текстов на изображениях. Она разработана на основе microsoft/trocr-large-printed и дообучена на текстах из издания Шрёдера «Maitrāyaṇī Saṃhitā». Архитектура vision-encoder-decoder; модель использует библиотеку Transformers и распространяется в формате safetensors. Модель предназначена для преобразования изображений с печатным текстом на деванагари в текст, в частности для оцифровки ведических источников. Она ограничена текстами, где акценты обозначены вертикальными линиями над символами деванагари. Данные о качестве распознавания и результатах тестирования в карточке не приведены. Лицензия не указана.
Это модель автоматического распознавания речи на базе архитектуры Wav2Vec2-Conformer с CTC-декодированием, дообученная ylacombe на африкаансском поднаборе Mozilla Common Voice 16.0. Число параметров — около 402,7 млн; модель принимает аудио и преобразует речь в текст. Модель предназначена для распознавания африкаансской речи в аудиозаписях. В карточке указаны результаты оценки: WER 1,0 и бесконечная функция потерь, что свидетельствует о крайне низком качестве распознавания в проведённой оценке. Лицензия в доступных данных не указана.
Модель mrrubino/wav2vec2-large-xlsr-53-l2-arctic-phoneme — акустическая модель на архитектуре Wav2Vec2-Large-XLSR-53 с 402,7 млн параметров, дообученная на вручную размеченной части набора CMU L2-Arctic. Она предназначена для автоматической фонетической транскрипции речи в международном фонетическом алфавите (IPA), в том числе речи изучающих английский язык. Принимает аудио WAV с частотой дискретизации 16 кГц и выдаёт текстовую фонетическую транскрипцию. В тестовом разбиении L2-Arctic указаны WER 0,425 и CER 0,128; эти результаты относятся к данному набору данных и не гарантируют качество на других типах речи. Модель реализована как Wav2Vec2ForCTC и используется через Transformers. В метаданных указан английский язык и лицензия Apache-2.0.
Writer-Large-2411-v2.1 — дообученная для творческого письма модель на базе Mistral-Large-Instruct-2411, опубликованная пользователем gghfez. Она предназначена для создания художественных текстов, развития сюжетов, многочастных историй и ролевых диалогов, включая сценарии группового чата. Управлять ходом ролевой сцены можно инструкциями [OOC]; автор рекомендует использовать системный промпт в формате Mistral-V7. Модель имеет плотную архитектуру MistralForCausalLM и 122,2 млрд параметров. Она принимает текст и генерирует текст, поддерживает десять языков, включая русский, и унаследовала от базовой модели контекст до 131 072 токенов. Дообучение QLoRA проводилось с контекстом до 32 768 токенов, с последующим объединением весов в bf16. Модель снижает склонность к излишне позитивному тону, шаблонным оборотам и повторам в историях. Автор отмечает, что без системного промпта модель может хуже следовать инструкциям на коротком контексте и повторяться на длинном. Возможны частые шаблонные имена персонажей, такие как Lily и Elara; производительность на задачах программирования может быть ниже базовой модели. Лицензия в метаданных указана как other; конкретные условия следует сверить на странице репозитория.
ArabianGPT-0.3B — авторегрессионная языковая модель на архитектуре GPT-2, разработанная командой ArabianLLM в лаборатории Robotics and Internet of Things Lab Университета принца Султана. Модель содержит 345 млн параметров, 24 слоя и использует контекст длиной до 1024 токенов. Это базовая предварительно обученная модель для генерации текста на арабском языке. Её можно использовать для изучения возможностей модели и дообучения под прикладные задачи; карточка сообщает, что обучение проводилось на научных статьях и общих текстах. Модель не является инструкционной, а её варианты для суммаризации и анализа тональности на момент публикации находились в разработке. Модель ориентирована на арабский язык и создана для генерации текста. Авторы предупреждают о возможных ограничениях в понимании контекста и качестве генерации, а также о риске неточной или неподходящей выдачи. Лицензия — Apache-2.0.
BioQwen-1.8B — двуязычная модель для биомедицинских задач, построенная на архитектуре Qwen2 и представленная в виде плотной причинной языковой модели. В README она описана как компактная модель для нескольких биомедицинских задач; метаданные указывают на диалоговый режим и генерацию текста. Репозиторий содержит веса Safetensors, а число параметров указано как 1,5 млрд. Модель предназначена для генерации ответов и диалогов на биомедицинскую тематику на английском и китайском языках. Контекстное окно составляет 32 768 токенов. Модель опубликована под лицензией MIT. Карточка не перечисляет конкретные биомедицинские задачи, оценки качества или ограничения применимости, поэтому результаты в медицинских сценариях требуют проверки специалистом.
glsch/bowphs_GreBerta_rhetores — дообученная модель RoBERTa для заполнения пропусков в древнегреческом тексте. Она основана на bowphs/GreBerta и содержит 153,2 млн параметров. Модель принимает текст с пропуском и предсказывает подходящее содержимое; длина контекста — до 514 токенов. Модель подходит для восстановления пропусков и изучения вариантов словоупотребления в древнегреческих текстах. Данных о её разработчике, дополнительных сценариях, сильных сторонах и лицензии в предоставленных источниках нет.
MaziyarPanahi/calme-3.3-qwenloi-3b — это дообученная MaziyarPanahi модель Qwen2.5-3B для генерации текста и диалогов с акцентом на французскую юридическую область. Она использует плотную архитектуру Qwen2 и формат safetensors; число параметров — 3,1 млрд, контекст — до 32 768 токенов. Для общения применяется шаблон ChatML. Модель подходит для черновых ответов на вопросы по французским юридическим темам, подготовки и редактирования юридических текстов, а также диалоговых помощников для франкоязычных пользователей. В карточке указано дообучение на MaziyarPanahi/calme-legalkit-v0.2; метаданные также отмечают английский язык. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой модели и исходной лицензией. Разработчик предупреждает, что из-за небольшого размера модель может хуже справляться с некоторыми запросами и быть чувствительной к гиперпараметрам. В юридических сценариях ответы требуют проверки специалистом; карточка рекомендует человеческий контроль и меры защиты от возможных смещений.
raygx/distilBERT-Nepali — модель семейства DistilBERT, дообученная для непальского языка на расширенном корпусе Nepali-Extended-Text-Corpus, объединяющем данные CC-100 и Nepali-Text-Corpus. Она предсказывает пропущенные токены в тексте и подходит для задач восстановления фрагментов непальских предложений. Модель использует архитектуру DistilBertForMaskedLM, принимает текст, поддерживает контекст до 512 токенов и опубликована в формате TensorFlow. В карточке приведены результаты оценки: минимальная perplexity 17,31, средняя 19,12 и validation loss 3,0674. Автор отмечает, что обучение проходило пакетами из-за ограниченных ресурсов; также использован другой токенизатор, поэтому модель существенно отличается от предыдущей версии. Лицензия в доступных данных не указана.
ce-lery/dolly-japanese-gpt-1b-clone — японская генеративная языковая модель на архитектуре GPT-2, созданная автором репозитория как самостоятельное повторение обучения модели rinna japanese-gpt-1b. Для дообучения использован японский набор инструкций databricks-dolly-15k-ja, преобразованный в формат, похожий на Alpaca; README описывает модель как аналогичную inu-ai/dolly-japanese-gpt-1b. Модель предназначена для генерации японского текста и ответов на инструкции. Её можно применять для экспериментов с японским инструкционным языковым моделированием и локального инференса; заявленная длина контекста — 1024 токена. В карточке указаны веса PyTorch и safetensors, лицензия MIT. Автор отмечает, что обучение запускалось без оценки на валидационном наборе, поэтому качество не проверено должным образом. README рекомендует для использования обученную модель inu-ai/dolly-japanese-gpt-1b; данный репозиторий описан как учебное повторение, а не как предпочтительный готовый чекпойнт.
Emendator — модель byt5-xl, дообученная Aidan McCarthy для исправления ошибок OCR в латинских текстах. Она принимает повреждённый распознаванием текст и восстанавливает читаемую латынь; в карточке приведены примеры исправления лёгких, сильных и очень сильных искажений. Модель содержит 3,3 млрд параметров, построена на архитектуре T5 и распространяется в формате safetensors. Для лучшей производительности текст следует подавать сегментами примерно по 250 символов. Модель подходит для восстановления распознанных латинских книг и исторических документов, когда важнее получить связный латинский текст, чем сохранить конкретную орфографию или редакционный стиль. Она может вносить редакторские изменения и смещать распределение токенов в сторону обучающих данных, поэтому результат не гарантирует точного восстановления исходного написания. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
EXAONE-3.5-7.8B-it-DACON-LLM — дообученная языковая модель Dongwook Min (mindw96) для соревнования по восстановлению корейских отзывов, записанных с обфускацией. Она основана на инструкционной модели LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct и использует плотную архитектуру ExaoneForCausalLM с 7,4 млрд параметров. Модель принимает текст и генерирует текст; базовая модель поддерживает корейский и английский языки. Контекстное окно составляет 32 768 токенов. Модель предназначена прежде всего для восстановления читаемого текста корейских отзывов. Данных о качестве на других задачах нет, поэтому её пригодность для широкого использования как чат-модели не установлена. Весовые файлы опубликованы в формате safetensors; лицензия в предоставленных данных не указана.
Feraoun-Pro — модель OCR на 51 млн параметров от автора репозитория agbalu, предназначенная для распознавания строк печатного кабильского языка по изображениям. CTC-модель одним проходом читает латинскую орфографию и неотифинаг, не требуя заранее выбирать систему письма. В словаре 173 символа, включая ţ и Ţ, а переменная ширина входного изображения поддерживается до 1024 пикселей. Модель можно использовать для оцифровки строк из кабильских книг, грамматик, периодики и архивных материалов; лицензия — Apache-2.0. В описанной оценке на синтетически отрисованных строках CER составила 7,34% для латиницы и 0,91% для неотифинага; точное совпадение всей строки — 81,77%. Эти результаты не показывают качество на реальных сканах: оценка проведена на синтетических данных из того же набора шрифтов, что и обучение. Модель не предназначена для рукописей, других языков, персональных решений или полноценного разбора многоколоночной разметки страницы; распознавание пунктуации и границ пробелов также ненадёжно.
German R1 — экспериментальная немецкоязычная модель генерации текста, созданная Malteos на базе Qwen/Qwen2.5-3B-Instruct. Карточка с ироничной оговоркой «Please do NOT take this too serious» не подтверждает заявленное сравнение с o3 или DeepSeek R1; метаданные указывают на дообучение на наборе openGPT-X/gsm8kx. Модель имеет плотную архитектуру Qwen2ForCausalLM и 3,1 млрд параметров. Она предназначена для диалоговой генерации текста и может работать с контекстом до 32 768 токенов. В карточке заявлен немецкий язык; доступна через Transformers, веса опубликованы в формате safetensors. Модель подойдёт для экспериментов с немецкоязычными ответами и рассуждениями. Карточка не содержит надёжных результатов оценки качества или подробных условий использования; лицензию по представленным данным определить нельзя.
hezarai/gpt2-base-fa — перенос исходной модели ParsGPT2 в библиотеку Hezar для совместимости. Модель предназначена для генерации текста на персидском языке; автор README указывает её происхождение от ParsGPT2. В метаданных задача обозначена как text-generation, а формат файлов — PyTorch. Модель подходит для продолжения персидского текста и генерации фрагментов на его основе. README приводит установку библиотеки Hezar, однако не содержит сведений о размере модели, длине контекста, лицензии или известных ограничениях; эти характеристики не описываются.
GPT2 Medium 4 Persian — языковая модель для генерации текста на персидском языке, созданная участниками Flax/JAX Community Week, организованной Hugging Face при поддержке Google в использовании TPU. Модель основана на архитектуре GPT-2 и обучалась на персидских данных из корпуса OSCAR, собранного из Common Crawl с фильтрацией по языкам. В карточке приведены примеры использования с Transformers и варианты весов для Flax, PyTorch и TensorFlow. Модель предназначена для продолжения персидского текста по началу фразы и других сценариев генерации. Контекст составляет 1024 токена. Карточка не приводит результаты оценки качества, поэтому пригодность для конкретных задач следует проверять самостоятельно. Условия лицензирования в предоставленных данных не указаны.
Koichi Yasuoka разработал GPT-2 для морфологического анализа японского текста. Модель дообучена на основе ku-nlp/gpt2-small-japanese-char и размечает короткие словные единицы тегами UPOS и FEATS; карточка также указывает поддержку синтаксического разбора зависимостей. В каталоге задача модели обозначена как token-classification. Модель принимает японский текст и возвращает разметку токенов. Она основана на плотной архитектуре GPT-2, использует веса PyTorch и имеет контекст длиной 1024 токена. Лицензия — CC BY-SA 4.0. Карточка демонстрирует использование через Transformers pipeline с параметром trust_remote_code=True.
Higgs Audio v3 — дообученный адаптер для синтеза выразительной речи на телугу голосом одного диктора. Модель построена на базе Higgs Audio v3 с 4 млрд параметров и генерирует речь по тексту без референсного аудиофрагмента; заявлена поддержка переключения между телугу и английским. Для телугу требуется предварительно преобразовать текст в ISO-15919 латинскую транслитерацию с тем же frontend.py, который использовался при обучении: без этого токенизация может работать некорректно. Это первая исследовательская адаптация одного голоса. Лицензия указана как other, конкретные условия в доступных данных не раскрыты.
Модель NYTK/hucola-puli-bert-large-hungarian — дообученная версия PULI BERT-Large, разработанная для оценки лингвистической приемлемости предложений на венгерском языке. Она классифицирует входной текст, определяя, является ли предложение грамматически приемлемым; модель подходит для анализа венгерских текстов и экспериментов по обработке естественного языка. Модель построена на архитектуре Megatron-BERT и содержит около 435,7 млн параметров. Метаданные указывают контекст до 512 токенов, а README отдельно сообщает ограничение max_seq_length=128. Используется набор данных NYTK/HuCOLA. Модель распространяется в формате PyTorch по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
Japanese-opt-2.7b — дообученная модель генерации текста на базе facebook/opt-2.7b, созданная автором репозитория inarikami. Модель обучалась на японской Википедии и предназначена для продолжения и генерации текста на японском языке; в README приведён пример генерации по японскому началу фразы. Это плотная авторегрессионная модель семейства OPT с архитектурой OPTForCausalLM и 3,5 млрд параметров. Нативная длина контекста — 2048 токенов. Модель находится в разработке; карточка не сообщает результатов оценки качества или подробных ограничений. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории модели и у правообладателей базовой модели.