/ Профессии
Универсальные способности и операции

I.6Перевод и языковая адаптация

В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоЭмбеддингиТекст
AI-задач
16
в этой профессии
Подходящих моделей
16 710
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоЭмбеддингиТекст

Рекомендованные модели

16 710 моделей
Загрузки
Лайки
Дата выхода
4 351–4 380 из 16 710
surrey-nlp
diallm-llama-dpo-brit

DiaLLM Llama 3.1-8B en-UK DPO — языковая модель Surrey NLP для генерации текста с адаптацией к северному британскому варианту английского языка. Она построена на архитектуре Llama 3.1, содержит 7,5 млрд параметров и принимает текстовые запросы, выдавая текст; нативная длина контекста — 131 072 токена. Модель прошла дообучение на базе jordanpainter/diallm-llama-sft-brit с использованием DPO. В описанном процессе также указаны предварительное обучение на корпусе International Corpus of English с 18 вариантами английского и последующая настройка на данные предпочтений для en-UK. Модель предназначена для генерации ответов и диалогового текста с особенностями северного британского английского; поддержка языков кроме английского не заявлена. Весовые файлы представлены в формате safetensors, для запуска в README приведён пример с Transformers. Указана лицензия Llama 3.1. Карточка связывает модель с исследованием о разрыве между устойчивостью и генерацией при адаптации к английским диалектам; конкретные ограничения качества или безопасного использования не описаны.

230апр. 2026ctx131.1K
textllama3.1hugging-face
omdeep22
Gonyai-teo2

Gonyai-TEO2 — авторская разговорная языковая модель семейства KonkanGPT от разработчика omdeep22, предназначенная для общения на конкани. В README указаны обучение на материалах о культуре и истории Гоа и поддержка гоанского диалекта на письме деванагари; метаданные относят модель к causal language models и подтверждают текстовую генерацию с возможностью чата. Модель имеет плотную архитектуру KonkanGPT с RoPE, RMSNorm и SwiGLU. В метаданных указано 222,8 млн параметров, тогда как README приводит приблизительную оценку около 251 млн; поэтому точный размер по доступным сведениям неоднозначен. README показывает сценарии многоходового диалога и чтения с пониманием контекста или RAG. Репозиторий использует формат PyTorch, лицензия — MIT. Модель ориентирована на конкани и гоанский культурный контекст; её применимость к другим языкам и темам не подтверждена. Для загрузки в README требуется trust_remote_code=True, поэтому перед использованием следует ознакомиться с кодом репозитория.

776март 2026
textmithugging-face
KoichiYasuoka
gpt2-small-japanese-wikipedia-juman-ud-causal

Koichi Yasuoka разработал эту модель на базе GPT-2 для разметки японского текста: она определяет части речи и синтаксические зависимости между словами. Модель дообучена от KoichiYasuoka/gpt2-small-japanese-wikipedia-juman-upos на данных UD_Japanese-GSDLUW и использует архитектуру GPT-2 с классификационной головой для токенов. Модель принимает японский текст и выдаёт токенную разметку для анализа синтаксиса. Её можно применять для подготовки корпусов, лингвистического анализа и обработки текста на японском языке. Контекст ограничен 1024 токенами; для работы через Transformers требуется библиотека fugashi. Лицензия — CC BY-SA 4.0.

1371окт. 2024ctx1K
textcc-by-sa-4.0hugging-face
l3cube-pune
hing-bert

HingBERT — модель семейства BERT, разработанная L3Cube-Pune и дообученная на корпусе L3Cube-HingCorpus. Она предназначена для работы с текстом на хинди и английском языках, смешанными в одной фразе и записанными латиницей. Модель использует архитектуру BertForMaskedLM, содержит 136,7 млн параметров и обрабатывает последовательности длиной до 512 токенов. Основной сценарий применения — предсказание замаскированных слов в хинглише; модель также подходит для исследований и разработки языковых систем для смешанного хинди-английского текста. Веса доступны в форматах PyTorch и Safetensors. Лицензия CC BY 4.0 требует указания авторства.

8542март 2022ctx512
textcc-by-4.0hugging-face
regnant-io
kw5-lite-instruct

KW5-Lite Instruct — компактная модель Regnant для выполнения инструкций и диалога на суахили. Это дообученная методом LoRA модель regnant-io/kw5-lite-base; адаптер объединён с базовыми весами. Модель содержит 109,5 млн параметров и использует плотную decoder-only архитектуру Llama, совместимую с Transformers. Контекст ограничен 2048 токенами. Модель предназначена для связной генерации текста на суахили, форматирования ответов, выполнения инструкций и поддержания структуры диалога. Данные обучения включают инструкции, многоходовые диалоги, танзанийские факты и культурные темы, грамматику суахили, переключение между суахили и Sheng, а также примеры отказов. Основной фокус — танзанийский вариант суахили; покрытие кенийских, угандийских и конголезских вариантов слабее. Качество заметно зависит от настроек генерации: README рекомендует низкую температуру и штраф за повторы. Фактическая надёжность низкая, следование заданному количеству пунктов нестабильно; результаты оценки основаны на небольшой проверочной выборке. Английский не проверен, применение инструментов и генерация кода не поддерживаются, а настройка безопасности минимальна. Модель распространяется по лицензии Apache-2.0.

3.9K0авг. 2026ctx2K
textapache-2.0hugging-face
johnpaulbin
llama8b-tokipona-epoch1-chat-merged

johnpaulbin/llama8b-tokipona-epoch1-chat-merged — плотная авторегрессионная языковая модель семейства Llama, дообученная johnpaulbin на базе unsloth/llama-3-8b-instruct-bnb-4bit для диалоговой генерации текста. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 8192 токенов. Модель предназначена для генерации ответов в чате на токипона и других поддерживаемых текстовых запросов. Карточка указывает, что модель обучалась с Unsloth и библиотекой TRL; файлы представлены в формате PyTorch. Доступна по лицензии Apache-2.0. Карточка не приводит оценок качества или подробностей обучающего набора данных.

100июнь 2024ctx8.2K
textapache-2.0hugging-face
mesolitica
roberta-base-bahasa-cased

mesolitica/roberta-base-bahasa-cased — предварительно обученная языковая модель RoBERTa base для малайского языка, разработанная Mesolitica. Она предназначена для заполнения пропусков в тексте: модель предсказывает подходящие токены вместо маскированного фрагмента. Её можно применять для языкового моделирования и анализа малайских текстов. Модель имеет архитектуру RoBERTa с головой Masked Language Modeling, содержит 137,8 млн параметров и обрабатывает последовательности длиной до 514 токенов. При предварительном обучении использовался корпус примерно из 400 миллионов слов, включающий малайские новости, парламентские стенограммы, научные статьи, Wikipedia и публикации из социальных сетей и Wattpad. Модель принимает текст и выдаёт текстовые предсказания для пропусков. README не сообщает лицензию или конкретные ограничения применения; корпус обучения включает материалы из социальных сетей и других веб-источников, поэтому предсказания могут отражать их особенности и смещения.

2791сент. 2022ctx514
texthugging-face
KoichiYasuoka
roberta-large-japanese-aozora-ud-goeswith

Koichi Yasuoka разработал эту модель на основе японской RoBERTa roberta-large-japanese-aozora, дообучив её на датасете UD_Japanese-GSDLUW для разметки частей речи и синтаксического анализа зависимостей с использованием связи goeswith для подслов. Модель обрабатывает японский текст и присваивает метки токенам; она предназначена для лингвистического анализа и построения синтаксических структур. Это плотная модель RoBERTa для классификации токенов с 659 млн параметров и контекстом до 512 токенов. Она распространяется в формате PyTorch по лицензии CC BY-SA 4.0. Для использования через Transformers в README приведён pipeline с trust_remote_code=True и агрегацией меток; качество на других корпусах или языках в карточке не описано.

1230окт. 2022ctx512
textcc-by-sa-4.0hugging-face
josu
roberta-pt-br

josu/roberta-pt-br — языковая модель на архитектуре RoBERTa, предназначенная для бразильского португальского языка. Она предсказывает пропущенный токен в тексте: например, предлагает варианты продолжения фразы «Brasilia é a capital do». Модель содержит 95,2 млн параметров, использует формат PyTorch и поддерживает контекст до 514 токенов. Подходит для восстановления пропусков и подбора вероятных слов в португалоязычном тексте. Лицензия в предоставленных данных не указана.

1008март 2022ctx514
texthugging-face
aubmindlab
aragpt2-mega

AraGPT2-mega — модель генерации текста на арабском языке, разработанная исследователями AUB MIND Lab и описанная в статье AraGPT2. Это вариант GPT-2 семейства AraGPT2 с архитектурой Grover; веса доступны в форматах PyTorch и Safetensors. Модель обучена на крупном арабском корпусе, включающем Wikipedia, Osian, Arabic Billion Words, OSCAR и частный корпус Assafir. Контекст составляет 1024 токена. Модель предназначена для продолжения арабского текста и генерации связного текста по заданному фрагменту. Перед подачей текста README требует предварительную обработку библиотекой arabert; без неё качество генерации может быть некорректным. Для загрузки через Transformers может потребоваться trust_remote_code. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории.

21712март 2022ctx1K
textotherhugging-face
Evanroubert
Armenian-SmolLlama-116M-Instruct

Armenian-SmolLlama-116M-Instruct — компактная языковая модель Evanroubert для генерации текста на армянском языке. Она построена на архитектурной идее Deep & Thin, связанной с MobileLLM и SmolLM, и содержит около 115,6 млн параметров. Модель имеет 30 слоёв Transformer, скрытый размер 576, группированное внимание GQA с 9 головами запросов и 3 головами ключей и значений, а также блоки SwiGLU. Веса эмбеддингов и выходной проекции связаны. В README указаны предварительное обучение на 2,1 млрд токенов и выравнивание Case-Augmented LIMA Gold; заявленная инвариантность к регистру относится к этапу выравнивания. Модель предназначена для компактной генерации текста и инструктивных сценариев на армянском языке. Репозиторий содержит веса PyTorch, а лицензия — MIT. В карточке не приведены данные о длине контекста и конкретных оценках качества; компактный размер ограничивает запас модели по знаниям и сложным задачам по сравнению с крупными языковыми моделями.

480авг. 2026
textmithugging-face
yuuki14202028
gpt2-kanakanji

gpt2-kanakanji — разработанная yuuki14202028 японская модель преобразования чтения на катакане в текст с кандзи и каной. Она дообучена на ku-nlp/gpt2-small-japanese-char с использованием набора Miwa-Keita/zenz-v2.5-dataset и построена на архитектуре GPT-2 с генерацией на уровне символов. Модель принимает чтение на катакане и левый контекст, а на выходе формирует соответствующую запись на японском языке с кандзи и каной. Для управления форматом ввода используются специальные токены из Unicode Private Use Area. В README приведена оценка на AJIMEE-Bench из 200 примеров: точность Acc@1 составляет 0,705, MinCER — 0,0432. Модель рассчитана на преобразование японского текста в сценариях ввода, подобных IME. Контекст ограничен 1024 токенами. Лицензия — CC-BY-SA-4.0, унаследованная от базовой модели.

2553февр. 2026ctx1K
textcc-by-sa-4.0hugging-face
goryden
gpt2-mn

goryden/gpt2-mn — авторегрессионная языковая модель семейства GPT-2, дообученная разработчиком goryden для генерации текста на монгольском языке. Обучение проводилось на датасете mn-mgltol-data с Kaggle, используя поле Cleaned_Description из cleaned_data.csv. Модель предназначена для продолжения текста и других сценариев генерации на монгольском языке. Она использует архитектуру GPT2LMHeadModel с 6 слоями, 8 головами внимания, размерностью скрытого слоя 512 и словарём из 32 000 токенов; контекст ограничен 512 токенами. Для токенизации применяется отдельный токенизатор goryden/gpt2-mn-tokenizer. Модель опубликована в формате safetensors и использует библиотеку Transformers. Её качество зависит от обучающих данных и контекста; приведённые в карточке метрики показывают обучение, но не дают полной оценки пригодности для разных задач. Лицензия в доступных данных не указана.

3830дек. 2025ctx512
texthugging-face
ethanyt
guwenbert-large

GuwenBERT-large — модель семейства RoBERTa, разработанная командой Datahammer из Пекинского технологического института и предварительно обученная на классическом китайском языке. Она предназначена для заполнения пропусков в тексте и дообучения для задач обработки древних китайских текстов, включая сегментацию предложений, расстановку пунктуации и распознавание именованных сущностей. Модель содержит около 426,5 млн параметров и принимает контекст длиной до 514 токенов. Для обучения использован корпус daizhige из 15 694 книг общим объёмом около 1,7 млрд символов; традиционные иероглифы были преобразованы в упрощённые, а словарь содержит 23 292 единицы. В описанной оценке распознавания сущностей в древних книгах модель заняла второе место с микроусреднённым F1 84,63. Модель рассчитана на классический китайский и специализированные исторические тексты; её результаты для других языков и современных текстов не подтверждены. Лицензия — Apache-2.0.

62011март 2022ctx514
textapache-2.0hugging-face
regnant-io
kw5-149M

KW5 149M — базовая языковая модель Regnant, обученная с нуля для генерации текста на суахили. Она содержит 149 млн параметров трансформера (173,6 млн параметров всего) и использует плотную авторегрессионную архитектуру KW5V2 с 20 слоями, скрытым размером 768 и grouped-query attention. Модель обучена предсказывать следующий токен на корпусе объёмом около 1,97 млрд токенов; для токенизации используется BPE на 32 тыс. элементов. Модель предназначена прежде всего как компактная отправная точка для дообучения на суахили: instruction tuning, адаптации к предметной области или добавления классификационной головы. Она частично распознаёт формат чата и иногда завершает ответ, но не следует ограничениям надёжно и часто ошибается в фактах, поэтому не подходит для прямого развёртывания как ассистент. Основной вариант языка в обучающих данных — танзанийский суахили; в корпусе присутствуют машинно-переведённые образовательные тексты, артефакты которых могут проявляться в генерации. Модель не проходила настройку безопасности и может воспроизводить содержимое обучающих текстов. Лицензия — Apache-2.0.

6695сент. 2026
textapache-2.0hugging-face
alexbalandi
litlat-bert-lithuanian-morphology-vdu

Lithuanian morphology tagger — accentuation flavor — это модель для разметки литовских слов по частям речи и морфологическим признакам, созданная как компонент систем постановки ударений, в частности Kirčiuoklė. Она дообучена на EMBEDDIA/litlat-bert, использует архитектуру XLM-RoBERTa для классификации токенов и насчитывает 177,9 млн параметров. Модель рассчитана на литовский язык, обрабатывает последовательности длиной до 514 токенов и доступна в форматах ONNX и safetensors; в репозитории также есть квантованная до INT8 ONNX-версия. Метка использует традиционную литовскую грамматическую схему VDU: DET объединён с PRON, а AUX — с VERB. Это помогает выбирать ударение в омографах с учётом морфологии, но модель намеренно не выдаёт категории DET и AUX, признаки за пределами десяти ключей согласования или леммы. На полном тесте ALKSNIS точность слотов составила 86,4%, UPOS — 90,6%; для строгой разметки UD автор рекомендует родственные модели с суффиксом morphology. Лицензия — CC BY-SA 4.0.

150июль 2026ctx514
textcc-by-sa-4.0hugging-face
rasyosef
Llama-3.2-180M-Amharic-Instruct

rasyosef/Llama-3.2-180M-Amharic-Instruct — компактная модель семейства Llama, дообученная следовать инструкциям и вести диалог на амхарском языке. Она принимает текстовые запросы в формате user/assistant и генерирует продолжение ответа. Модель содержит 180,3 млн параметров, использует архитектуру LlamaForCausalLM и рассчитана на контекст до 1024 токенов. Модель подходит для коротких диалогов и ответов на вопросы на амхарском языке. В карточке не приведены результаты оценки качества, поэтому её способность решать более сложные задачи и надёжность ответов не установлены. Базовая модель — rasyosef/Llama-3.2-180M-Amharic; файлы представлены в формате safetensors. Лицензия в доступных данных не указана.

550нояб. 2024ctx1K
texthugging-face
jayasuryajsk
Llama-3-8b-Telugu-Romanized

Llama-3-8b-Telugu-Romanized — языковая модель, разработанная Jaya Surya Kommireddy и дообученная на синтетических данных для работы с телугу в латинской транслитерации. Модель основана на Llama 3 с плотной архитектурой и содержит 7,5 млрд параметров; максимальный контекст — 8192 токена. Она предназначена для генерации и продолжения текста, ответов на вопросы и других языковых задач на телугу, особенно в разговорной речи с переключением между телугу и английским. Модель принимает текст и генерирует текст. Модель распространяется под лицензией Apache-2.0. Её применение ориентировано на телугу в латинской транслитерации и кодовое смешение с английским; возможности для других языков и письменностей не подтверждены.

219апр. 2024ctx8.2K
textapache-2.0hugging-face
cyberagent
llava-calm2-siglip

llava-calm2-siglip — экспериментальная мультимодальная модель CyberAgent для диалога по изображениям и ответов на вопросы о них, прежде всего на японском языке. Это трансформерная модель семейства LLaVA с архитектурой LlavaForConditionalGeneration и размером 7 млрд параметров; для понимания изображений используется SigLIP So400m Patch14 384, а языковая часть основана на cyberagent/calm2-7b-chat. Модель дообучена по инструкции на диалогах об изображениях, подготовленных с использованием данных MS-COCO и VisualGenome. Модель принимает изображения и текстовые запросы, выдаёт текстовые ответы. Карточка указывает японский и английский языки; модель рассчитана на сценарии визуальных языковых приложений и академических исследований. Лицензия — Apache-2.0. Это экспериментальная модель общего назначения, и для конкретных задач её качество может потребовать дополнительной настройки на подходящих данных. Разработчик рекомендует фильтровать неприемлемый контент при внедрении в производственные системы и не использовать модель в приложениях, способных причинить вред людям или группам; коммерческое применение предлагается оценивать с осторожностью.

16926июнь 2024
textimageapache-2.0hugging-face
kcoopermiller
llm-jp-1.3b-v1.0-aya

kcoopermiller/llm-jp-1.3b-v1.0-aya — GPT-2-подобная языковая модель, созданная дообучением llm-jp/llm-jp-1.3b-v1.0 на японских примерах набора CohereForAI/aya_dataset. Она предназначена для генерации текста на японском языке и может применяться для ответов на запросы и выполнения текстовых инструкций. В карточке приведено значение 0,0698 по llm-jp-eval AVG; условия и методика оценки не уточнены. Модель использует архитектуру GPT2LMHeadModel, веса сохранены в формате safetensors, контекст составляет 2048 токенов. Лицензия — Apache-2.0. Карточка не сообщает об ограничениях, кроме специализации на японских данных.

470февр. 2024ctx2K
textapache-2.0hugging-face
ai-forever
mGPT-1.3B-kalmyk

Kalmyk mGPT 1.3B — языковая модель для калмыцкого языка, разработанная AI Forever как дообученная версия mGPT-XL с 1,3 млрд параметров. Базовая модель обучалась на 61 языке; эта версия дополнительно обучалась на данных для малоресурсных языков, включая калмыцкий, в течение 200 шагов. Архитектура — GPT-2, формат весов — PyTorch. Модель предназначена для генерации текста на калмыцком языке и экспериментов с языковыми технологиями для этого малоресурсного языка. Размер контекста составляет 2048 токенов. В README приведено значение perplexity 13,97 на валидационной выборке. Карточка указывает поддержку калмыцкого языка, а метаданные также помечают русский и английский. Результаты для калмыцкого могут быть ограничены объёмом доступных обучающих данных; модель не описана как система для специализированных задач. Лицензия — MIT.

1013авг. 2023ctx2K
textmithugging-face
KoichiYasuoka
modernbert-base-classical-chinese

Koichi Yasuoka разработал эту модель ModernBERT и предварительно обучил её на текстах Kanripo на классическом китайском языке. Она предназначена для предсказания замаскированных токенов и дообучения для задач анализа классических китайских текстов, включая сегментацию предложений, разметку частей речи и синтаксический разбор зависимостей. Модель использует плотную архитектуру ModernBERT, содержит 129,6 млн параметров и поддерживает контекст до 8192 токенов. Обучение учитывает соответствия между традиционными и упрощёнными китайскими иероглифами. Модель принимает текст и предсказывает пропущенные токены. Лицензия — Apache-2.0. Оценки качества для перечисленных задач и конкретные ограничения в карточке не приведены.

1070май 2025ctx8.2K
textapache-2.0hugging-face
mradermacher
Qwen-Nano-0.5B-GGUF

Qwen-Nano-0.5B-GGUF — это набор квантованных файлов модели smshahbaj/Rifa-Nano-0.5B, подготовленный пользователем mradermacher в формате GGUF. Модель предназначена для генерации текста и диалоговых сценариев, включая работу на английском и бенгальском языках. Благодаря небольшому размеру около 0,5 млрд параметров она ориентирована на запуск в условиях ограниченных ресурсов и локальное использование. Доступны варианты квантования Q2_K, Q3_K, IQ4_XS, Q4_K_S, Q4_K_M, Q5_K_S, Q5_K_M, Q6_K, Q8_0 и F16. Размер файлов составляет примерно от 0,4 до 1,1 ГБ; варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как быстрый вариант с лучшим качеством. README не содержит сведений об архитектуре, длине контекста, используемом датасете, результатах тестирования или мультимодальных возможностях, поэтому производительность и пригодность для сложных задач оценить нельзя. Модель ограничена небольшим масштабом и заявленными языками, а низкобитные варианты могут снижать качество генерации. Лицензия указана как Apache-2.0. Для работы необходима совместимая с GGUF программа или библиотека; конкретные требования к оборудованию и инструкции по применению в карточке подробно не описаны.

4280сент. 2026
textapache-2.0hugging-face
burakaytan
roberta-small-turkish-clean-uncased

RoBERTaTurk-Small-Clean — компактная турецкоязычная модель семейства RoBERTa, разработанная burakaytan. Она обучена на очищенных текстах турецкой Википедии, OSCAR и новостных сайтов; авторы отфильтровали предложения с ошибками из исходного корпуса объёмом 38 ГБ и использовали 20 ГБ качественных данных. Модель имеет 8 слоёв вместо 12 у обычной RoBERTa и содержит 71,9 млн параметров; максимальный контекст — 514 токенов. Модель предназначена для заполнения пропусков в турецком тексте и анализа контекста вокруг замаскированного токена. Она рассчитана прежде всего на грамотно написанные тексты без ошибок; компактный размер упрощает и ускоряет запуск по сравнению с более крупными моделями. Репозиторий содержит веса PyTorch, лицензия — MIT.

145нояб. 2023ctx514
textmithugging-face
Velkamez
tamazight-sp-bpe

Velkamez/tamazight-sp-bpe — трансформерная языковая модель для генерации текста на тамазигхтском языке. Разработчик обучил её с нуля на корпусе текстов тамазигхт; модель использует SentencePiece BPE с словарём из 8 000 токенов и поддерживает письмо тифинаг, латиницу и арабское письмо. В README указаны 98,3 млн параметров, 12 слоёв, 12 голов внимания и максимальная длина последовательности 256 токенов. Метаданные Hugging Face указывают 30,8 млн параметров; размер модели, таким образом, приводится в источниках по-разному. Модель предназначена для продолжения и генерации текста на тамазигхтском, а короткий контекст ограничивает работу с длинными фрагментами. Лицензия — Apache-2.0.

2502февр. 2026ctx256
textapache-2.0hugging-face
Setur
BRAGD-sosialurin

BRAGD-sosialurin — модель для разметки частей речи и морфологических признаков в текстах на фарерском языке, разработанная авторами BRAGD. Это дообученная на базе vesteinn/ScandiBERT модель XLM-RoBERTa с 151,7 млн параметров и контекстом до 514 токенов. Для каждого токена она предсказывает 73 бинарных признака, охватывающих часть речи, подкатегорию, род, число, падеж, артикль, степень сравнения, наклонение, залог, время, лицо и определённость; файлы маски ограничений и сопоставления тегов помогают преобразовать предсказания в теги BRAGD. Модель предназначена для морфосинтаксической разметки фарерских текстов, включая новостные материалы. В README приведены результаты исследовательской оценки схемы BRAGD: точность составного тега 97,5% на Sosialurin-BRAGD и 96,2% на данных вне домена OOD-BRAGD. Эти показатели относятся к описанной экспериментальной постановке, а не к опубликованному чекпойнту. Чекпойнт обучен только на Sosialurin-BRAGD. Лицензия — CC BY 4.0.

60июль 2026ctx514
textcc-by-4.0hugging-face
buddhist-nlp
byt5-mitra-bo-tagger

byt5-mitra-bo-tagger — модель Buddhist NLP для автоматической разметки классического тибетского текста в транслитерации Wylie. Это дообученная версия buddhist-nlp/byt5-mitra-bo: байтовая модель последовательность-в-последовательность семейства T5 с 595,1 млн параметров, обученная примерно на 5 тысячах предложений и коротких отрывков из параллельного санскритско-тибетского корпуса проекта Dharmamitra. Модель принимает необработанный текст Wylie и выдаёт сегментацию предложений и слов, грубую часть речи для каждого слова, а также скобки вокруг тибетских последовательностей, соответствующих одному санскритскому слову или сложению. Она предназначена для подготовки и анализа классических буддийских переводных текстов. В README приведены метрики на выборке из 100 примеров: F1 границ слов 0,959, точность POS 0,914 и F1 сегментации предложений 0,914. Обучение проводилось на канонической переводной литературе Кангьюра и Тенгьюра с санскритскими параллелями, поэтому другие регистры не проверены. Разметка санскритских единиц наиболее шумная; на длинных или необычных фрагментах модель может пропускать или изменять слоги, поэтому результат следует сверять с исходным текстом. Лицензия — Apache-2.0.

3260сент. 2026ctx1.1K
textapache-2.0hugging-face
hon9kon9ize
CantoneseLLM-lihkg-story-cpt

hon9kon9ize/CantoneseLLM-lihkg-story-cpt — дообученная на датасете wcyat/lihkg-story модель CantoneseLLM-v0.5, разработанная hon9kon9ize. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM и 5,8 млрд параметров. Модель предназначена для генерации текста на кантонском языке в разговорном стиле, включая создание историй по мотивам публикаций LIHKG; метаданные также указывают поддержку чата. Контекст — до 4096 токенов. Модель опубликована в формате safetensors и распространяется по лицензии other; конкретные условия лицензии в предоставленных данных не раскрыты. README не содержит сведений об оценке качества и ограничениях, поэтому пригодность для конкретных сценариев следует проверять отдельно.

141авг. 2024ctx4.1K
textotherhugging-face
catallama
CataLlama-v0.1-Base

CataLlama-v0.1-Base — базовая авторегрессионная языковая модель, созданная Laurentiu Petrea дообучением Meta Llama 3 8B на корпусе сырых текстов на каталанском языке catallama/Catalan-Raw-Text. Модель содержит 7,5 млрд параметров, использует архитектуру Llama с трансформером и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста на каталанском и экспериментов по адаптации языковых моделей к малоресурсным языкам. Это базовая модель, не настроенная для диалога или конкретных прикладных задач; её можно дообучить для последующего использования. Валидационная потеря после одной эпохи составила 1,4608. Модель распространяется по лицензии Llama 3. В README указаны ограничения лицензии и политики допустимого использования; также автор предупреждает, что модель предназначена для демонстрации методов адаптации, а не для превосходства в бенчмарках.

251апр. 2024ctx8.2K
textllama3hugging-face
iatagun
DizgeBERT-Morph

DizgeBERT-Morph — модель iatagun для морфологической разметки турецкого языка на основе ELECTRA. Для каждого слова в предварительно токенизированном предложении она предсказывает UPOS, XPOS и морфологические признаки Universal Dependencies (FEATS), используя объединение представлений первого и последнего subword, чтобы учитывать турецкие суффиксы. Отдельные выходные головы предсказывают UPOS, XPOS и категории FEATS; схема разметки выбирается для treebank Kenet, BOUN или IMST. Модель обучена на UD_Turkish-Kenet, BOUN и IMST, а также на синтетических минимальных парах для устранения морфологической неоднозначности. В README приведены результаты на отложенных тестовых выборках: F1 для UFeats составляет 92,12–96,60 в зависимости от treebank. Модель создавалась также для передачи морфологической разметки парсеру iatagun/DizgeBERT-Dep. На вход требуется список уже выделенных слов; для сырого текста нужны внешний токенизатор и средство разделения многословных токенов. Модель не учитывает синтаксические связи при разрешении неоднозначности, поэтому для некоторых различий UPOS её возможности ограничены; редкие признаки и лексические варианты могут размечаться хуже. XPOS обучен только для BOUN и IMST. Модель распространяется по лицензии CC BY-SA 4.0.

781сент. 2026ctx512
textcc-by-sa-4.0hugging-face

Задачи профессии

16 задач
89Письменный перевод между языками. — AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. К исходным данным относятся исходный материал, терминологические базы, контекст, ограничения целевого канала и исходный текст или речь. Формат результата: преобразованный материал по задаче «Письменный перевод между языками» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
90Синхронный или последовательный перевод речи. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Рабочие входы: исходный материал, контекст, ограничения целевого канала, исходный текст или речь и терминологические базы. Формат результата: преобразованный материал по задаче «Синхронный или последовательный перевод речи» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
91Локализация текста с учётом культуры, форматов и локальных норм. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, ограничения целевого канала, исходный текст или речь, терминологические базы и контекст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Локализация текста с учётом культуры, форматов и локальных норм», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
92Транскреация, сохраняющая маркетинговое воздействие вместо буквальной формы. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Исходные данные: исходный материал, исходный текст или речь, терминологические базы, контекст и ограничения целевого канала. Формат результата: преобразованный материал по задаче «Транскреация, сохраняющая маркетинговое воздействие вместо буквальной формы» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
93Перевод терминологии с использованием отраслевого глоссария. — AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. К исходным данным относятся исходный материал, терминологические базы, контекст, ограничения целевого канала и исходный текст или речь. Формат результата: преобразованный материал по задаче «Перевод терминологии с использованием отраслевого глоссария» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
94Проверка качества и смысловой эквивалентности перевода. — Для этой задачи система сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Рабочие входы: исходный материал, контекст, ограничения целевого канала, исходный текст или речь и терминологические базы. Формат результата: протокол выполнения «Проверка качества и смысловой эквивалентности перевода» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Критерии приёмки: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
95Выравнивание исходного и переведённого текста по предложениям. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает ограничения целевого канала, исходный текст или речь, терминологические базы и контекст. Формат результата: преобразованный материал по задаче «Выравнивание исходного и переведённого текста по предложениям» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
96Создание и поддержание переводческой памяти. — Механизм: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Исходные данные: исходный материал, исходный текст или речь, терминологические базы, контекст и ограничения целевого канала. Формат результата: редактируемый артефакт по задаче «Создание и поддержание переводческой памяти», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — языковая версия. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
97Автоматическое определение языка и языковой разновидности. — AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. К исходным данным относятся терминологические базы, контекст, ограничения целевого канала и исходный текст или речь. Формат результата: установленное значение или вариант по задаче «Автоматическое определение языка и языковой разновидности» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
98Нормализация диалектов, жаргона и разговорных выражений. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, контекст, ограничения целевого канала, исходный текст или речь и терминологические базы. Формат результата: преобразованный материал по задаче «Нормализация диалектов, жаргона и разговорных выражений» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
99Транслитерация между письменностями. — Практическая реализация: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, ограничения целевого канала, исходный текст или речь, терминологические базы и контекст. Формат результата: преобразованный материал по задаче «Транслитерация между письменностями» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
100Романизация и обратное восстановление оригинального написания. — Механизм: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Исходные данные: исходный материал, исходный текст или речь, терминологические базы, контекст и ограничения целевого канала. Формат результата: преобразованный материал по задаче «Романизация и обратное восстановление оригинального написания» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
101Перефразирование текста для изучающего язык. — AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. К исходным данным относятся терминологические базы, контекст, ограничения целевого канала и исходный текст или речь. Формат результата: преобразованный материал по задаче «Перефразирование текста для изучающего язык» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
102Объяснение грамматики и ошибок с персональными упражнениями. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Рабочие входы: текст и изображения, контекст, ограничения целевого канала, исходный текст или речь и терминологические базы. Формат результата: объяснимые выводы по задаче «Объяснение грамматики и ошибок с персональными упражнениями» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
103Создание двуязычных субтитров и параллельных текстов. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Входной контекст включает речевая дорожка, ограничения целевого канала, исходный текст или речь, терминологические базы и контекст. Формат результата: редактируемый артефакт по задаче «Создание двуязычных субтитров и параллельных текстов», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — языковая версия. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности.
104Адаптация длины перевода под интерфейс, субтитры или озвучку. — Механизм: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Исходные данные: исходный материал, исходный текст или речь, терминологические базы, контекст и ограничения целевого канала. Формат результата: адаптированный вариант для «Адаптация длины перевода под интерфейс, субтитры или озвучку» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; обратной сверкой смысла, терминологии, фактов, чисел и культурной уместности. <a id="section-i-7"></a>

0 моделей