I.11Классификация, ранжирование и сопоставление

premsa/political-bias-prediction-allsides-mBERT — модель классификации текста на базе BERT, обученная для предсказания политической предвзятости по материалам AllSides. Она предназначена для автоматической оценки политических формулировок и анализа новостных текстов. В README приведён пример классификации немецкого предложения и описано обучение с проверкой на валидационной выборке; лучший результат на тестовой выборке составил F1 0,8842. Модель содержит 194,6 млн параметров, принимает текст длиной до 512 токенов и доступна в формате safetensors. Обучение проводилось в течение пяти эпох с выбором чекпойнта по валидационной потере; в README указано, что наилучшая потеря была у второй эпохи. Лицензия — Apache-2.0. README не уточняет набор меток, используемое семейство mBERT или языковой охват, поэтому пример на немецком сам по себе не подтверждает поддержку других языков.

Political_DEBATE_DeBERTa_base_v1.1 — модель для классификации политических текстов, опубликованная пользователем mlburnham, связанным с Mike Burnham. Она входит в коллекцию Political DEBATE, описанную как набор zero-shot-классификаторов для политических текстов. Модель построена на архитектуре DeBERTa-v2 и предназначена для задач text classification; её размер составляет около 0,2 млрд параметров. На странице модели указаны интеграция с Transformers и формат Safetensors. Коллекция и сопутствующие материалы связывают семейство Political DEBATE с классификацией политических тем и других характеристик политических текстов, однако точные поддерживаемые языки, размер контекста, данные обучения, метрики, ограничения и конкретные выходные классы для версии v1.1 не описаны. Сильной стороной является специализация на политическом тексте и возможность применения в стандартном конвейере классификации Transformers. Из-за неполноты карточки нельзя надёжно оценить качество, устойчивость к смещениям или пригодность для конкретных доменов. Лицензия для этой версии в доступных материалах не указана.

RampPublic разработала PorTAL cross-family refit — артефакт, который генерирует LoRA-адаптеры ранга 8 для query- и value-проекций слоёв текстового декодера Gemma 3 4B. Модель основана на предварительно обученной google/gemma-3-4b-pt; таблица латентных представлений 14 задач и ядро генерации LoRA перенесены из PorTAL для Qwen3 и заморожены, а для Gemma обучено новое выравнивание. Артефакт предназначен для адаптации базовой модели к задачам выбора ответа из вариантов. В тесте на полном наборе проверки из 14 задач адаптированная Gemma показала macro acc_norm 0,7423 против 0,5924 у замороженной базовой модели; результат относится к указанной методике и не гарантирует качество в других сценариях. Для загрузки и экспорта PEFT-адаптера README использует библиотеку portallib. Лицензия — Apache-2.0.

RoBERTa-tl-sentiment-analysis — модель для классификации тональности текстов на переключаемом тагальском языке (Taglish). Её разработали в рамках проекта ITANONG по созданию языковых моделей для филиппинских языков; модель основана на архитектуре RoBERTa и содержит 136,3 млн параметров. Модель определяет одну из трёх меток: положительную, отрицательную или нейтральную. Она подходит для анализа тональности сообщений и других текстов на тагальском языке с переключением на английский. Максимальная длина контекста — 512 токенов. В обучающем наборе использовано около 8,2 млн примеров из формальных и неформальных источников. В карточке указана лицензия PyTorch как формат, но условия лицензирования не приведены. Модель ориентирована на Tagalog и Taglish; качество на других языках и жанрах текста не подтверждено.

Модель ro-political-fake-news-v2 разработана Manuel Raileanu и представляет собой румынскую BERT-модель, дообученную для оценки достоверности утверждений в тексте. Она выдаёт одно регрессионное значение по шкале 0–100: низкие значения соответствуют проверяемым фактическим утверждениям, около 50 — сомнительным заявлениям и преувеличениям, высокие — дезинформации и теориям заговора. Для бинарной разметки автор предлагает использовать порог 50. Модель предназначена для анализа румынских политических публикаций и других текстов на предмет дезинформации. Она основана на dumitrescustefan/bert-base-romanian-cased-v1, содержит 151,6 млн параметров и принимает текст с контекстом до 512 токенов. В обучении использованы размеченные данные из нескольких румынских новостных и социальных корпусов; часть меток получена с помощью gemma2:9b. Модель не определяет, написан ли текст человеком или ИИ. В тестировании автор сообщает MAE 9,34 и точность бинарной классификации 0,833 при пороге 50. Регрессионное значение может немного выходить за пределы шкалы 0–100, поэтому при необходимости его следует ограничивать. Модель распространяется по лицензии Apache-2.0.

ruBert-base — предварительно обученная русскоязычная модель семейства BERT, разработанная командой SberDevices. Это энкодер для заполнения маскированных токенов в тексте: модель предсказывает подходящее слово или фрагмент вместо специальной маски. Она использует токенизатор BPE и архитектуру BertForMaskedLM, содержит 205,5 млн параметров и принимает контекст длиной до 512 токенов. В карточке также указаны обучающие данные объёмом 30 ГБ. Модель подходит для восстановления пропусков в русском тексте и как основа для задач понимания языка, требующих адаптации под конкретный сценарий. Она принимает и выдаёт текст. Модель распространяется по лицензии Apache-2.0. Карточка не описывает отдельные ограничения качества или целевые прикладные области.

Batuhanbey tarafından geliştirilen, XLM-RoBERTa tabanlı ve yaklaşık 305 milyon parametreli metin sınıflandırma modelidir. Model, Rusya-Ukrayna savaşıyla ilgili Twitter/X paylaşımlarını beş sınıfa ayırmak üzere ince ayarlandı: mutlu, üzgün, kızgın, şaşkın ve nötr. Bağlam uzunluğu 514 токенов, модель принимает текст и выдаёт метку класса с оценкой уверенности. Карточка указывает, что модель создана в рамках академического проекта TÜBİTAK; базовая архитектура — xlm-roberta-base. Метаданные отмечают турецкий язык, а описание задачи в README приведено на турецком языке. Модель подходит для анализа тональности публикаций о войне и агрегирования общественных реакций. Результаты являются автоматической классификацией и не предназначены для политических, юридических или официальных оценок. Лицензия в предоставленных данных не указана.

SBERT Legal Paragraph Retrieval — англоязычный энкодер предложений, разработанный для поиска релевантных абзацев в корпусе судебных решений Индии. Модель создана дообучением sentence-transformers/all-MiniLM-L6-v2 и использует архитектуру Sentence Transformer с энкодером BERT, усреднением токенов и нормализацией векторов. Она преобразует запросы и абзацы в векторы размерности 384; косинусное сходство отражает юридическую релевантность. Максимальная длина последовательности в карточке README — 256 токенов; метаданные указывают контекст 512 токенов. Модель предназначена для первого этапа поиска по судебной практике: она сопоставляет естественно-языковой запрос юриста с оригинальными абзацами решений и соответствующими краткими резюме. Обучение на 90 142 парах из 693 индийских судебных решений включало запросы разного стиля и примеры как с оригинальным текстом, так и с LLM-резюме. На отложенной выборке точность cosine_accuracy@1 составила 0,5051, @3 — 0,7408, @5 — 0,8375. Модель рассчитана на английский язык и индийские судебные решения. Она не предназначена для генерации юридических советов, прогнозирования исхода дела или самостоятельного принятия решений; качество зависит от разбиения документов на абзацы. Тексты длиннее 256 токенов обрезаются, а модель не проверена на других юрисдикциях, законах, договорах и текстах общего назначения. README также сообщает о некотором преимуществе при поиске по LLM-резюме перед оригинальным текстом. Лицензия — Apache 2.0.

sbert-obe-csematch — специализированная модель Sentence-BERT от OBE AI System для сопоставления экзаменационных вопросов с результатами обучения курсов (Course Outcomes, CO) по компьютерным наукам и инженерии. Модель дообучена методом continual learning на данных Outcome-Based Education и предназначена для поиска наиболее подходящего CO среди результатов конкретного курса. Это bi-encoder на базе sentence-transformers/all-MiniLM-L6-v2: BERT из 6 слоёв с 12 головами, mean pooling и L2-нормализацией. Она кодирует предложения в плотные векторы размерности 384; заявленная длина контекста — 512 токенов. В README приведены результаты оценки на выборке из 500 вопросов: точность top-1 82,4% и top-3 95,4%; эти показатели относятся к описанному набору курсов и протоколу проверки. Модель подходит для автоматической привязки экзаменационных вопросов к CO и поиска семантически близких описаний результатов обучения в CSE-курсах. Она принимает текст и выдаёт векторы для сравнения по сходству, поэтому её качество за пределами указанного образовательного домена не подтверждено. Лицензия — Apache-2.0.

SecureModernBERT-NER — англоязычная модель распознавания именованных сущностей в текстах киберугроз, разработанная автором репозитория на базе answerdotai/ModernBERT-large. Это плотный энкодер ModernBERT с 394,7 млн параметров, дообученный для токенной классификации 22 типов сущностей CTI: от групп угроз, вредоносных программ и CVE до IP-адресов, доменов, URL, хешей и ключей реестра. Модель рассчитана на разметку отчетов об угрозах, извлечение индикаторов компрометации, обогащение баз знаний и подготовку данных для систем поиска с дополненной генерацией. Поддерживает контекст до 8192 токенов; при обучении использовалась максимальная длина последовательности 128 токенов. Обучение проводилось на англоязычных источниках с более чем 502 тысячами размеченных текстовых фрагментов. Валидационный micro-F1 на уровне сущностей составляет 0,8476. Модель возвращает метки и границы сущностей, но не нормализует их, не расшифровывает обфускацию вроде hxxp и не проверяет подлинность индикаторов. Возможны ошибки на редких типах сущностей и неоднозначных либо зашумленных текстах, поэтому результаты стоит проверять и дополнять последующей валидацией. Лицензия — MIT.

tax-retriever-bge-small — модель для создания текстовых эмбеддингов и семантического поиска, разработанная на базе BAAI/bge-small-en-v1.5 и дообученная для поиска положений индийского подоходного налога. Она предназначена для извлечения релевантных разделов Income-Tax Act 2025 и профессиональных налоговых руководств в системах ответов на вопросы с поиском по документам (RAG). Модель использует архитектуру BERT-small с mean pooling и выдаёт эмбеддинги размерности 512; длина последовательности в README указана как 256 токенов, а метаданные каталога задают нативный контекст 512 токенов. В обучающий корпус вошли 629 разделов закона и 147 профессиональных налоговых руководств; пары для обучения связывали заголовки разделов с их текстом. В пилотной проверке на 20 пользовательских вопросах top-1 попадание составило 0,85, но разница с базовой моделью не была статистически значимой. Точный поиск по обучающему корпусу показал высокие результаты, однако перенос на другие корпуса не оценивался. Модель ориентирована на английский текст; README предупреждает, что английский токенизатор также кодирует запросы на хинди. Лицензия — Apache-2.0.

Tibetan BERT — модель на архитектуре BERT, разработанная UTibetNLP для работы с тибетским языком. Она подходит для использования в качестве языковой основы в задачах обработки тибетского текста; README также сообщает об открытом обучающем корпусе. Модель содержит 138 млн параметров, принимает последовательности длиной до 512 токенов и опубликована в формате PyTorch. Модель распространяется по лицензии Apache-2.0. Карточка не описывает конкретные обученные задачи или результаты, поэтому её пригодность для отдельных сценариев зависит от дообучения или настройки под задачу.

cardiffnlp/twitter-roberta-base-irony — модель Cardiff NLP для распознавания иронии в сообщениях Twitter. Это RoBERTa-base с 151,8 млн параметров, предварительно обученная на примерно 58 млн твитов и дообученная для классификации иронии на бенчмарке TweetEval. Модель принимает текст и предсказывает метки «ирония» или «не ирония» с оценками уверенности; поддерживается контекст до 514 токенов. Модель подходит для анализа тональности и стилистических особенностей англоязычных твитов, а также для исследовательских экспериментов с классификацией коротких сообщений. Доступны версии весов для PyTorch, TensorFlow и Flax, а интеграция с библиотекой TweetNLP упрощает использование. Карточка не сообщает лицензию, поэтому условия распространения и коммерческого использования следует проверять в репозитории модели.

Mert Şengil разработал эту модель на основе турецкоязычной BERT-модели ytu-ce-cosmos/turkish-base-bert-uncased и дообучил её для трёхклассовой классификации предложений на турецком языке. Модель определяет, содержит ли предложение противоречащие друг другу эмоциональные оценки (Dissonance), взаимно согласующиеся оценки (Consonance) или не относится ни к одному из этих типов (Neither). Она принимает текст и возвращает метку класса с оценкой уверенности. Модель имеет архитектуру BertForSequenceClassification, содержит 137,8 млн параметров и поддерживает контекст длиной до 512 токенов. В README заявлены accuracy 97,5% и macro-F1 97,49% на тестовом наборе из 4 671 примера. Она подходит для анализа тональности и выявления смыслового конфликта оценок в турецких предложениях. Лицензия в доступных данных не приведена.

AIGC Detector (MPU), версия Env1, — классификатор текста, разработанный Юйчуанем Тянем и соавторами для работы «Multiscale Positive-Unlabeled Detection of AI-Generated Texts». Модель определяет, был ли текст сгенерирован искусственным интеллектом; версия Env1 обучена на англоязычном наборе HC3-English с применением метода Multiscale Positive-Unlabeled на базе предварительно обученной RoBERTa-Base. Это модель RoBERTa для классификации последовательностей с 151,8 млн параметров и контекстом до 514 токенов. Она принимает текст и выдаёт классификационные метки. Репозиторий содержит веса PyTorch; модель распространяется по лицензии Apache-2.0.

philipp-zettl/all-MiniLM-L6-v2-mtg-v2 — дообученная модель Sentence Transformers на базе sentence-transformers/all-MiniLM-L6-v2. Энкодер на архитектуре BERT преобразует текст в нормализованные плотные векторы размерности 384; для сравнения используется косинусное сходство. Контекст модели — до 512 токенов по метаданным, а карточка указывает максимальную длину последовательности 256 токенов. Модель обучена на 2 132 917 парах текстов с MultipleNegativesRankingLoss и предназначена для поиска и сопоставления запросов с документами, в частности для текстов о картах Magic: The Gathering. Её можно применять для семантического поиска, извлечения релевантных описаний и ранжирования по сходству. Прикладной язык и домен обучения — англоязычные карточки Magic: The Gathering; качество на других языках и темах карточка не характеризует. Лицензия в предоставленных данных не указана.

AudioJev — модель для принятия решений по аудио, созданная разработчиком shlv на базе Qwen/Qwen2.5-Omni-3B. Она принимает аудиозапись, вопрос на естественном языке и список вариантов ответа, а затем возвращает нормированное распределение вероятностей по этим вариантам, используя метки их позиций. Модель предназначена для классификации и ответов на вопросы по аудио с заранее заданным набором кандидатов. Это дообученная плотная мультимодальная модель семейства Qwen2.5-Omni; обучались аудиоэнкодер и путь принятия решений языковой модели, без LoRA-адаптера. В репозитории находятся веса полного Thinker-чекпойнта и файлы процессора и токенизатора; визуальная ветвь не обучалась, генерация аудио отключена. README приводит результаты на MMAU, MMAR и подмножестве MMSU, но отмечает пересечение части скрытых вопросов MMAU с данными разработки. AudioJev работает только с закрытым набором вариантов: ответ ограничен кандидатами, переданными пользователем, поэтому для ситуации «ни один вариант не подходит» нужно явно добавить вариант отказа. Перестановочная устойчивость была целью обучения, но порядок кандидатов всё ещё может менять предсказание, а вероятности не следует считать калиброванными оценками фактической точности. Открытая генерация, распознавание зрения, генерация речи и работа в режиме живого диалога этой версией не подтверждены. Лицензия указана как other; конкретные условия следует сверять с файлами лицензии репозитория.

gchhablani/bert-base-cased-finetuned-cola — модель на архитектуре BERT для классификации английских предложений. Её дообучили на наборе GLUE CoLA, чтобы определять грамматическую приемлемость предложения. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и доступна в формате PyTorch. В карточке приведён результат оценки на тестовой выборке CoLA: Matthews Correlation 0,5957 и loss 0,6747. Модель подходит для оценки приемлемости английских предложений и экспериментов со сравнением BERT и Google FNet. Распространяется по лицензии Apache-2.0.

Модель hw2942/bert-base-chinese-finetuning-financial-news-sentiment-v2 — китайская модель классификации тональности финансовых новостей на основе BERT, разработанная автором репозитория. Она дообучена на bert-base-chinese с использованием данных hw2942/financial-news-sentiment: 2000 примеров для обучения и 329 для проверки. Модель содержит 129,5 млн параметров, использует архитектуру BertForSequenceClassification и принимает текстовые последовательности длиной до 512 токенов. Модель предназначена для определения тональности финансовых новостей на китайском языке и может применяться для автоматической разметки новостных потоков и анализа финансовых публикаций. Доступны веса PyTorch. Сведения о лицензии и ограничениях применения в предоставленных источниках отсутствуют.

Модель textattack/bert-base-uncased-RTE — версия BERT-base-uncased, дообученная командой TextAttack для классификации текстовых последовательностей на задаче распознавания текстового следствия (RTE) из набора GLUE. Она принимает текстовые последовательности и относит их к классам задачи; подходит для определения, следует ли гипотеза из посылки. Модель имеет архитектуру BERT для классификации последовательностей и содержит 136,7 млн параметров. В карточке указаны максимальная длина последовательности 128 токенов при обучении и точность 0,726 на проверочной выборке; метаданные указывают нативный контекст до 512 токенов. Доступны веса PyTorch и Flax. Модель предназначена для английского языка, что следует из базовой версии bert-base-uncased и англоязычной задачи GLUE RTE. Лицензия в предоставленных источниках не указана. Результат на RTE ограничивает её применимость к другим задачам без дополнительной настройки.

bert-desinform-bg — модель классификации текстов, разработанная Ивой Мариновой и распространённая Институтом больших данных для умного общества GATE в Болгарии. Она дообучена на основе usmiva/bert-web-bg на наборе данных GATE для выявления дезинформации в сообщениях социальных сетей. Модель построена на архитектуре BERT и содержит 136,3 млн параметров; принимает текст на болгарском языке, а длина контекста составляет до 512 токенов. Модель предназначена для классификации сообщений в социальных сетях по признакам дезинформации и может использоваться в исследовательских и прикладных системах мониторинга контента. Карточка не приводит метрик качества, описания классов, подробностей обучающего набора или оценки смещений, поэтому результаты следует проверять на целевых данных. Лицензия в метаданных указана как CC BY 2.0.

TurkuNLP/bert-large-finnish-cased-toxicity — модель TurkuNLP для многометочной классификации токсичности финскоязычных текстов. Она дообучена на bert-base-finnish-cased-v1 с использованием набора данных jigsaw_toxicity_pred_fi и предсказывает вероятности шести меток токсичности. Модель построена на архитектуре BERT с классификационной головой BertForSequenceClassification, содержит 454 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для выявления токсичных высказываний и анализа пользовательского контента на финском языке. README показывает пример использования через Transformers pipeline с функцией sigmoid для получения вероятностей меток. Доступный формат — PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

Bert-MLM_arXiv-MP-class_arXiv — модель Sentence Transformers на архитектуре BERT, разработанная для вычисления семантического сходства коротких математических текстов. Она кодирует предложение или короткий абзац в плотный вектор размерности 768, который можно использовать для поиска похожих материалов, кластеризации и сравнения текстов. Модель создана как дополнительный ресурс к работе «On modelling similarity of short mathematical texts» для CICM'24. В основе лежит доменно-адаптированная math-similarity/Bert-MLM_arXiv с mean pooling и последующим дообучением на cosine similarity. Для обучения использовались пары заголовков и аннотаций arXiv: тексты считались похожими, если имели общий классификационный код. Метаданные указывают 136,7 млн параметров и контекст до 512 токенов; README сообщает, что по умолчанию входы длиннее 256 word pieces обрезаются. Модель принимает математический текст и выдаёт эмбеддинги; указаний на поддержку конкретного естественного языка нет. Лицензия в предоставленных данных не указана. Модель рассчитана на короткие математические тексты и может хуже подходить для общих текстов или задач, отличающихся от поиска семантического сходства; обучающий набор из карточки не включён в репозиторий.

camembert-chronicle-start-detection-v3 — модель классификации текста на базе архитектуры CamemBERT, обученная с нуля. Она предназначена для обнаружения начала хроники или последовательности событий в тексте. Модель содержит 137,8 млн параметров, принимает текстовые входные данные и выдаёт метку класса; максимальная длина контекста — 514 токенов. В README приведены результаты оценки: accuracy 0,709, F1 0,8297, precision 0,709 и recall 1,0. Датасет неизвестен, поэтому эти оценки не позволяют судить о качестве на других данных. Лицензия в доступных сведениях не указана.

CeLLaTe-ner-2class-reinitllrd-tapt-pubmedbert-tokenizer-adapted-combData-gazetteers-lr3.36e5 — англоязычная модель токенной классификации на архитектуре BERT, разработанная Mardiyyah. Она дообучена на наборе OTAR3088/CeLLaTe-ner-2class-iob_final поверх Mardiyyah/CeLLaTe-tapt-pubmedbert-tokenizer-adapted-wwmask-combinedData и предназначена для разметки токенов в текстах. В оценке на тестовом наборе указаны micro F1 0,7713 и accuracy 0,9840. Модель содержит 138,2 млн параметров, принимает последовательности до 512 токенов и работает через Transformers; веса доступны в формате safetensors. Лицензия — Apache-2.0. Карточка не уточняет классы меток и ограничения применимости.

Карточка модели manelalab/chrono-bert-v1-19991231 на Hugging Face совпадает с карточкой manelalab/chrono-bert-v1-20041231, поэтому описание составлено по ней. ChronoBERT v1 20041231 — англоязычная модель Songrun He, Linying Lv, Asaf Manela и Jimmy Wu для анализа текста с учётом хронологии. Она основана на двунаправленной архитектуре ModernBERT, содержит 149 млн параметров и принимает контекст до 8192 токенов. Модель обучена на датированных текстовых данных, чтобы снизить риск утечки будущей информации и смещения заглядывания вперёд при историческом анализе. Модель предназначена для предсказания замаскированных токенов и получения представлений текста, а также для задач понимания языка и анализа исторических и финансовых текстов. Семейство ChronoBERT оценивалось на GLUE и на прогнозировании доходности акций; приведённые результаты относятся к указанным в карточке версиям, а не обязательно к этой конкретной контрольной точке. Доступны веса в формате safetensors для Transformers. Лицензия — MIT.

DACTYL — классификатор текста, дообученный ShantanuT01 на базе microsoft/deberta-v3-large для обнаружения текста, сгенерированного языковыми моделями. Модель использует архитектуру DeBERTa V2 и обучена на наборе DACTYL-train, включающем генерации с примерами в промпте и тексты моделей, продолживших предобучение на специализированных данных. Размер модели — 533,8 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для выявления машинно-сгенерированных текстов в исследовательских задачах и модерации контента, а также для сравнения детекторов. Метод обучения EXM ориентирован на метрики, учитывающие качество при низкой доле ложных срабатываний; авторы сообщают о более устойчивом переносе на невиданные при обучении модели и домены. Лицензия — MIT. Качество зависит от источника и стиля текста: детектор может хуже работать на генерациях с продолженным предобучением, а порог 0,5 не обеспечивает одинаковый F1 в разных доменах. Для целевого применения рекомендуется калибровать порог на размеченных примерах; результаты могут ухудшаться на новых архитектурах и при сдвиге распределения данных.

Это модель семейства RoBERTa, разработанная MediaBiasGroup и дообученная для классификации предложений по наличию медийной предвзятости. Она предварительно обучалась на слабых метках для обнаружения медийной предвзятости, а затем была дообучена для классификации предложений на датасете BABE в рамках исследования о применении аннотаций LLM при разметке данных. Модель предназначена для анализа англоязычных медиатекстов на уровне предложений и может использоваться для разметки и исследовательского изучения медийной предвзятости. Архитектура — RobertaForSequenceClassification, около 151,8 млн параметров; максимальный контекст составляет 514 токенов. Модель принимает текст и выдаёт метки классификации. Репозиторий содержит веса PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

izumi-lab/deberta-v2-base-japanese — базовая модель DeBERTaV2, разработанная izumi-lab и предварительно обученная на японских текстах для восстановления замаскированных токенов. Она предназначена для masked language modeling и может служить основой для дообучения на задачах понимания японского языка; в README приведены результаты дообучения на наборах JGLUE для сходства предложений, вывода и вопросов на здравый смысл. Модель содержит 137,8 млн параметров, использует плотную архитектуру DeBERTaV2 с головой masked language modeling и SentencePiece-токенизатором с японским словарём. Максимальная длина последовательности при обучении и нативный контекст составляют 512 токенов. Предварительное обучение проводилось на японских частях CC-100, mC4 и OSCAR2301, а также на японской Википедии и Wikinews. Модель принимает текст и предсказывает замаскированные фрагменты. README сообщает сильные результаты после дообучения на нескольких задачах JGLUE, но это не готовая чат-модель и для классификации или вывода её необходимо отдельно дообучать. Распространяется по лицензии CC BY-SA 4.0.

ku-nlp/deberta-v2-base-japanese — базовая японская модель семейства DeBERTa V2, разработанная KU NLP и предварительно обученная на японской Википедии, японской части CC-100 и японской части OSCAR. Она предназначена прежде всего для задачи fill-mask: восстановления скрытых фрагментов в японском тексте, а также может служить основой для дообучения под задачи понимания японского языка. Модель содержит 137,8 млн параметров, использует архитектуру DebertaV2ForMaskedLM и принимает последовательности длиной до 512 токенов. Перед токенизацией текст нужно сегментировать с помощью Juman++; далее слова разбиваются на подслова SentencePiece. В обучающих данных Википедия была продублирована десять раз, а в части OSCAR отфильтровали документы с пометками header, footer и noisy. Модель рассчитана на японский язык. Для прикладных задач классификации, семантического сходства, распознавания следствий и ответов на вопросы её можно дообучить; приведённые в карточке результаты относятся к отдельным моделям, дообученным и оценённым на JGLUE, а не к этому базовому чекпойнту. Лицензия — CC BY-SA 4.0.