I.11Классификация, ранжирование и сопоставление

MahmoodAnaam/flaird-modernbert-large-concatenation-multitask — дообученная модель классификации последовательностей на архитектуре Flaird, опубликованная в формате safetensors и предназначенная для задачи text-classification. В README указаны метрики на оценочном наборе: ROC-AUC 1,0, F1 0,996, C@1 0,992 и среднее значение 0,996. Описание назначения, обучающих данных и ограничений в карточке отсутствует. Базовая модель названа неопределённо, поэтому определить конкретное семейство ModernBERT или сценарий классификации по доступным сведениям нельзя. Лицензия и условия использования не приведены.

KomdigiITS-3B-PADClassification-Merged — мультимодальная модель семейства Mistral3, разработанная aitf-komdigi для классификации категорий возрастного рейтинга контента в социальных сетях. Она принимает текст и изображения с текстовыми запросами и выдаёт текстовый ответ с категорией: 7+, 13+, 15+, 18+, «для всех возрастов», «запрещённый контент» или «без рейтинга». Модель дообучена на основе aitf-komdigi/KomdigiITS-3B-PAD-CPT с использованием LoRA (ранг 16, alpha 32); репозиторий содержит объединённую версию весов в формате safetensors. В обучающих данных также заявлены извлечение ключевых слов и мультимодальная классификация возрастного рейтинга. Для обучения использовались 54 003 примера, для проверки — 6 754, для тестирования — 6 749; максимальная длина последовательности указана как 2048 токенов. Карточка указывает индонезийский язык. Модель предназначена для автоматической модерации и предварительной маркировки публикаций по возрастным категориям. Карточка не описывает лицензию и не приводит количественных оценок качества, поэтому условия распространения и точность на новых типах контента следует проверять отдельно.

KUCIBertBaseFinetuned — модель Ariffiq99, дообученная на основе bert-base-uncased для задачи multiple-choice: выбора одного из предложенных вариантов ответа по входному тексту. Она использует архитектуру BERT с 136,7 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены результаты оценки: loss 1,2038 и F1 0,5172; обучающий набор данных не указан. Модель распространяется по лицензии Apache-2.0.

nishp24 дообучил Sentence Transformer на базе sentence-transformers/all-MiniLM-L6-v2 для поиска и сравнения юридических текстов. Энкодер принимает предложения и абзацы, преобразует их в нормализованные плотные векторы размерности 384; сходство можно оценивать по косинусной мере. Архитектура состоит из BERT-энкодера, среднего pooling и нормализации. В метаданных указан контекст до 512 токенов, а в карточке модели — максимальная длина последовательности 256 токенов, поэтому при использовании следует ориентироваться на лимит самой модели в 256 токенов. Обучение проводилось на 1 933 парах предложений, включая фрагменты нормативных документов. Модель подходит для семантического поиска и извлечения релевантных правовых фрагментов. Она рассчитана на текст и унаследовала англоязычную основу; подтверждённой поддержки русского языка карточка не заявляет. Лицензия в предоставленных данных не указана.

Jeevesh8/long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_10 — модель классификации текста, опубликованная пользователем Jeevesh8 на Hugging Face. Она предназначена для задач, поддерживаемых пайплайном text-classification; по идентификатору модели и маркировке QQP можно заключить, что она связана с классификацией пар вопросов в датасете Quora Question Pairs, однако подробное описание назначения в карточке модели отсутствует. Модель основана на BERT-base-uncased и использует Transformers; на странице также указана поддержка JAX. Из идентификатора следует максимальная длина последовательности 128 токенов. BERT-base-uncased является текстовой, англоязычной моделью без учета регистра, но точные архитектурные параметры и набор выходных меток данной версии в доступных материалах не указаны. Сильная сторона модели — готовая адаптация BERT для классификации текста, ограничение — отсутствие model card с описанием качества, метрик, языков, области применимости и известных недостатков. Лицензия для этой конкретной модели на странице не указана.

Jeevesh8/long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_15 — модель текстовой классификации, опубликованная пользователем Jeevesh8 на Hugging Face. Она доступна для использования через Transformers как AutoModelForSequenceClassification и относится к семейству BERT. По идентификатору модель основана на bert-base-uncased, обучена для задачи QQP и рассчитана на последовательности длиной 128 токенов. Она предназначена для классификации текстовых входов, вероятно связанных с определением эквивалентности пар вопросов в наборе Quora Question Pairs, однако точные классы, метрики, языки, размер и детали обучения не указаны. Сильной стороной является совместимость с экосистемой Hugging Face Transformers и готовность к применению в задачах текстовой классификации. Ограничения — отсутствие model card, подробной документации, опубликованных метрик и сведений о поведении вне целевой задачи; модель не развернута через Inference Providers. Лицензия на странице модели не указана.

LUAR-CRUD — модель семейства LUAR для извлечения представлений авторского стиля. Она обучена на подвыборке Pushshift Reddit Dataset: данных комментариев 5 миллионов пользователей за период с января 2015 года по октябрь 2019 года; в выборку включены авторы, опубликовавшие не менее 100 комментариев. Модель предназначена для получения векторных представлений текстов, отражающих особенности авторского стиля, и может использоваться в задачах сравнения или анализа авторства. Модель представлена в форматах PyTorch и Safetensors, использует плотную архитектуру LUAR и доступна по лицензии Apache-2.0. Карточка ссылается на публикацию Learning Universal Authorship Representations, представленную на EMNLP в 2021 году. Данные обучения получены с Reddit, поэтому перенос результатов на другие платформы, жанры и короткие тексты может быть ограничен; README не приводит количественных оценок качества.

MedEmbed Biomedical MRL — англоязычная модель Sentence Transformers на базе BERT, опубликованная пользователем potsu-potsu. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 768, нормализованные для сравнения по косинусному сходству. Модель обучена на 4 012 парах запросов и положительных ответов из биомедицинских текстов; поддерживает укорочение вектора до 512, 256, 128 или 64 измерений благодаря Matryoshka-обучению. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и ранжирования биомедицинских текстов, оценки сходства формулировок, поиска перефразирований, кластеризации и классификации на основе эмбеддингов. В карточке приведены результаты оценки информационного поиска при разных размерностях вектора. Лицензия Apache-2.0. Результаты и обучение описаны для английского языка; качество на других языках не подтверждено.

Inabia-AI/modernBERT-large-claim-agent_v4 — дообученный классификатор на базе двунаправленного энкодера answerdotai/ModernBERT-large. Модель предназначена для классификации текстов; название указывает на сценарий проверки утверждений, однако карточка не описывает конкретные метки или формат входных данных. Модель содержит 394,7 млн параметров, построена на архитектуре ModernBERT и поддерживает контекст до 8192 токенов. В README приведены результаты оценки: accuracy 0,8931, precision 0,8293, recall 0,8 и F1 0,8144. Базовая модель описана как англоязычная; отдельные языковые возможности этой версии не уточнены. Лицензия — Apache-2.0.

codechrl/modernbert-tiny — компактный англоязычный энкодер ModernBERT, разработанный автором репозитория на основе answerdotai/ModernBERT-base с помощью дистилляции в стиле TinyBERT. Модель содержит 21,9 млн параметров, имеет 4 слоя Transformer, размер скрытого состояния 312 и 12 голов внимания; контекст — до 8192 токенов. Она предназначена для заполнения пропусков в тексте и как базовый энкодер для последующего дообучения под прикладные задачи. При дистилляции на корпусе FineWeb-Edu ученик имитировал представления токенов, скрытые состояния слоёв, карты внимания и выходные логиты учителя. По данным карточки, после одинакового дообучения на GLUE модель сохраняет 80,4% качества учителя при размере 15,3% от него. Это делает её подходящей для сценариев с ограничениями на размер и задержку, однако она не является готовым классификатором, а автор характеризует обучение как демонстрационное и рекомендует для производственного применения повторить дистилляцию с большим числом шагов и корпусом. Лицензия — Apache-2.0.

Jeevesh8/more_cpts_corr_init_shuff_clipped_warmed_wd0_pnt_01_seq_len_128_bert-base-uncased_mnli_ft_4 — модель, размещённая пользователем Jeevesh8 на Hugging Face и основанная на BERT base uncased от Google. Это BERT-модель для классификации текста, дообученная на задаче Multi-Genre Natural Language Inference (MNLI); конфигурация содержит три выходных класса с идентификаторами LABEL_0, LABEL_1 и LABEL_2. Архитектура — BertForSequenceClassification: 12 Transformer-слоёв, 12 attention heads, hidden size 768, промежуточный размер 3072 и словарь из 30 522 токенов. Модель использует uncased-токенизацию английского BERT и поддерживает позиции до 512 токенов, хотя название репозитория указывает на экспериментальную длину последовательности 128. Она предназначена для классификации пар или отдельных фрагментов текста, прежде всего для задач, связанных с определением отношения между текстами. Сильная сторона модели — использование проверенной архитектуры BERT и специализированного дообучения на MNLI. Ограничения включают англоязычность, чувствительность к максимальной длине входа и отсутствие опубликованной model card, описания метрик, точных семантических значений выходных меток и рекомендаций по применению. Для производного репозитория отдельная лицензия не указана; базовая модель bert-base-uncased распространяется по Apache-2.0, но условия именно этого производного набора файлов следует проверять отдельно.

facebook/muppet-roberta-base — англоязычная модель RoBERTa base, дообученная в режиме massive multi-task pre-finetuning. Она предназначена прежде всего для последующей настройки под задачи понимания текста; доступный чекпойнт также решает задачу заполнения масок. Модель использует плотную архитектуру RobertaForMaskedLM, содержит 151,8 млн параметров и рассчитана на контекст до 514 токенов. README сообщает об улучшении результатов относительно roberta-base на ряде задач GLUE и вопросно-ответных задач, особенно на небольших наборах данных. Классификационные и MRC-головы, использовавшиеся при предварительной настройке, в этом чекпойнте отсутствуют, поэтому результаты могут быть ниже опубликованных в статье. Модель не предназначена для авторегрессионной генерации текста. Веса доступны в формате PyTorch по лицензии MIT. Основной язык модели — английский; в метаданных указаны BookCorpus и Wikipedia как обучающие данные.

MyAwesomeModel — модель на базе архитектуры BERT, доступная через библиотеку Transformers и предназначенная для извлечения признаков из входных данных. В метаданных Hugging Face для неё указан pipeline-тег feature-extraction, поэтому модель может использоваться для получения векторных представлений текста в прикладных системах машинного обучения. Модель опубликована в репозитории dfsfsdg5657/MyAwesomeModel-TestRepo. README также заявляет о возможностях рассуждения, генерации кода, ответов на вопросы, классификации и диалогов, однако эти сведения не согласуются с указанным pipeline-тегом feature-extraction и не содержат проверяемых технических характеристик модели. Размер, поддерживаемые естественные языки и длина контекста не указаны. Лицензия модели — MIT.

MyAwesomeModel — модель на базе BERT, опубликованная для использования с библиотекой Transformers и PyTorch. В метаданных Hugging Face она классифицирована для задачи извлечения признаков. README описывает обновлённую версию как модель с улучшенными возможностями рассуждения, логического вывода, генерации кода, суммаризации, диалога, классификации и ответов на вопросы, однако эти сценарии не подтверждены отдельными pipeline-тегами или техническими характеристиками конфигурации. Модель распространяется по лицензии MIT. README также заявляет о снижении частоты галлюцинаций, поддержке системных промптов и function calling, а для работы рекомендует температуру 0,6. Конкретные сведения о размере модели, длине контекста, поддерживаемых естественных языках и точной конфигурации отсутствуют в предоставленных данных.

NeoBERTugues — португалоязычный энкодер ModernBERT, дообученный автором на основе jhu-clsp/mmBERT-base. Для модели создан оптимизированный для португальского токенизатор: сохранены эмбеддинги общих токенов базовой модели, а новые токены инициализированы по статистике её весов. Модель содержит 134,9 млн параметров, имеет 22 слоя, скрытый размер 768, 12 голов внимания, словарь из 32 000 токенов и контекст до 8 192 токенов. Основное назначение — предсказание замаскированных слов в португальском тексте. Энкодер также можно использовать как основу для дообучения классификаторов и извлечения признаков, например для анализа тональности, определения парафразов и распознавания текстового следования. В README приведены ограниченные результаты пробной оценки на португалоязычных наборах данных; авторы отмечают, что масштабных бенчмарков не проводили и не заявляют о превосходстве над другими моделями. Модель принимает текст и выдаёт оценки кандидатов для заполнения маски. Опубликована в формате Safetensors и распространяется по лицензии Apache-2.0.

jgalego/notam-subject-qwen3.5-0.8b — компактная текстовая модель на базе Qwen/Qwen3.5-0.8B, дообученная разработчиком с помощью LoRA на данных DEEL-AI/NOTAM и сохранённая после объединения адаптера с базовой моделью. Она определяет основную тему английского NOTAM и относит сообщение к одному из 13 классов: например, взлётно-посадочная полоса, рулёжная дорожка, воздушное пространство, GPS, навигационные средства, препятствия или дикая природа. Модель предназначена для предварительной сортировки и категоризации стандартных англоязычных авиационных извещений NOTAM. На тестовой выборке из 3252 извещений с шаблонами, отсутствовавшими в обучении, автор сообщает точность 0,948 и Macro-F1 0,942. Архитектура — плотная авторегрессионная Qwen3.5; размер — 581,4 млн параметров, формат весов — safetensors, заявленный контекст — 262144 токена. Лицензия — Apache-2.0. Модель обучена на 13 фиксированных категориях: сообщения о других темах она принудительно относит к ближайшему классу. Она рассчитана только на английский текст в стиле ICAO и не сертифицирована и не проверена для планирования полётов, диспетчерской работы или брифингов экипажа; исходный NOTAM необходимо проверять самостоятельно.

OSINT Stylometry & Author Attribution Model — дообученный энкодер Sentence-BERT с сиамской архитектурой, предназначенный для сравнения авторского стиля текстов. Он преобразует посты, комментарии и сообщения в эмбеддинги, которые можно сравнивать по косинусной близости для поиска текстов, вероятно написанных одним автором, или выявления смены стиля. Модель разработана для OSINT, киберразведки и форензики; в карточке указаны 25,9 млн параметров, архитектура BERT и контекст до 512 токенов. Доступны форматы Safetensors и ONNX, лицензия MIT. Модель ориентирована на русскоязычные тексты с английским сленгом и учитывает такие стилистические признаки, как пунктуация, опечатки, сленг, эмодзи, смешение языков и длина предложений. Эмбеддинги подходят для поиска сходства между текстами и построения стилистических профилей. Карточка сообщает, что обучение преимущественно проводилось на синтетических данных. Короткие сообщения могут не содержать достаточного стилистического сигнала; результаты вероятностны и не заменяют профессиональную или юридическую экспертизу.

Patana Chilean Spanish BERT — модель BERT для испанского языка Чили, обученная Хорхе Ортисом Фуэнтесом на корпусе Chilean Spanish Corpus. Она дообучена на основе dccuchile/bert-base-spanish-wwm-cased и предназначена для предсказания замаскированных токенов, а также для адаптации к задачам классификации текста и токенов на чилийском испанском. Корпус включает чилийские новости, веб-тексты, жалобы и твиты; автор сообщает о сравнительно высоких результатах модели на задачах для чилийского испанского. Это BERT с 137,1 млн параметров и контекстом до 512 токенов. Модель принимает и выдаёт текст на испанском языке. Лицензия указана как CC BY 4.0, однако автор предупреждает, что совместимость лицензий всех обучающих данных, особенно для коммерческого использования, не подтверждена. Данные не проходили цензуру, поэтому модель может воспроизводить нежелательные идеологические представления.

Political DEBATE large — модель классификации текстов на основе DeBERTa-v2, разработанная Майклом Бернхэмом и соавторами. Она дообучена на наборе PolNLI для классификации политических документов в режиме zero-shot и few-shot: определения позиции автора, выявления языка ненависти, извлечения событий и тематической классификации. Модель сопоставляет текст с короткой гипотезой, заданной пользователем, и оценивает, следует ли эта гипотеза из текста. Модель содержит 533,8 млн параметров, принимает текстовые входы, поддерживает английский язык и имеет контекст до 512 токенов. Данные обучения включают публикации в соцсетях, новости, законопроекты Конгресса и краткие описания судебных дел. Для few-shot настройки README рекомендует использовать не менее 10 примеров, предпочтительно около 25, и небольшие пакеты по 1–2 примера. Модель предназначена для анализа политических текстов из разных источников; качество зависит от формулировки гипотезы и близости задачи к обучающим данным. Для supervised-классификации по задачам, явно представленным в обучении, авторы рекомендуют базовую модель. Лицензия — MIT.

PorTAL refit for Mistral 7B v0.3 — это артефакт RampPublic, адаптирующий базовую модель mistralai/Mistral-7B-v0.3 с помощью обученного выравнивания и генерируемых rank-8 LoRA-факторов для q/v-проекций в 32 слоях декодера. Таблица латентных представлений для 14 задач и ядро генерации LoRA были совместно обучены на Qwen3-1.7B и Qwen3-4B, затем заморожены; при адаптации к Mistral обучалось только выравнивание. Модель предназначена для задач выбора варианта ответа и оценки продолжений по log-probability. В описанной проверке на наборе из 14 задач адаптированный вариант показал macro acc_norm 0,7914 против 0,6127 у замороженной базовой модели; результат относится только к указанной процедуре оценки и не гарантирует качество на других данных. Использование предполагает библиотеку portallib. Лицензия — Apache-2.0.

PubMedNCL — англоязычная модель для получения векторных представлений научных биомедицинских публикаций. Она разработана на основе PubMedBERT, обученного на аннотациях и полных текстах из PubMed Central, и дообучена методом контрастивного обучения на соседствах цитирования, предложенным в SciNCL. Модель использует архитектуру BERT и содержит 136,7 млн параметров; максимальная длина контекста составляет 512 токенов. Модель предназначена для извлечения признаков из текстов биомедицинских статей, например для поиска и сравнения публикаций по их содержанию. Она принимает текст и выдаёт векторные представления. Данные указывают на специализацию в биомедицинской научной литературе на английском языке; другие языки не заявлены. Модель распространяется по лицензии MIT.

QulBERT — модель sentence-transformers, разработанная Ferdaws Rashid для представления арабских предложений и абзацев в виде плотных векторов размерности 768. Она дообучена на базе CAMeL-Lab/bert-base-arabic-camelbert-ca и ориентирована на семантическое сравнение текстов о хадисах, поиск по смыслу и кластеризацию. Модель построена на архитектуре BERT, содержит 136,3 млн параметров, принимает текст, поддерживает арабский язык и обрабатывает контекст длиной до 512 токенов. Векторы подходят для поиска семантически близких фрагментов и группировки текстов; для работы можно использовать Sentence-Transformers либо Transformers с соответствующей операцией pooling. Модель распространяется по лицензии Apache-2.0.

Модель bendavidsteel/Qwen3.5-4B-stance-detection — дообученная на основе Qwen/Qwen3.5-4B модель классификации позиции автора относительно заданной темы. Она определяет один из трёх классов: в поддержку, против или нейтрально. Модель использует архитектуру Qwen3_5ForSequenceClassification с 3,4 млрд параметров по метаданным и классификационной головой; для работы вход следует подавать в формате чат-шаблона с generation prompt, соответствующем обучению. Модель предназначена для анализа позиции в отдельных документах и сообщениях в цепочках ответов. Её обучали на объединённых наборах данных по разным темам, включая политические дискуссии. На отложенной выборке из 16 972 примеров указаны accuracy 0,7403 и macro F1 0,7399. Основной язык — английский; также представлены ограниченные данные на каталонском, испанском, французском и итальянском. Лицензия — Apache-2.0. Хотя базовая модель поддерживает контекст до 262 144 токенов, эту модель обучали и оценивали с усечением входов свыше 2 048 токенов. Она выдаёт только три заданные метки; ирония и отсылки к внутригрупповому контексту затрудняют классификацию, а качество на неанглийских языках и темах вне обучающих доменов может быть ниже.

Qwen3-VL-Embedding-2B-ko-vdr-distill — корейская мультимодальная bi-encoder-модель для поиска документов по изображениям страниц. Она основана на whybe-choi/Qwen3-VL-Embedding-2B-ko-vdr-preview-v0.2 и дополнительно обучена методом listwise KL-дистилляции по оценкам Qwen3-VL-Reranker-8B. Модель преобразует текстовый запрос и изображение страницы документа в эмбеддинги размерности 2048, которые можно сравнивать по косинусному сходству. Модель предназначена для визуального поиска корейских документов и улучшения порядка результатов при ранжировании. В оценке на KoViDoRe-v2 в домене кибербезопасности она повысила MRR@10 с 0,8319 до 0,8775 и NDCG@10 с 0,7629 до 0,7718 относительно базовой версии; Recall@100 практически не изменился. Рекомендуются около 1800 визуальных токенов и отдельные промпты для запросов и документов. Это экспериментальная версия: проверка пока ограничена одним доменом, а обучение дистилляции проводилось примерно на 980 визуальных токенах с общим промптом. Данные обучения включали корейские документы государственного сектора. Модель распространяется по лицензии Apache-2.0.

RaDeR Qwen2.5-7B NuminaMath MATH allquerytypes — модель для извлечения признаков и dense retrieval, разработанная CIIR при UMass Amherst. Её дообучили на Qwen/Qwen2.5-7B-Instruct на данных NuminaMath и MATH, охватывающих разные типы поисковых запросов по математическим задачам. Модель предназначена для построения векторного поиска и ранжирования документов по релевантности, особенно в задачах, требующих математических рассуждений. Она принимает текст и выдаёт признаки для поиска; карточка сообщает, что модели RaDeR показывают обобщение на наборы BRIGHT и RAR-b, но не приводит отдельную оценку этого чекпойнта. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Указан английский язык. Лицензия — MIT. Для запуска карточка рекомендует vLLM с задачей embed и нормализацией выходных векторов.

kalpeshk2011/rankgen-t5-base-all — англоязычная модель-энкодер из семейства RankGen на архитектуре T5. Она преобразует текстовые префиксы и варианты продолжения, созданные языковой моделью, в векторы общего пространства. В этой версии 123,8 млн параметров; модель распространяется в формате PyTorch по лицензии Apache-2.0. Модель предназначена для ранжирования нескольких сгенерированных продолжений, оценки текста при поиске по лучу и плотного поиска по литературным текстам. В карточке RankGen заявлено улучшение качества генерации при переранжировании и высокие результаты на литературном поиске. Для корректной токенизации и предварительной обработки README рекомендует обёртку RankGenEncoder. Модель работает с английским текстом и выдаёт векторные представления для последующего сравнения и ранжирования. Она не является самостоятельной генеративной моделью: для переранжирования ей нужны кандидаты, подготовленные другой языковой моделью. Заявленные результаты относятся к оценкам в карточке RankGen; независимые гарантии качества для этой конкретной версии не приведены.

RigoBERTa 2.0 — испаноязычная языковая модель-энкодер, разработанная IIC. Она получена дальнейшим языково-адаптивным предобучением FacebookAI/xlm-roberta-large на отобранном испанском корпусе с помощью masked language modeling. Модель содержит 658,7 млн параметров, использует архитектуру XLM-RoBERTa и принимает последовательности длиной до 514 токенов. Модель предназначена для понимания испанского текста и может служить основой для классификации текстов, распознавания именованных сущностей и других задач NLP. В Hugging Face она опубликована для заполнения пропусков в замаскированном тексте. Токенизатор унаследован от базовой модели; для длинных последовательностей в описанном процессе применяются сегменты с перекрытием. Лицензия rigoberta-nc запрещает коммерческое использование без согласования с разработчиками. Среди ограничений указаны возможные смещения в данных предобучения и необходимость оценивать вычислительные затраты при развертывании на устройствах с ограниченными ресурсами.

roberta-base-japanese-jsnli — японская модель классификации последовательностей, разработанная на основе nlp-waseda/roberta-base-japanese и дообученная на наборе JSNLI. Она предназначена для задач распознавания отношений между текстовыми фрагментами и классификации по заданным категориям, включая zero-shot-классификацию через постановку задачи как NLI. Модель построена на архитектуре RoBERTa и содержит 137,8 млн параметров. Контекст составляет до 514 токенов. Перед подачей текста его необходимо сегментировать с помощью Juman++. В карточке указана точность 0,9328 и loss 0,2039 на оценочной выборке JSNLI. Модель распространяется по лицензии CC BY-SA 4.0.

roberta-large-eng-ara-128k — двуязычный энкодер на базе Transformer, разработанный исследователями Johns Hopkins University Center for Language and Speech Processing. Это модель XLM-RoBERTa большого размера с 24 слоями и 533,7 млн параметров, обученная с нуля на английских и арабских текстах. Для токенизации используется совместный словарь SentencePiece размером 128K; модель принимает последовательности до 512 токенов. Модель предназначена для предсказания замаскированных токенов и может служить основой для задач понимания английского и арабского текста, например классификации или извлечения информации после дообучения. При предобучении использованы Common Crawl, Википедия, Arabic Gigaword, OSCAR, Arabic News Corpus и OSIAN. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Модель распространяется по лицензии MIT. Это энкодер для текстовых задач, а не генеративный чат-бот; для прикладных задач, отличных от заполнения пропусков, потребуется подходящая классификационная голова или дообучение.

RelBERT — модель для получения текстовых представлений, дообученная авторами библиотеки RelBERT на базе roberta-large на датасете relbert/semeval2012_relational_similarity. Она предназначена для задач понимания семантических отношений между понятиями: решения аналогий, классификации лексических отношений и сопоставления отношений. Модель имеет архитектуру RoBERTa и около 454,1 млн параметров; максимальная длина контекста составляет 514 токенов. Для использования авторы предлагают библиотеку RelBERT. В README приведены результаты на наборах SAT, BATS, U2, U4, Google, BLESS, CogALexV, EVALution, K&H+ и ROOT09. Лицензия в предоставленных данных не указана.