I.11Классификация, ранжирование и сопоставление

Funnel Transformer xlarge — англоязычная предобученная модель семейства Funnel Transformer, опубликованная командой разработчиков Funnel Transformer и представленная в научной статье. Это плотная архитектура Funnel с конфигурацией B10-10-10 и декодером; модель обучена самостоятельно на текстах без ручной разметки с задачей распознавания исходных и заменённых токенов. Доступны веса PyTorch и TensorFlow, контекст — до 512 токенов. Модель извлекает контекстные признаки из английского текста и предназначена прежде всего для дальнейшей настройки под задачи, где решение принимается по полному предложению или тексту: классификацию последовательностей, разметку токенов и ответы на вопросы. Полученные представления можно использовать как вход для классификатора. Модель не предназначена для генерации текста. Модель без учёта регистра и обучалась на BookCorpus, английской Википедии, ClueWeb, GigaWord и Common Crawl. Распространяется по лицензии Apache-2.0. Для прикладных задач обычно требуется дообучение; качество для конкретной задачи зависит от него.

Модель reecursion123/xlm-roberta-base-pure-indian-annotations — дообученная версия многоязычной XLM-RoBERTa Base от Facebook AI для классификации текста. Она содержит 305,2 млн параметров, использует архитектуру XLMRobertaForSequenceClassification и принимает последовательности длиной до 514 токенов. В README указаны accuracy 0,8 и loss 0,5906 на оценочной выборке. Название модели указывает на аннотации, связанные с Индией, однако описание задачи, схема классов и данные для обучения в карточке не раскрыты. Модель подходит для текстовой классификации, но её точное назначение и пригодность для конкретного набора данных следует проверять отдельно. Распространяется по лицензии MIT.

Это модель poltextlab, представляющая собой XLM-RoBERTa Large, дообученную на англоязычных данных с разметкой основных тематических категорий Comparative Agendas Project (CAP). Она классифицирует тексты по кодам мастер-кодбука CAP и предназначена для сравнительного анализа политических повесток и исследовательских проектов; модель также используется в бесплатном инструменте CAP Babel Machine. В карточке указаны точность 83% и macro F1 0,80 на оценке разработчиков. Модель использует архитектуру XLM-RoBERTa Large и токенизатор SentencePiece; лицензия — CC BY 4.0.

XLNet large — предварительно обученная языковая модель на английском языке, разработанная авторами работы XLNet и опубликованная в репозитории Hugging Face. Она использует обобщённое авторегрессионное обучение с перестановками и архитектурную основу Transformer-XL; размер модели — 435,4 млн параметров. Доступны веса в форматах PyTorch и TensorFlow. Модель предназначена прежде всего для дообучения под последующие задачи понимания текста, включая классификацию последовательностей и токенов, ответы на вопросы и ранжирование документов. В метаданных Hugging Face основная задача указана как генерация текста, однако карточка рекомендует для генерации рассматривать GPT-2. XLNet обучалась на BookCorpus и Wikipedia. Лицензия — MIT. Сильная сторона архитектуры — работа с длинным контекстом благодаря Transformer-XL и обучению, учитывающему перестановки токенов. Модель ориентирована на английский язык и сама по себе не является специализированной готовой системой для отдельных downstream-задач; для них обычно требуется дообучение. Упоминание генерации текста в pipeline-теге следует учитывать вместе с рекомендацией карточки использовать для этой цели другие модели.

44b-reranker — переранжировщик на 149,6 млн параметров, разработанный NYSgpt на базе Alibaba-NLP/gte-reranker-modernbert-base. Это cross-encoder на архитектуре ModernBERT, дообученный на парах «рецензия → научная статья»: запросы составлены экспертами-рецензентами, а релевантной считается статья, к которой относится рецензия. Модель предназначена для второго этапа поиска: она оценивает пары запрос–документ и переупорядочивает уже отобранные кандидаты. По описанной оценке на 3 157 запросах и наборах из девяти статей модель достигла Precision@1 92,9% и MRR 0,956. Этот результат относится к научным статьям по машинному обучению и длинным запросам в стиле экспертной прозы; он не показывает качество поиска по всему корпусу. Контекст дообучения ограничен 512 токенами, а задержка измерена только на A10G при пакетной обработке. Лицензия — Apache-2.0.

biu-nlp/abstract-sim-sentence-pubmed — модель семейства BERT, обученная на предложениях из PubMed для сопоставления текстового описания с подходящими предложениями. Она кодирует запросы и предложения в признаки, пригодные для поиска и оценки смыслового сходства в научных медицинских текстах. Модель содержит 136,7 млн параметров, принимает последовательности длиной до 512 токенов и опубликована в формате PyTorch. Модель подходит для семантического поиска предложений по описаниям и подбора релевантных фрагментов аннотаций PubMed. Карточка не сообщает лицензию и подробности оценки качества.

afro-xlmr-base-afr-finetuned-augmentation-LUNAR — модель классификации последовательностей, дообученная на основе Davlan/afro-xlmr-base. Она предназначена для присвоения тексту одной или нескольких категорий; конкретные категории и прикладной сценарий в карточке не описаны. Модель построена на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и рассчитана на контекст до 514 токенов. Базовая модель ориентирована на тексты на африканских языках. В карточке приведены результаты оценки: loss 0,2755, F1 0,5012, ROC AUC 0,6931 и accuracy 0,6908; без сведений о наборе данных, разбиении и методике оценки эти числа трудно интерпретировать. Модель выпущена под лицензией MIT.

ALBERT XXLarge v1 — предварительно обученная англоязычная модель семейства ALBERT, представленная авторами ALBERT и опубликованная в библиотеке Transformers. Она обучена предсказывать замаскированные токены и порядок соседних сегментов текста; основной сценарий непосредственного применения — заполнение пропусков в тексте, а также получение представлений для последующего дообучения на задачах классификации последовательностей и токенов или ответов на вопросы. Архитектура использует 12 повторяющихся слоёв Transformer с общими весами, размерностью эмбеддингов 128, скрытой размерностью 4096 и 64 головами внимания. По README модель содержит 223 млн параметров, тогда как метаданные указывают 3,3 млрд; размер параметров в источниках расходится. Контекст составляет до 512 токенов. Модель англоязычная, без учёта регистра; обучалась на BookCorpus и английской Википедии. Доступны веса PyTorch и TensorFlow. Повторное использование весов сокращает занимаемую память относительно архитектуры с отдельными весами слоёв, но вычислительная стоимость остаётся сопоставимой с BERT-подобной моделью аналогичной глубины. Это версия v1; в README указано, что версия v2 показывает лучшие результаты почти на всех перечисленных задачах. Модель может наследовать смещения из обучающих данных. Лицензия — Apache-2.0.

timotheeplanes/anti-doping-gte-base — модель эмбеддингов предложений на базе архитектуры BERT, адаптированная к языку антидопинговой практики. Она преобразует предложения и абзацы в плотные векторы размерности 768; заявленный размер модели — 136,7 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, кластеризации, ранжирования и извлечения признаков для последующего обучения классификаторов на данных антидопинговой тематики. Она обучалась методом Sentence-Transformers с DenoisingAutoEncoderLoss для адаптации представлений к антидопинговой лексике. Поддерживается английский язык. Модель опубликована timotheeplanes под лицензией Apache-2.0. Качество для конкретных задач и наборов данных в карточке не приведено; перед применением в критичных сценариях результаты следует оценить на целевых данных.

Модель vlsb/autotrain-security-texts-classification-distilroberta-688220764 — классификатор текстов для бинарной классификации, созданный с помощью AutoTrain. Она основана на архитектуре RoBERTa и содержит 95,2 млн параметров; принимает текст и возвращает результат классификации. Модель рассчитана на тексты длиной до 514 токенов. По названию репозитория и датасета модель предназначена для классификации текстов по тематике безопасности. В карточке приведены метрики валидации: accuracy 0,903, precision 0,953, recall 0,878, F1 0,914 и AUC 0,944. Эти показатели относятся к использованному набору данных и не гарантируют такое же качество на других текстах. Лицензия в предоставленных данных не указана.

Bangla BERT Base — предварительно обученная языковая модель для бенгальского языка, разработанная Сагором Саркером. Это плотная модель архитектуры BERT с примерно 191,6 млн параметров, обученная предсказывать замаскированные токены в текстах; контекст — до 512 токенов. Для токенизации используется SentencePiece-словарь размером 102 025 токенов. Модель предназначена прежде всего для заполнения пропусков в бенгальском тексте и может служить основой для дообучения задач классификации, анализа тональности, выявления языка вражды, тематической классификации новостей и распознавания именованных сущностей. В README приведены результаты на бенгальских классификационных наборах и Wikiann, но они не гарантируют качество на других данных. Модель работает с текстом и выдаёт вероятности токенов для заполнения маски. Она обучалась на бенгальских данных OSCAR/Common Crawl и Wikipedia и распространяется по лицензии MIT. Поддерживаются веса в форматах PyTorch, TensorFlow и Flax.

KLUE BERT base — предварительно обученная трансформерная языковая модель семейства BERT для корейского языка, разработанная в рамках проекта Korean Language Understanding Evaluation (KLUE). Это плотная модель с архитектурой BertForMaskedLM, содержащая 137,8 млн параметров и обрабатывающая последовательности длиной до 512 токенов. Основной сценарий по метаданным — заполнение пропусков в тексте; после дообучения модель также может применяться для классификации тем, оценки семантического сходства, вывода на естественном языке и распознавания именованных сущностей. Для токенизации используется словарь из 32 тысяч единиц, построенный с морфемной сегментацией и BPE. Модель обучена на разнообразных корейских корпусах, включая новости, веб-тексты, энциклопедические материалы и диалоги, и оценивалась на задачах бенчмарка KLUE. Весовые файлы доступны в форматах PyTorch и safetensors. Лицензия — CC-BY-SA-4.0. Качество и фактическая точность не гарантируются: модель может отражать смещения и проблемы конфиденциальности, связанные с обучающими данными. Для задач классификации, NER и других сценариев, кроме заполнения пропусков, обычно требуется соответствующая задача-ориентированная голова или дообучение.

bert-deepfake-bg — модель BERT для классификации текста, дообученная Ивой Мариновой на основе usmiva/bert-web-bg и опубликованная при участии института GATE в Софии. Она предназначена для задач классификации последовательностей на болгарском языке; конкретный набор классов и целевой сценарий карточка не уточняет. Модель содержит 136,3 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Модель подходит для адаптации к прикладным задачам классификации болгарских текстов. Карточка не приводит сведения о данных обучения, метриках и известных ограничениях, поэтому качество на конкретных данных следует проверять отдельно. Лицензия в метаданных — CC BY 2.0.

YeungNLP/bert-from-clip-chinese-1M — текстовый компонент BertCLIP, китайской версии предварительно обученной мультимодальной модели CLIP, опубликованный авторами проекта CLIP-Chinese. В репозитории размещены веса BERT, извлечённые из BertCLIP; исходная модель обучалась контрастивному сопоставлению изображений и китайского текста на 1,4 млн пар с использованием стратегии LiT-tuning, при которой визуальная часть фиксируется во время настройки текстовой. Модель можно загрузить через BertModel из библиотеки Transformers и использовать для извлечения признаков текста или как основу для downstream-задач. Это плотная BERT-модель на 129,5 млн параметров с контекстом до 512 токенов, представленная в формате PyTorch. Карточка описывает китайскоязычное предварительное обучение; отдельные веса визуального компонента в этот репозиторий не входят. Лицензия в предоставленных данных не указана.

anishareddyalla/bge-base-matryoshka-aws-casestudies — англоязычная модель Sentence Transformer, дообученная на базе BAAI/bge-base-en-v1.5 для работы с кейсами AWS. Она кодирует предложения и абзацы в плотные текстовые эмбеддинги размерностью 768, пригодные для семантического поиска, сравнения текстов и поиска похожих формулировок. В архитектуре используются BERT, пулинг CLS-токена и нормализация; сходство оценивается косинусной мерой. Контекст ограничен 512 токенами. Обучение использовало MatryoshkaLoss и MultipleNegativesRankingLoss на 2 231 примере. Модель поддерживает сокращение эмбеддинга до 512, 256, 128 или 64 измерений, что позволяет выбирать компромисс между размером вектора и качеством поиска. В README приведены результаты оценки информационного поиска на наборах с разными размерностями, но данные не раскрывают полный состав тестов, поэтому метрики не следует считать универсальной оценкой. Модель принимает текст и выдаёт векторы эмбеддингов; классификация и кластеризация могут строиться на этих векторах как последующая задача. Лицензия — Apache-2.0.

Модель SentenceTransformer, созданная дообучением BAAI/bge-m3 для поиска по тайскому земельному и имущественному налоговому законодательству. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; сходство текстов оценивается косинусной мерой. Архитектура включает XLM-RoBERTa, слой пулинга по CLS-токену и нормализацию векторов. Максимальная длина входа — 8192 токена, число параметров — 658,7 млн. Модель предназначена для семантического поиска и сопоставления запросов с фрагментами законов, а также может использоваться для поиска похожих формулировок и группировки текстов. Обучение выполнено на парах запросов и релевантных и нерелевантных фрагментов; примеры и данные обучения относятся к тайскому закону о земельном и имущественном налоге. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных сведениях не указана.

autoevaluate/binary-classification — модель классификации текста, дообученная на базе distilbert-base-uncased на наборе данных GLUE. Она предназначена для отнесения текстовых последовательностей к классам; в README приведены результаты на оценочной выборке: accuracy 0,8968 и loss 0,3009. Модель использует архитектуру DistilBERT с классификационной головой, работает с текстом и имеет контекст до 512 токенов. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает конкретные метки классов, сценарии применения или ограничения; результаты GLUE сами по себе не гарантируют качество на других данных.

NeuML/biomedbert-base-reranker — англоязычный биомедицинский кросс-энкодер, дообученный NeuML на базе microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext с использованием библиотеки sentence-transformers. Модель принимает пары текстов и оценивает их сходство или релевантность; оценки подходят для ранжирования результатов семантического поиска по медицинской литературе. Обучающие пары сформированы из выборки заголовков и аннотаций PubMed, а также похожих заголовков. Модель основана на BERT с архитектурой BertForSequenceClassification, содержит 136,7 млн параметров и поддерживает контекст до 512 токенов. В README описана оценка на наборах PubMed QA, PubMed Subset и PubMed Summary; кросс-энкодер показал преимущество над сравнивавшимися би-энкодерами и late-interaction моделями, но требует больше вычислений и подходит для обработки небольших наборов кандидатов. Лицензия — Apache-2.0.

NeuML/biomedbert-hash-nano-embeddings — компактная модель эмбеддингов NeuML, дообученная с помощью Sentence Transformers на основе NeuML/biomedbert-hash-nano. Она преобразует предложения и абзацы в плотные векторы размерностью 128 для семантического поиска, кластеризации и использования в RAG. Модель ориентирована на медицинскую литературу: при обучении применялись пары заголовков и аннотаций PubMed, а также дистиллированные оценки моделей для медицинских текстов. Архитектура относится к семейству BERT Hash; число параметров по метаданным — 4,4 млн, контекст — до 512 токенов. Поддерживается английский язык. Модель рассчитана на компактные базы эмбеддингов и сценарии с ограниченными вычислительными ресурсами; небольшая размерность векторов снижает требования к хранению. Лицензия — Apache-2.0. В README приведено сравнение качества на задачах с данными PubMed, однако результаты конкретно этой модели в предоставленном фрагменте таблицы отсутствуют.

CharacterBERT — вариант BERT, разработанный Hicham El Boukkouri, Olivier Ferret, Thomas Lavergne, Hiroshi Noji, Pierre Zweigenbaum и Junichi Tsujii. Модель предназначена для получения контекстных представлений слов на основе их символов и поддерживает открытый словарь: вместо фиксированной WordPiece-токенизации используется CharacterCNN, который строит представление целого токена из последовательности символов. Модель содержит около 113,2 млн параметров, использует 12 трансформерных слоёв с размерностью скрытого состояния 768 и 12 attention heads, а максимальная длина контекста составляет 512 токенов. В репозитории Hugging Face она предназначена для feature extraction и реализована на PyTorch с пользовательским кодом Transformers. Базовая версия предварительно обучена на англоязычных Wikipedia и OpenWebText. Модель подходит для извлечения эмбеддингов слов и предложений, а также для последующей адаптации к задачам классификации и другим задачам обработки текста. Символьное представление делает её устойчивой к неизвестным словам и опечаткам. Ограничения включают более медленное предварительное обучение из-за CharacterCNN и необходимость доверять пользовательскому коду при загрузке через Transformers. Репозиторий распространяется по лицензии Apache-2.0.

CRAB_COPA_xlm_roberta_large_finetuned — дообученная Ariffiq99 модель на архитектуре XLM-RoBERTa Large, разработчик — Ariffiq99. Она предназначена для выбора наиболее подходящего варианта ответа из нескольких предложенных на основе текста и применяется для задач формата COPA. Веса представлены в формате safetensors; размер модели — около 658,7 млн параметров, длина контекста — 514 токенов. В карточке приведены результаты оценки: loss 0,8770 и F1 0,7431. Датасет обучения не указан, поэтому область применимости и качество на других наборах данных оценить по карточке нельзя. Лицензия — MIT.

microsoft/deberta-large — крупная англоязычная модель Microsoft семейства DeBERTa, основанная на архитектуре Transformer с раздельным механизмом внимания (disentangled attention) и улучшенным декодером маскирования. Она предназначена прежде всего для заполнения пропусков в тексте: модель предсказывает замаскированный токен по окружающему контексту. Предобученная модель также служит основой для дообучения под задачи понимания языка, включая классификацию текста и ответы на вопросы. Модель содержит 454,1 млн параметров, поддерживает последовательности длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. Карточка приводит результаты дообучения семейства на SQuAD и наборах GLUE; это результаты отдельных настроенных вариантов, а не гарантия качества исходного чекпойнта для каждой задачи. Лицензия — MIT.

Delexa-Instruct-V0.1-7b — диалоговая инструкция-модель семейства Mistral, выпущенная командой lex-hue. Она предназначена для генерации ответов и выбора наиболее подходящего варианта из нескольких ответов на вопрос. В README описано обучение на примерах с одним вопросом и тремя вариантами ответа; модель также оценивали на вопросах с выбором ответа и задачах общего рассуждения. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Карточка указывает разрешённый взрослый и откровенный контент, но заявляет ограничения на незаконный контент; jailbreak может обходить эти ограничения. Доступна под лицензией Apache-2.0.

DeTexD-RoBERTa-base — базовая модель RoBERTa для обнаружения и классификации деликатного текста. Она размечает текст по шести уровням риска: от неделикатного до очень высокого риска, что позволяет ранжировать потенциально чувствительное содержание по степени выраженности. Модель разработана для задачи из бенчмарка DeTexD: A Benchmark Dataset for Delicate Text Detection. Модель содержит 151,8 млн параметров, принимает текст и выдаёт метки классов. Контекст составляет до 514 токенов. Карточка указывает английский язык, формат PyTorch и лицензию Apache-2.0. Это базовая модель RoBERTa, а не заявленное дообучение другой модели; пример кода в README не содержит рабочего кода.

Это модель классификации текста на базе DistilBERT, дообученная leomaurodesenv на неизвестном наборе данных. Она предназначена для присвоения меток текстовым последовательностям; карточка сообщает точность 0,9453 и значение loss 0,1704 на оценочном наборе, однако назначение меток и подробности оценки не раскрыты. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст, работает с контекстом до 512 токенов и сохранена в формате safetensors. Модель унаследовала англоязычную основу distilbert/distilbert-base-uncased. Она может быть полезна для классификации на данных, близких к обучающим, но из-за отсутствия сведений о датасете, классах и методике оценки нельзя оценить переносимость результатов на другие задачи. Лицензия — Apache-2.0.

wnic00/distilbert-p3 — дообученная модель DistilBERT для классификации текста, созданная на основе wnic00/distilbert-p1. Она предназначена для присвоения тексту класса; конкретные категории и сценарии применения в карточке не описаны. Модель использует архитектуру DistilBertForSequenceClassification, веса в формате PyTorch и контекст до 512 токенов. Базовая модель описана как мультиязычная и предназначенная, в частности, для анализа тональности, но применимость этих возможностей к данной версии не подтверждена. На оценочном наборе указаны loss 1.1781 и accuracy 0.6667. Датасет и подробности обучения не раскрыты, поэтому эти результаты не позволяют оценить качество для конкретной задачи. Лицензия — Apache-2.0.

DistilRoBERTa-base — компактная трансформерная языковая модель семейства RoBERTa, созданная Виктором Саном, Лисандром Дебю, Жюльеном Шомоном и Томасом Вольфом из Hugging Face методом дистилляции RoBERTa-base по процедуре DistilBERT. В репозитории указаны 6 слоёв, размерность 768 и 12 голов внимания; метаданные каталога указывают 95,2 млн параметров, а README — 82 млн. Модель чувствительна к регистру, обучена на английском языке и имеет контекст до 514 токенов. Основное прямое применение — заполнение пропусков в тексте с помощью masked language modeling. Модель также рассчитана на дообучение для задач классификации последовательностей и токенов, а также ответов на вопросы. По сравнению с RoBERTa-base она в среднем работает примерно вдвое быстрее и содержит меньше параметров согласно README. Распространяется по лицензии Apache 2.0. Модель не предназначена для свободной генерации текста и не обучалась обеспечивать фактическую точность. Её предсказания могут воспроизводить вредные стереотипы и предубеждения; при использовании следует учитывать эти ограничения.

kykim/electra-kor-base — базовая модель семейства ELECTRA для корейского языка. В README указано, что для обучения использовался корпус корейских текстов объёмом 70 ГБ и словарь из 42 000 приведённых к нижнему регистру субслов. Модель содержит 145,5 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена для извлечения контекстных представлений корейского текста и может служить основой для дообучения под задачи понимания языка. В карточке показан пример загрузки токенизатора и базовой модели через Transformers. Сведения о лицензии в предоставленных источниках отсутствуют.

Модель разработана совместно Военной академией Греции (SSE) и Техническим университетом Крита (TUC). Это XLM-RoBERTa-base с классификационной головой для бинарной классификации предложений: модель определяет, выражает ли предложение факт или мнение. Метки: 0 — мнение или субъективное высказывание, 1 — факт или объективное высказывание. Модель рассчитана на английский и греческий языки; авторы также указывают возможность применять её к другим языкам XLM-R в режиме zero-shot. Она обучалась пять эпох на смешанном англо-греческом наборе примерно из 9 тысяч размеченных предложений; греческие примеры были получены машинным переводом исходных данных. Размер модели — 305,2 млн параметров, контекст — 514 токенов. На тестовом наборе указаны accuracy 0,952 и F1 0,952. Модель подходит для предварительной разметки предложений по признаку фактичности и субъективности. Точность на других языках и в иных предметных областях может отличаться; состав данных и машинный перевод греческой части могут влиять на качество. Лицензия — Apache-2.0.

HuggingFaceTB/finemath-classifier — классификатор математических рассуждений и дедукции в веб-страницах, разработанный Hugging Face для отбора и курирования математических материалов из веб-данных. Модель дообучена на intfloat/multilingual-e5-small: к энкодеру BERT добавлена регрессионная классификационная голова, а параметры энкодера и эмбеддингов во время обучения были заморожены. Она оценивает полезность страницы для изучения математики по шкале от 0 до 5; порог 3 позволяет преобразовать оценку в бинарную классификацию. Модель обучалась на 1 млн примеров, размеченных Llama 3, и применялась при создании датасета FineMath. В описанной оценке бинарной классификации F1 составил 87%. Модель принимает текст, поддерживает контекст до 512 токенов и имеет 124,3 млн параметров. Лицензия — MIT.