I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейmDeBERTa-v3-base-myXNLI — модель-кодировщик на архитектуре DeBERTa v3, разработанная для классификации текста на английском и бирманском языках. Она дообучена на наборе myXNLI для задачи вывода по естественному языку (NLI): оценки отношений между посылкой и гипотезой. Модель подходит для NLI и связанных сценариев, включая классификацию текста по пользовательским меткам с помощью zero-shot подхода. Размер составляет 306 млн параметров, максимальная длина контекста — 512 токенов. В карточке приведены точности на тестовых наборах: 88,02% для английского XNLI и 80,99% для myXNLI. Модель выпущена под лицензией MIT. В карточке отмечено, что при оценке рисков и ограничений следует учитывать исследования myXNLI и базовых моделей DeBERTa; конкретные ограничения подробно не перечислены.
Funnel Transformer medium — англоязычная предварительно обученная модель семейства Funnel Transformer, разработанная командой, представившей это семейство. Это версия B6-3x2-3x2 с декодером, обученная без разметки на текстах с задачей выявления заменённых токенов, подобной ELECTRA. Модель регистронезависимая и принимает текст; её контекст составляет 512 токенов. Модель предназначена прежде всего для извлечения векторных представлений текста, которые можно использовать при дообучении для классификации последовательностей и токенов, ответов на вопросы и других задач понимания текста. Она не предназначена для генерации текста. Доступны реализации для PyTorch и TensorFlow; обучение проводилось на англоязычных данных, включая BookCorpus, Wikipedia, ClueWeb, GigaWord и Common Crawl. Лицензия — Apache-2.0.
harmonydata выпустила дообученную на базе sentence-transformers/all-mpnet-base-v2 модель Sentence Transformers для сопоставления высказываний о психическом здоровье. MPNet-энкодер с пулингом по среднему значению токенов и нормализацией преобразует предложения и короткие абзацы в плотные векторы размерностью 768; сходство оценивается косинусной мерой. README сообщает максимальную длину последовательности 384 токена, а метаданные — контекстное окно 514 токенов. Модель предназначена для оценки семантического сходства и поиска близких по смыслу формулировок, в том числе при гармонизации вопросов и утверждений из опросников по психическому здоровью. Её можно применять для семантического поиска, поиска перефразирований, кластеризации и получения признаков для классификации текстов. В README приведены обучающая выборка из 2351 пары и оценочная выборка из 236 пар; на оценке Spearman для косинусного сходства составил 0,5533. Модель принимает и возвращает текстовые представления: на выходе — векторы эмбеддингов, а не диагнозы или клинические рекомендации. Карточка не сообщает языковой охват, поэтому модель не следует считать проверенной для русского языка. Лицензия в предоставленных данных не указана.
Модель opendatalab/meta-rater-professionalism-rating разработана OpenDataLab и представляет собой дообученную ModernBERT-base с 149 млн параметров. Она оценивает профессиональную сложность текста: глубину и точность содержания, а также уровень специальных знаний, нужный для его понимания. Модель выдаёт непрерывную оценку от 0 до 5, которую можно интерпретировать как шкалу от общедоступного текста до материала, требующего экспертной подготовки. Модель предназначена для отбора и фильтрации текстов при подготовке данных для предобучения языковых моделей, оценки сложности учебных материалов и анализа научных или технических документов. Это encoder-модель для классификации последовательностей; в метаданных указано контекстное окно 8192 токена. В карточке приведены F1 91,57% и точность 93,78%, но условия и набор оценки не описаны. Модель рассчитана прежде всего на английский язык. Она оценивает профессиональную сложность, а не стиль или грамматику; качество может снижаться на недостаточно представленных предметных областях, поэтому оценку не следует использовать как единственный критерий качества. Лицензия — MIT.
MIReAD — дообученная модель на архитектуре BERT, представленная авторами работы MIReAD на ACL 2023. Она инициализирована весами SciBERT и обучена предсказывать класс журнала по заголовку и аннотации научной статьи. Для обучения использовались более 500 тысяч аннотаций из PubMed и arXiv, размеченных по более чем 2 тысячам классов журналов. Модель подходит для классификации научных публикаций по журналам и извлечения семантически значимых представлений аннотаций для последующего анализа. Она принимает текст и использует токенизатор SciBERT; максимальная длина контекста составляет 512 токенов. Веса опубликованы в формате PyTorch, число параметров — около 137,1 млн. Лицензия — Apache-2.0.
mitre-bert-base-cased — модель классификации последовательностей на архитектуре BERT, дообученная автором репозитория на наборе данных, обозначенном как None. Она предназначена для классификации текста. Модель содержит 136,1 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате Safetensors. В карточке приведены результаты оценки: accuracy 0,6994 и loss 1,0145. Назначение классов, состав обучающих данных и подробные ограничения не описаны. Модель основана на google-bert/bert-base-cased и лицензирована по Apache-2.0.
jhu-clsp/mmBERT-small — компактный мультиязычный двунаправленный энкодер, разработанный исследовательской группой JHU CLSP на архитектуре ModernBERT. Модель содержит 140,5 млн параметров, включая 22 слоя с размером скрытого представления 384, и обучена на более чем 3 трлн токенов для свыше 1800 языков. Она использует masked language modeling и поддерживает контекст до 8192 токенов. Модель предназначена прежде всего для заполнения пропусков и получения контекстных представлений текста. После дообучения её можно применять для классификации, межъязыковых эмбеддингов, поиска и ранжирования документов; README сообщает о высокой скорости и улучшении результатов относительно XLM-R на таких задачах. Репозиторий опубликован в формате PyTorch и использует библиотеку Transformers. Лицензия — MIT. Это энкодер, а не генеративная модель для свободных ответов. Для прикладных задач классификации, эмбеддингов, поиска и ранжирования обычно требуется соответствующая донастройка; качество для отдельных языков и задач может различаться.
ModernBERT-base-32K — дообученная разработчиками репозитория версия англоязычной encoder-only модели ModernBERT-base с архитектурой ModernBERT для задачи восстановления замаскированных токенов. Она расширяет контекст с 8 192 до 32 768 токенов с помощью масштабирования RoPE YaRN и дообучения на длинных текстах с модифицированной MLM-целью. Модель содержит 149 млн параметров и распространяется в формате Safetensors. Модель предназначена для извлечения признаков и представлений длинных документов, классификации текста и поиска информации в длинных текстах; сама по себе она не является чат-моделью или генеративным решением для ответов на вопросы. По карточке, обучение использовало подвыборку Slimpajama с длинными документами. Лицензия — Apache-2.0. Карточка отмечает снижение качества поиска ключевой фразы с ростом расстояния и ограниченную пользу контекста свыше 16 тысяч токенов. Обработка контекста в 32 тысячи токенов требует значительной видеопамяти; обучение преимущественно на веб-текстах может ограничивать перенос на специализированные области.
onnx-community/ModernBERT-base-nli-ONNX — ONNX-версия модели tasksource/ModernBERT-base-nli, автоматически сконвертированная и опубликованная сообществом onnx-community. Модель предназначена для классификации текста, в частности для задач обработки естественного языка, где требуется отнести входной текст к одной из заданных категорий. Модель основана на архитектуре ModernBERT; точный размер, максимальная длина контекста, поддерживаемые языки и набор меток в README не указаны. Формат ONNX позволяет использовать её через JavaScript-библиотеку Transformers.js, в том числе в сценариях, где требуется запуск текстового классификатора. README не содержит сведений о сильных сторонах, ограничениях или лицензии модели, поэтому эти характеристики нельзя достоверно оценить по представленным данным.
illuin-conteb/modernbert-large-insent — модель эмбеддингов предложений на базе ModernBERT-large, разработанная авторами проекта Contextual Embeddings. Она дообучена на ConTEB с использованием подхода InSeNT для построения контекстных представлений документов и поиска нужных фрагментов с учётом окружающего контекста. Модель выдаёт векторы размерности 768; для сравнения используется косинусное сходство. Максимальная длина входа — 8192 токена. Модель предназначена для контекстного поиска и сопоставления текстовых фрагментов, где релевантность зависит от соседнего материала. В карточке описан экспериментальный чекпойнт: авторы сообщают о перспективных результатах, но также о снижении качества на стандартных задачах эмбеддингов и необходимости дальнейшего улучшения устойчивости и обобщения на новые данные. Сведения о лицензии в предоставленных источниках отсутствуют.
josegg5/ModernBERT-projects-retriever — англоязычная модель Sentence Transformers, дообученная разработчиком josegg5 на joe32140/ModernBERT-base-msmarco для поиска по описаниям проектов. Она преобразует текстовые предложения и абзацы в плотные эмбеддинги размерностью 768; близость между ними оценивается косинусным сходством. Модель построена на архитектуре ModernBERT с усредняющим pooling и принимает последовательности длиной до 8192 токенов. Модель предназначена для семантического поиска и извлечения релевантных описаний проектов по текстовому запросу, включая поиск по предложениям и абзацам. Лицензия Apache-2.0 разрешает использование на её условиях. Карточка описывает текстовый ввод и векторный выход; область специализации — поиск по проектам.
ModernBERT-TR — плотный энкодер на архитектуре ModernBERT, разработанный авторами проекта ModernBERT-TR и опубликованный организацией ytu-ce-cosmos. Модель содержит около 149 млн параметров, состоит из 22 слоёв и использует чередование глобального и локального внимания. Она предварительно обучена с нуля как masked-language model и принимает последовательности длиной до 8 192 токенов. Основное назначение модели — предсказывать скрытые токены в тексте. Её можно применять как основу для дообучения классификаторов, задач попарного вывода и поиска, а также для извлечения представлений текста. Обучающие данные преимущественно турецкие; также использовались английский язык, код и небольшой объём параллельных текстов. В описанных оценках модель показала сильные результаты при замороженном энкодере и высокие позиции на турецких бенчмарках. Для запуска доступна через Transformers; в репозитории представлены веса Safetensors и формат ONNX. Лицензия — Apache-2.0. Карточка сообщает о результатах бенчмарков, но не приводит подробных ограничений по качеству или безопасности, поэтому пригодность для конкретного сценария следует проверять отдельно.
castorini/monot5-3b-med-msmarco — реранкер на архитектуре T5, дообученный сначала на MS MARCO Passage в течение 10 тысяч шагов (около одной эпохи), затем на MedMARCO из работы Sledge-Z ещё 1 тысячу шагов. Модель предназначена для переоценки релевантности пассажей и ранжирования документов по запросу, в том числе в медицинском поиске. Модель принимает текстовый запрос вместе с текстом кандидата и оценивает их релевантность; контекст составляет 512 токенов. В метаданных указано 385,2 млн параметров и формат PyTorch. Карточка ссылается на работу о ранжировании документов с предобученной sequence-to-sequence моделью и на pygaggle.ai для инструкций по применению. Лицензия в предоставленных данных не указана.
Jeevesh8/more_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_5 — модель, опубликованная пользователем Jeevesh8 на Hugging Face. По идентификатору и связанным данным она представляет собой дообученную версию BERT-base-uncased для задачи QQP из набора GLUE, то есть классификации пар вопросов по признаку семантической эквивалентности. Базовую архитектуру BERT разработала Google. Модель использует архитектуру BERT Base: 12 Transformer-слоёв, скрытое представление размером 768, 12 attention-heads и около 110 млн параметров. В названии указана максимальная длина последовательности 128 токенов и англоязычная uncased-токенизация, поэтому регистр букв не учитывается. Суффикс ft_5 обозначает один из вариантов fine-tuning, но точные параметры обучения и метрики для этой версии надёжно не указаны. Модель предназначена для выявления дубликатов и смыслового соответствия вопросов, например в поиске, службах поддержки и системах модерации. Её сильная сторона — специализированное дообучение BERT под QQP; ограничения включают английский язык, ограниченный контекст и неизвестные точные показатели качества и условия лицензирования именно этой производной модели. Лицензия для репозитория Jeevesh8 в доступных источниках не подтверждена.
multilingual-cpv-sector-classifier — модель MKaan, дообученная на базе bert-base-multilingual-cased для классификации описаний закупок. Она относит текст к одному из 45 секторов, представленных описаниями кодов Общего словаря закупок ЕС (CPV), например строительству, здравоохранению, ИТ, транспорту и финансовым услугам. Модель использует архитектуру BERT для классификации последовательностей, содержит 205,1 млн параметров и принимает входные тексты длиной до 512 токенов. Модель предназначена для автоматической категоризации объявлений о присуждённых государственных контрактах и сортировки закупок по секторам. В карточке заявлена поддержка 104 языков mBERT, однако оценка проводилась на 22 европейских языках; на тестовой выборке указан F1 0,686. Данные охватывают описания закупок ЕС за 2011–2018 годы, поэтому качество на других типах документов и за пределами этой предметной области может отличаться. Модель распространяется по лицензии Apache-2.0.
checkiejan/multi-qa-mpnet-base-dot-v1-covidqa-search-4-epochs — модель Sentence-Transformers на базе архитектуры MPNet, разработанная для представления предложений и абзацев в виде плотных векторов размерности 768. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 136,7 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Модель обучалась с Triplet Loss; название репозитория указывает на настройку для поиска ответов на вопросы о COVID-19 в течение четырёх эпох. Она подходит для получения текстовых эмбеддингов, которые затем можно использовать для поиска релевантных фрагментов или группировки похожих текстов. В метаданных указаны формат PyTorch и задача sentence-similarity. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.
MyAwesomeModel — модель на базе BERT, опубликованная под идентификатором ASD123SAD21/MyAwesomeModel-TestRepo. Она предназначена прежде всего для извлечения признаков из текста с использованием библиотеки Transformers и PyTorch, поэтому может применяться для построения векторных представлений и последующей обработки текста в прикладных системах. В README также заявлены улучшенные способности к рассуждению, пониманию текста, классификации, анализу тональности, ответам на вопросы, суммаризации, переводу и генерации кода, однако метаданные Hugging Face классифицируют модель как feature-extraction.
MyAwesomeModel — модель на базе Transformers с архитектурой семейства BERT, опубликованная в репозитории asd12ad123123/MyAwesomeModel-TestRepo. Основное назначение модели по метаданным Hugging Face — извлечение признаков из входных данных, то есть преобразование текста в векторные представления для последующего анализа и машинного обучения. Модель может применяться для построения семантического поиска, сравнения текстов, кластеризации, классификации и других задач, использующих эмбеддинги. README также заявляет о возможностях рассуждения, генерации кода, диалога, суммаризации и function calling, однако эти утверждения не согласуются с указанным pipeline_tag feature-extraction и не подтверждены техническими характеристиками модели. Модель распространяется по лицензии MIT и предназначена для использования с библиотекой Transformers. Размер модели, поддерживаемые естественные языки и длина контекста в доступных данных не указаны.
MyAwesomeModel — модель семейства BERT для извлечения признаков из текста, опубликованная в репозитории dfdfdgghh677/MyAwesomeModel-TestRepo. Она предназначена для получения векторных представлений текста, которые могут использоваться в последующих задачах анализа и машинного обучения. Модель работает с библиотекой Transformers и фреймворком PyTorch. В метаданных указана задача feature-extraction и архитектурный тег BERT; размер модели, поддерживаемые естественные языки и длина контекста не указаны. README также описывает возможности генерации текста, рассуждений, function calling и работы с веб-поиском, однако эти сведения не согласуются с указанным в метаданных pipeline-тегом и не подтверждают назначение модели как генеративной. Модель распространяется по лицензии MIT. Для практического применения следует проверить конфигурацию, токенизатор и фактическое поведение модели перед использованием в продуктивных системах.
MyAwesomeModel — модель на базе BERT, опубликованная пользователем или организацией dffddfdgg67 и предназначенная для использования через библиотеку Transformers. Согласно метаданным, модель поддерживает задачу извлечения признаков из текста и использует PyTorch. В README заявлены улучшения рассуждений, вывода, математических и программных задач, понимания языка, генерации текста, function calling и снижение галлюцинаций. Однако эти утверждения не согласуются с метаданными, где модель классифицирована как BERT и feature-extraction, поэтому наиболее надёжный сценарий применения — получение векторных представлений текста для последующей классификации, поиска или анализа. Модель распространяется по лицензии MIT. Данные о размере, длине контекста, поддерживаемых естественных языках и точной архитектурной конфигурации отсутствуют.
MyAwesomeModel — модель из репозитория DSD1231/MyAwesomeModel-TestRepo, предназначенная для извлечения признаков из текста. Согласно метаданным Hugging Face, она относится к архитектуре BERT и рассчитана на использование с библиотекой Transformers и PyTorch. Модель может применяться для получения векторных представлений текста, которые затем используются в задачах классификации, поиска похожих документов и других сценариях анализа текста. В README также заявлены возможности рассуждения, генерации кода, ответов на вопросы и работы с диалогами, однако они не согласуются с указанным pipeline-тегом feature-extraction и не подтверждены техническими характеристиками модели. Модель распространяется по лицензии MIT.
MyAwesomeModel — модель из репозитория PoseyEnder/MyAwesomeModel-TestRepo, опубликованная под лицензией MIT. Согласно метаданным Hugging Face, она предназначена для извлечения признаков и относится к архитектурному семейству BERT; работать с ней предполагается через библиотеку Transformers на базе PyTorch. Модель может использоваться для получения векторных представлений текста, семантического поиска, сравнения текстов, кластеризации и подготовки признаков для последующих задач машинного обучения. README также заявляет о возможностях рассуждения, генерации кода и диалога, однако эти заявления не согласуются с указанным pipeline_tag feature-extraction и не подтверждены техническими характеристиками модели. Сильной стороной является интеграция с экосистемой Transformers и открытая лицензия MIT. Размер модели, поддерживаемые естественные языки и длина контекста в доступных данных не указаны. Для генеративных сценариев и заявленных результатов бенчмарков требуется дополнительная проверка конфигурации и воспроизводимости.
manasp2025/my-embedding-gemma — дообученная модель Sentence Transformers на базе google/embeddinggemma-300m, разработанной Google. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения текстов по косинусному сходству; архитектура — Gemma3TextModel, размер — 302,8 млн параметров. Модель принимает текст длиной до 2048 токенов и предназначена для семантического поиска, оценки сходства, поиска перефразировок, классификации и кластеризации текстов. Дообучение описано на наборе из трёх парных примеров с anchor, positive и negative, с функцией потерь MultipleNegativesRankingLoss. Такой малый объём данных ограничивает основания для ожидания надёжного улучшения качества в широком круге задач. Репозиторий содержит веса safetensors; лицензия в предоставленных данных не указана.
cross-encoder/nli-deberta-v3-small — англоязычная модель для вывода отношений между парами предложений, опубликованная в формате SentenceTransformers. Она основана на microsoft/deberta-v3-small и дообучена на наборах SNLI и MultiNLI. Для пары текстов модель выдаёт оценки трёх классов: противоречие, следование и нейтральное отношение. Модель подходит для проверки гипотез по тексту и классификации без примеров для каждого класса: названия классов можно задавать как текстовые гипотезы. Её также используют для оценки сходства предложений. Это компактная архитектура DeBERTa V3 с 155 млн параметров и контекстом до 512 токенов; доступны веса PyTorch, Safetensors и ONNX. В README приведены точности 91,65 на тестовом наборе SNLI и 87,55 на несовпадающем разделе MNLI. Обучение на англоязычных наборах ограничивает ожидаемое качество другими языками и предметными областями. Лицензия — Apache-2.0.
sentence-transformers/nli-distilbert-base — модель семейства Sentence-Transformers на базе DistilBERT, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантической близости, поиска и кластеризации. Модель принимает текст и выдаёт эмбеддинги; контекст ограничен 512 токенами. Доступны варианты весов в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель подходит для семантического поиска по текстам, группировки похожих фраз и вычисления сходства предложений. В README она помечена как устаревшая: качество эмбеддингов низкое, поэтому для новых проектов рекомендуется выбрать более современную модель sentence embeddings. Лицензия — Apache-2.0.
cross-encoder/nli-distilroberta-base — англоязычная модель Cross-Encoder, созданная с помощью SentenceTransformers и дообученная на наборах SNLI и MultiNLI. Она принимает пару предложений и оценивает их отношение по трём меткам: противоречие, следование и нейтральность. Модель предназначена для вывода логических отношений между текстами, оценки сходства предложений и классификации без примеров обучения по заданным категориям. Архитектура — RoBERTa с классификационной головой, около 95,2 млн параметров и контекстом до 514 токенов. Доступны форматы PyTorch, Safetensors, ONNX, OpenVINO и Flax. Модель специализируется на английском языке и подходит для сценариев, где нужно сопоставить два текста или отнести текст к заданным категориям. Качество может снижаться на других языках, длинных текстах и задачах, отличающихся от языкового вывода; оценки модели не следует трактовать как гарантированную истину. Лицензия — Apache 2.0.
sentence-transformers/nli-roberta-large — модель для получения векторных представлений предложений и абзацев, обученная командой sentence-transformers. Она основана на RoBERTa с плотной архитектурой и содержит 454,1 млн параметров. Модель преобразует текст в эмбеддинги размерностью 1024; контекст ограничен 514 токенами. Эмбеддинги можно использовать для семантического поиска, сравнения сходства текстов и кластеризации. Модель принимает текст и выдаёт векторы, пригодные для поиска и группировки семантически близких фрагментов. В README модель помечена как устаревшая: авторы предупреждают о низком качестве эмбеддингов и рекомендуют выбрать более новую модель. Лицензия — Apache 2.0.
NorBERTo-base — предварительно обученный текстовый энкодер ModernBERT для бразильского португальского языка, разработанный Itaú Unibanco и ICTi. Модель содержит около 149 млн параметров и обучена на корпусе Aurora-PT объёмом 331 млрд токенов. Основная задача модели — предсказывать пропущенные токены в тексте. Её также можно применять для получения текстовых эмбеддингов и адаптировать под задачи классификации, семантического сходства и текстового следования. Контекст поддерживает до 8 192 токенов; в архитектуре используются эффективное локально-глобальное внимание и RoPE. В карточке сообщается о результатах на португалоязычных бенчмарках PLUE и ASSIN 2. Это базовая предобученная модель, а показатели для отдельных задач могут относиться к дообученным вариантам. Лицензия CC BY-NC-SA 4.0 требует атрибуции, распространения производных материалов на тех же условиях и не допускает коммерческого использования.
KGESH/nsfw-bge-m3-v6e — текстовая модель Sentence Transformer на базе XLM-RoBERTa, предназначенная для получения эмбеддингов предложений и абзацев и оценки их сходства. Она преобразует текст в плотные векторы размерности 1024, нормализует их и использует косинусное сходство; максимальная длина последовательности — 8192 токена. Модель обучена на 200 парах текстов с OnlineContrastiveLoss. Модель подходит для семантического поиска и извлечения текстов по сходству, в том числе для запросов и материалов с сексуальной тематикой. README указывает на обучение на примерах с откровенной лексикой, поэтому такие результаты могут быть чувствительны к тематике и малому объёму обучающих данных. Лицензия в предоставленных данных не указана.
blackmlengineer/occucoder-en-grande-v0 — текстовая Sentence Transformer модель на архитектуре BERT, разработанная blackmlengineer и дообученная на обучающем наборе из 991 580 пар и троек текстов. Она преобразует предложения и короткие абзацы в плотные векторы размерности 512; сходство между векторами можно оценивать косинусной мерой. Модель подходит для поиска и сопоставления коротких текстов, включая семантическое извлечение релевантных результатов. Максимальная длина входа — 32 токена. При обучении использовалась функция MultipleNegativesRankingLoss на примерах с якорным текстом, положительным и отрицательным соответствиями. Обучающие примеры связаны с названиями профессий и близкими категориями, поэтому применимость за пределами такого рода коротких текстовых соответствий может быть ограничена. Репозиторий содержит веса safetensors; лицензия в доступных данных не приведена.