I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейdeepset/gelectra-base — базовая немецкоязычная языковая модель ELECTRA, разработанная deepset совместно с авторами German BERT и dbmdz BERT. Это дискриминатор ELECTRA Base с 137,1 млн параметров и контекстом до 512 токенов; веса доступны в форматах PyTorch, Safetensors и TensorFlow. Модель обучалась на немецкоязычных данных, включая Wikipedia, OPUS и OpenLegalData. Модель предназначена как базовый чекпойнт для задач понимания немецкого текста и последующего дообучения, например для классификации и оценки тональности. В README приведены результаты на GermEval 2018 и GermEval 2014. Авторы отмечают, что модель обучена недостаточно; для более высокой производительности среди моделей базового размера они рекомендуют deepset/gbert-base. Лицензия — MIT.
RinaChen/Guwen-nomic-embed-text-v1.5 — дообученная модель Sentence Transformers на основе nomic-ai/nomic-embed-text-v1.5. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения по косинусному сходству. Архитектура включает NomicBertModel с усреднением токенных представлений; максимальная длина последовательности — 8192 токена. Модель обучалась на парах текстов и предназначена для семантического поиска и сравнения текстов на классическом китайском языке, в том числе для поиска перефразирований и кластеризации. Примеры обучающих и оценочных данных показывают пары исторических текстов на классическом китайском и их пояснений на китайском. Доступны веса в формате safetensors; модель распространяется под лицензией базовой модели, однако сведения о лицензии в предоставленных данных отсутствуют.
HealthMate-AI — дообученный энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2, подготовленный для медицинского RAG-проекта. Модель кодирует предложения и абзацы в плотные векторы размерности 384; архитектура — 6-слойный MiniLM на базе BERT, всего 25,9 млн параметров. Контекст ограничен 512 токенами, указанный язык — английский. Модель предназначалась для семантического поиска и извлечения сведений из медицинских документов. Чекпойнт получен усреднением весов двух лучших фолдов дообучения на медицинских текстах. Однако автор README сообщает, что в тестах поиска на SciFact, NFCorpus, TREC-COVID и MedQuAD модель значительно уступила базовой all-MiniLM-L6-v2, и не рекомендует её для retrieval. Результат Spearman 0,8039 относится к задаче сходства внутри обучающего корпуса и не воспроизводим по опубликованным данным и коду. Модель распространяется по лицензии Apache-2.0; она не предназначена для медицинских рекомендаций.
Это модель Sentence Transformers, дообученная TARARARAK на базе nlpai-lab/KURE-v1 с функцией потерь MultipleNegativesRankingLoss. Модель XLM-RoBERTa преобразует предложения и абзацы в плотные векторы размерностью 1024, которые нормализуются и сравниваются с помощью косинусного сходства. Максимальная длина последовательности в карточке модели — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Примеры обучающих данных относятся к правилам университета Хандон; они написаны на корейском и содержат 57 примеров. Это указывает на настройку под поиск по университетским документам, но не подтверждает широкую оценку качества на других темах или языках. Лицензия в предоставленных данных не указана.
IberLang — модель классификации аудио, разработанная для распознавания языков Пиренейского полуострова. Это дообученная Ugiat модель на основе openai/whisper-medium с архитектурой WhisperForAudioClassification и 455,8 млн параметров. Модель принимает аудио и определяет, звучит ли на нём испанский, каталанский, галисийский, баскский или окситанский язык. Модель предназначена для автоматической языковой идентификации, в том числе для региональных и малоресурсных языков. В оценке на отложенной выборке из 1200 аудиозаписей VoxLingua107 IberLang авторы сообщают точность 0,902 для каталанского, 0,96 для баскского, 0,915 для галисийского, 0,655 для окситанского и 1,0 для испанского; это результаты на конкретной выборке, а не гарантия качества на других данных. Модель распространяется в формате safetensors по лицензии CC BY 4.0. Указанную лицензию базовой модели и возможные ограничения её использования следует учитывать отдельно.
hawalurahman/indobert-base-uncased-bloom-base — дообученная модель на базе indolem/indobert-base-uncased для классификации текста. Она построена на архитектуре BERT и содержит 137,8 млн параметров; принимает текстовые последовательности длиной до 512 токенов. Репозиторий использует библиотеку Transformers и формат весов safetensors. Модель подходит для присвоения тексту категорий в задачах на индонезийском языке. В README указаны результаты оценки: accuracy 0,575 и loss 1,0931; описание набора данных, конкретных меток и предполагаемых сценариев применения не приведено. Модель распространяется по лицензии MIT.
industry-bert-contracts-v0.1 — модель llmware для построения семантических эмбеддингов юридических и коммерческих договоров. Она основана на BERT и архитектуре Sentence Transformer, дообучена на общедоступных коммерческих контрактах и связанных документах. Модель содержит 136,7 млн параметров и обрабатывает до 512 токенов за раз. Модель предназначена для поиска и сравнения договорных текстов по смыслу, а также для использования в качестве векторного представления документов в юридических и контрактных сценариях. Она рассчитана на английский язык и может загружаться через Transformers как AutoModel с соответствующим токенизатором. Качество может снижаться за пределами договорной и юридической тематики; для эмбеддингов также возможны аномалии в векторном пространстве. В карточке не описаны специальные меры защиты от смещений в данных. Лицензия — Apache 2.0.
xshubhamx выпустил дообученную версию law-ai/InLegalBERT для классификации юридических текстов. Модель построена на архитектуре BERT, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Базовая модель обучалась на судебных документах Индии и ориентирована на английский язык. README приводит результаты оценки: accuracy около 0,83 и macro F1 около 0,80. Это указывает на применимость для классификации текстов в задачах, сходных с оценочной выборкой, однако датасет, набор классов и подробности предполагаемого применения не раскрыты. Лицензия модели — MIT.
Jonrewardstage1epi2 — дообученная на базе openai-community/gpt2 модель для классификации текста. В репозитории указаны веса в формате safetensors; контекстная длина составляет 1024 токена. Карточка не описывает назначение классов или предметную область модели, поэтому её применение можно определить только в общих чертах — классификация текстовых последовательностей. Модель распространяется по лицензии MIT.
Komdigi-3b-pad-merged — дообученная мультимодальная модель языка и зрения от aitf-komdigi для задач защиты детей в цифровой среде. Она построена на архитектуре Mistral3 в стиле Pixtral и предназначена для анализа текста и изображений, классификации контента по возрастному рейтингу и категориям безопасности с объяснением, а также генерации ключевых слов. Модель ориентирована прежде всего на индонезийский контент; её можно применять в системах модерации, тегирования и индексирования, а также в прототипах рекомендаций возрастного рейтинга с участием человека. Лицензия — Apache 2.0. Модель может ошибаться на неоднозначном контенте, сленге, сарказме и культурно специфичных выражениях; при анализе изображений она может пропускать тонкие признаки вредного содержания. Объяснения могут быть недостаточно привязаны к входным данным, а результаты и ключевые слова — зависеть от формулировки запроса. Для чувствительных решений необходима проверка человеком; модель не предназначена для самостоятельного принятия юридических решений или автоматического удаления контента.
KomdigiITS-8B-DFK-TextClassification-Final — дообученная разработчиком hnuka модель семейства Mistral 3 для классификации индонезийских текстов по категориям дезинформации, клеветы и разжигания ненависти, а также для определения фактов и материалов, не относящихся к этим категориям. Модель основана на aitf-komdigi/KomdigiITS-8B-DFK-CPT и дообучена методом supervised fine-tuning на наборе Brodip/datasetSFT_tlr; README сообщает о 20 790 обучающих, 2 599 валидационных и 2 599 тестовых примерах. В карточке Hugging Face задача помечена как image-text-to-text, а архитектура и возможности указывают на Mistral 3 с поддержкой vision и chat. README описывает текстовую классификацию и сообщает максимальную длину последовательности 2048 токенов. Поэтому основное назначение модели — классифицировать текст по пяти меткам: DISINFORMASI, FITNAH, UJARAN KEBENCIAN, FAKTA и BUKAN DFK. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0.
sahilchachra/Laya-English-MXFP4 — английская версия энкодерной части модели Laya от Convai Innovations, представленная в MXFP4 для MLX на Apple Silicon. Основа — ModernBERT-large: двунаправленный плотный энкодер; в README указаны 421 млн параметров, 28 слоёв, размер скрытого представления 1024 и исходный контекст 512 токенов. Метаданные каталога указывают 394,7 млн параметров и контекст 8192 токена. Для описания версии использованы значения метаданных: часть значений README относится к исходному энкодеру, поэтому характеристики расходятся. Репозиторий предназначен для извлечения признаков из английского текста и построения собственных MLX-голов поверх энкодера. Это не полный комплект Laya: обученная отдельно голова принятия решений и API upstream-репозитория здесь не включены, а генерации текста и чат-интерфейса нет. MXFP4 снижает размер на диске примерно до 210 МБ, но заметно искажает скрытые состояния; в небольшом наборе проверок наблюдались расхождения оценок и одна перемена ответа при близких оценках. Лицензия в предоставленных данных не указана.
IoannisKat1/legal-bert-base-uncased-new — англоязычная модель Sentence Transformers, дообученная разработчиком на базе nlpaueb/legal-bert-base-uncased для получения эмбеддингов юридических предложений и документов. Архитектура состоит из BERT-энкодера и mean pooling; модель отображает текст в плотные векторы размерности 768, сравниваемые по косинусному сходству. Максимальная длина входа — 512 токенов. Модель предназначена для поиска и сопоставления юридических текстов по смыслу. Её можно применять для семантического поиска, оценки сходства предложений, поиска перефразировок и кластеризации; README также упоминает классификацию текста. В карточке приведены результаты поиска по наборам разной размерности эмбеддингов и указан обучающий набор из 391 пары anchor-positive. Модель рассчитана на английский язык и использует лицензию Apache-2.0. Результаты оценки приведены для конкретного набора данных, а обучающая выборка невелика; качество на иных юридических корпусах и языках может отличаться. Входная последовательность ограничена 512 токенами.
rufimelo/Legal-BERTimbau-base-TSDAE-sts — модель Sentence-Transformers для сопоставления семантически близких предложений и абзацев на португальском языке в юридической области. Она основана на Legal-BERTimbau-base-TSDAE, производной от BERTimbau large, и дообучена для оценки семантического сходства на наборах ASSIN, ASSIN2 и STS-B Multi-MT. Архитектура — BERT, около 136,1 млн параметров; модель преобразует текст в плотные векторы размерностью 1024 и принимает контекст длиной до 512 токенов. Модель подходит для семантического поиска и кластеризации юридических текстов, а также для ранжирования сходства между предложениями. В README приведены результаты оценки на португальских наборах STS. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.
Lemone-Embed-M — модель эмбеддингов на базе Sentence Transformers, разработанная Луи Брюле-Ноде для поиска по французским налоговым и юридическим документам. Она дообучена на intfloat/multilingual-e5-base на корпусе налоговых материалов Франции, включая налоговый кодекс, приложения, процедуры и разъяснения BOFiP; обучающая выборка содержит 296 234 примера, а обучение охватывало около 43 млн токенов.
Jeevesh8/long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_14 — модель Jeevesh8, размещённая на Hugging Face. Это дообученная версия BERT для задачи классификации текста; по идентификатору она связана с датасетом QQP, предназначенным для определения того, являются ли два вопроса семантически дубликатами. На странице модели указаны библиотеки Transformers и JAX, однако карточка модели отсутствует, поэтому точные метки классов, результаты оценки и детали дообучения не подтверждены. Модель основана на BERT-base-uncased — двунаправленном Transformer-энкодере для английского языка с примерно 110 миллионами параметров. Базовая модель использует uncased-токенизацию и поддерживает последовательности длиной до 512 токенов; в названии данного варианта указана длина последовательности 128 токенов. Модель принимает текстовые данные и предназначена для классификационных сценариев, а не для генерации текста. Сильной стороной является использование предварительно обученных представлений BERT и специализация на классификации пар вопросов. Ограничения включают английскую языковую направленность базовой модели, ограниченный контекст варианта с длиной 128 токенов и отсутствие подробной документации о данных, качестве, смещениях и точных параметрах обучения. Лицензия для данного пользовательского чекпойнта на странице модели не указана.
Jeevesh8/long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_4 — опубликованный пользователем Jeevesh8 чекпойнт для классификации текста на базе BERT-Base Uncased, исходно разработанного Google Research. На странице модели он отмечен как Text Classification и Transformers; карточка модели отсутствует, поэтому подробности о процессе обучения, метриках и точном авторстве дообучения не указаны. Модель предназначена для задач, связанных с QQP (Quora Question Pairs), то есть для определения отношения между парами вопросов, в частности их семантической эквивалентности или неэквивалентности. Используется через Transformers как модель sequence classification. Из идентификатора следует ограничение длины последовательности 128 токенов и дообучение BERT-Base Uncased. Базовая архитектура BERT-Base Uncased — двунаправленный Transformer-энкодер с 12 слоями, скрытым размером 768, 12 attention heads и примерно 110 млн параметров; английский текст приводится к нижнему регистру и токенизируется WordPiece. Сильная сторона — применение предварительно обученных контекстных представлений BERT к классификации пар вопросов. Ограничения — ориентация на английский текст и сценарий QQP, потеря информации при превышении длины 128 токенов, а также отсутствие опубликованных на странице модели метрик качества. Лицензия именно этого производного чекпойнта не указана; для базовой реализации BERT Google Research указана Apache 2.0.
Nobris разработала lt-nobris-en — дообученную модель Sentence Transformers на архитектуре MPNet для сопоставления названий организаций. Она кодирует два названия в эмбеддинги; косинусное сходство между ними помогает оценить, относятся ли записи к одной организации. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 514 токенов и распространяется в формате safetensors по лицензии MIT. Модель предназначена для проверки организаций в сценариях исследовательской безопасности и экспортного контроля: сопоставления с ограничительными списками, разрешения вариантов названий, аббревиатур, псевдонимов, дочерних организаций и транслитераций, а также связывания доменов сайтов с организациями. В обучающих данных представлены английский, китайский, русский и другие языки. На валидационной выборке из README средняя точность AP составила 0,877; оптимальные пороги зависят от того, важнее полнота или точность совпадений. Это вспомогательная модель ранжирования сходства, а не система для принятия юридических решений. Она обучена на названиях организаций и не предназначена для поиска совпадений по именам людей или для общих задач семантического сходства. На высоких порогах полнота совпадений по аббревиатурам ограничена; охват сопоставления доменов ограничен организациями с сайтами в данных ROR. Данные преимущественно охватывают китайские и российские организации, поэтому качество для других регионов может быть ниже; возможны ложные срабатывания на легитимные китайские академические организации, а сведения об ограничениях со временем устаревают.
lyfi-expert-classification — дообученная модель классификации текста на основе bert-base-multilingual-cased. Она предназначена для отнесения текстов к классам; конкретная схема меток и целевая область применения в карточке не раскрыты. Модель использует архитектуру BERT, содержит 205,1 млн параметров и принимает последовательности длиной до 512 токенов. Базовая модель многоязычная, но конкретные языки, проверенные для этой версии, не перечислены. В README указана точность 1,0 и потеря 0,0000 на оценочном наборе, однако датасет не назван, а описание обучения и оценки отсутствует, поэтому эти результаты не позволяют судить о качестве на новых данных. Модель распространяется под лицензией Apache-2.0.
MaMMUT2 moderntext ViT-B/32 — исследовательский чекпойнт модели для сопоставления изображений и текстов, обученный rwightman на pixparse/cc12m-wds. Модель сочетает визуальную архитектуру ViT-B/32 с современным текстовым декодером на RoPE, RMSNorm, SwiGLU и gated attention; текстовый модуль использует токенизатор r50k и контекст до 128 токенов. Обучение продолжалось 32 эпохи на задаче InfoNCE с дополнительной функцией потерь для генерации подписей. Модель предназначена для zero-shot классификации изображений по текстовым меткам, поиска изображений по текстовому запросу и поиска текстовых описаний по изображению. В README этот запуск назван самым слабым среди вариантов moderntext по всем метрикам и экспериментальной точкой для изучения чувствительности к learning rate: значение 3e-3 оказалось выше стабильного диапазона. Для практического применения автор рекомендует рассматривать более сильные варианты серии. Лицензия — Apache-2.0.
mljn/mDeBERTa-v3-base-mnli-xnli-finetuned-econ_frame-nli-classification — дообученная модель классификации текстов на основе MoritzLaurer/mDeBERTa-v3-base-mnli-xnli. Она предназначена для отнесения текста к экономическим фреймам; карточка сообщает о дообучении для этой задачи и приводит результаты оценки: accuracy 0,9324, macro F1 0,9191 и ROC AUC 0,9414. Модель построена на архитектуре DeBERTa-v2, содержит 306 млн параметров и принимает последовательности длиной до 512 токенов. Использовать её можно для тематической разметки и анализа текстов об экономике. Базовая модель поддерживает многоязычную классификацию и NLI, однако языки и датасет, использованные при дообучении этой версии, в карточке не раскрыты. Лицензия — MIT.
Модель takehika/mdeberta-v3-wanli-ja-nli разработана как дообученная версия microsoft/mdeberta-v3-base для японского вывода по тексту и классификации без заранее заданного набора классов. Она основана на архитектуре DeBERTa V2, содержит 306 млн параметров и работает через библиотеку Transformers; веса представлены в формате Safetensors. Модель сопоставляет посылку и гипотезу, чтобы оценить их логическое отношение, и может применяться для классификации текста по описаниям категорий на японском языке. Обучение проведено на 73 942 примерах японского набора wanli-ja-nli в течение двух эпох. В README приведены точность 0,7506 и F1 0,7497 на проверочной выборке. Контекст ограничен 512 токенами, а более длинные пары обрезаются. Смена домена и состязательные примеры могут снижать качество. Лицензия — CC BY 4.0.
Dqdung205/medical_vietnamese_embedding — модель Sentence Transformer, созданная разработчиком Dqdung205 дообучением Alibaba-NLP/gte-multilingual-base на наборе medical-vietnamese-qa. Она преобразует предложения и абзацы на вьетнамском языке в плотные векторы размерности 768 для сравнения по косинусному сходству. Модель предназначена для поиска медицинских ответов и документов по смыслу, оценки сходства текстов, поиска перефразировок, кластеризации и классификации. Максимальная длина входа — 8192 токена. В README приведена оценка поиска на ViHealthQA; результаты относятся к указанному тестовому набору.
Mengzi-BERT L6-H768 — разработанная Langboat китайская дистиллированная версия Mengzi-BERT-Large на архитектуре BERT с 72,8 млн параметров. Модель предназначена для работы с китайским текстом; в карточке указаны результаты оценки на девяти китайских задачах, включая классификацию, понимание и ответы на вопросы. В метаданных задана задача fill-mask. Модель опубликована в формате PyTorch, поддерживает контекст до 512 токенов и распространяется по лицензии Apache-2.0. Дистилляция уменьшила модель относительно Mengzi-BERT-Large; конкретные ограничения качества или сценарии, где она превосходит базовую модель, в карточке не заявлены.
ModernBERT-Ja-30M — двунаправленная модель с маскированным языковым моделированием, разработанная SB Intuitions. Она предназначена для заполнения пропусков в тексте и как основа для дообучения под прикладные задачи понимания японского языка. Модель семейства ModernBERT сочетает локальное и глобальное внимание и использует RoPE. В ней 36,7 млн параметров, а длина контекста составляет до 8 192 токенов. Модель обучена на японских и английских текстах; токенизатор SentencePiece использует словарь из 102 400 токенов. Модель подходит для маскированного языкового моделирования и дообучения для классификации и других задач понимания текста. Она не предназначена для генерации текста, а токенизация может ухудшать качество задач разметки токенов, например распознавания именованных сущностей. Лицензия — MIT.
MrBERT-ca — двуязычная языковая модель на архитектуре ModernBERT, разработанная лабораторией Language Technologies Lab Барселонского суперкомпьютерного центра. Она создана для каталонского и английского языков: веса и эмбеддинги адаптированы на основе MrBERT-es с учетом различий токенизаторов, после чего модель продолжительно предобучена на сбалансированном корпусе объемом 47,4 млрд токенов. Модель содержит около 149 млн параметров, использует токенизатор SPM и поддерживает контекст до 8192 токенов. Основная задача — предсказание скрытых токенов в тексте (Masked Language Modeling). Энкодер также оценивается на задачах понимания каталонского текста, включая распознавание именованных сущностей, разметку частей речи, оценку семантического сходства, классификацию, вывод и ответы на вопросы; эти задачи требуют соответствующей настройки. В тестах CLUB модель показала сильные результаты для каталонского на POS и семантическом сходстве. Доступны веса PyTorch и Safetensors. Лицензия — Apache-2.0. Авторы предупреждают о возможных смещениях и непреднамеренных искажениях.
MrBERT-science — многоязычная энкодерная модель для научного текста, разработанная лабораторией Language Technologies Lab Барселонского суперкомпьютерного центра. Она получена доменной адаптацией MrBERT: веса исходной модели дообучены на научном корпусе объёмом 3,6 млрд токенов, из которых 38,1% испанские и 61,9% английские. Модель построена на архитектуре ModernBERT и содержит около 307 млн параметров. Она обучена по задаче Masked Language Modeling и поддерживает заполнение пропусков в тексте; в метаданных указан контекст до 8192 токенов. Карточка приводит результаты на научной классификации, поиске и тематических бенчмарках, поэтому модель может служить основой для прикладных систем анализа научных публикаций на английском и испанском языках. Лицензия Apache-2.0. Авторы предупреждают о возможных смещениях и непреднамеренных искажениях; при использовании в сторонних системах ответственность за снижение рисков и соблюдение применимых требований лежит на пользователе.
Aladin004/my_awesome_model — модель DistilBERT, дообученная на неизвестном наборе данных для классификации текста. В метаданных указаны архитектура DistilBertForSequenceClassification, библиотека Transformers, формат весов safetensors и базовая модель distilbert/distilbert-base-uncased. Контекст модели составляет 512 токенов. Модель предназначена для классификации текстовых последовательностей. На оценочном наборе данных автор сообщает accuracy 0,9314 и loss 0,2316, однако описание набора данных, классов и методики оценки отсутствует. Модель поддерживает английский язык, унаследованный от базовой uncased-модели DistilBERT. Лицензия — Apache-2.0; пригодность метрик для конкретного применения зависит от неизвестных данных и классов, на которых проводилась оценка.
MyAwesomeModel — модель из репозитория asd21ecxxz12/MyAwesomeModel-TestRepo, распространяемая по лицензии MIT и предназначенная для извлечения признаков из текста. Согласно метаданным, модель использует экосистему Transformers и PyTorch, а также относится к семейству BERT по тегам Hugging Face. README позиционирует модель как обновлённую версию с улучшенными возможностями рассуждения, понимания текста, классификации, анализа тональности, ответов на вопросы, суммаризации, генерации кода и диалогов, а также с поддержкой function calling. Однако заявленные в README генеративные и диалоговые сценарии не согласуются с pipeline-тегом feature-extraction, поэтому их следует рассматривать как заявления карточки, требующие проверки по конфигурации и файлам модели.
MyAwesomeModel — модель из репозитория DSADSD12SZC/MyAwesomeModel-TestRepo, предназначенная по метаданным Hugging Face для извлечения признаков с использованием библиотеки Transformers и фреймворка PyTorch. В тегах также указана архитектурная принадлежность к BERT. README описывает обновлённую версию как модель с улучшенными рассуждениями, математическими и программными способностями, генерацией текста, ответами на вопросы, классификацией, суммаризацией и поддержкой function calling, однако эти заявления не согласуются с указанным pipeline_tag feature-extraction.