I.11Классификация, ранжирование и сопоставление

iioSnail разработал модель для многоклассовой классификации китайских слов: каждому слову назначается одна или несколько категорий из 12 тематических классов, основанных на типах словаря Sogou. Модель использует архитектуру BERT с классификационной головой BertForSequenceClassification, содержит 129,5 млн параметров и принимает текстовые входные данные длиной до 512 токенов. Модель предназначена для тематической разметки китайских слов, например для категоризации словарных записей и организации поиска по тематическим рубрикам. Она поддерживает китайский язык и доступна в форматах PyTorch и Safetensors. Лицензия — AFL-3.0. Карточка описывает назначение и набор категорий, но не приводит метрик качества или подробностей обучения. Классы охватывают гуманитарные и общественные науки, сельское хозяйство, медицину, города, развлечения, инженерию, повседневную жизнь, видеоигры, естественные науки, искусство и спорт с досугом.

BERT base Japanese v3 — предобученная модель семейства BERT от команды Tohoku NLP для работы с текстами на японском языке. Это базовая архитектура BERT: 12 слоёв, размер скрытого состояния 768 и 12 голов внимания; модель содержит 138,4 млн параметров и принимает последовательности длиной до 512 токенов. Веса доступны в форматах PyTorch, TensorFlow и Flax, лицензия — Apache-2.0. Модель обучена на японских частях CC-100 и Википедии. Текст токенизируется сначала с помощью MeCab и словаря Unidic 2.1.2, затем алгоритмом WordPiece; размер словаря — 32 768 токенов. Для задачи masked language modeling применялось маскирование целых слов. Чекпойнт подходит как основа для дообучения и извлечения контекстных представлений в японских NLP-сценариях. Это модель для понимания текста, а не генеративный чат-ассистент: сама по себе она не предназначена для диалоговой генерации или непосредственного выполнения прикладных задач без соответствующей головы и дообучения. Её контекст ограничен 512 токенами, а обучение ориентировано на японский язык.

BERTimbau Base — предварительно обученная модель BERT для бразильского португальского языка, разработанная Neuralmind. Это базовая версия архитектуры BERT с 12 слоями и примерно 136,1 млн параметров по метаданным; она предназначена для заполнения замаскированных токенов и получения текстовых представлений, которые можно использовать в задачах обработки португальского языка. В README также отмечены результаты на распознавании именованных сущностей, оценке семантического сходства предложений и распознавании текстового следования; для этих задач модель обычно требуется дообучить. Модель принимает текст и предсказывает пропущенные токены. Контекстное окно составляет 512 токенов. В карточке указаны варианты весов для PyTorch, TensorFlow и Flax, а лицензия — MIT. Модель ориентирована на бразильский португальский и обучалась на корпусе brWaC.

Карточка модели fatymahaly/bert-base-uncased на Hugging Face совпадает с карточкой google-bert/bert-base-uncased, поэтому описание составлено по ней. BERT base uncased — англоязычная предварительно обученная модель Google на базе архитектуры BERT для восстановления замаскированных слов. Она содержит 136,7 млн параметров и принимает текст в нижнем регистре; токенизатор WordPiece использует словарь из 30 000 токенов. Контекст ограничен 512 токенами. Предобучение на BookCorpus и англоязычной Википедии использовало задачи masked language modeling и предсказания следующего предложения. Модель предназначена прежде всего для дальнейшей настройки под задачи понимания текста, например классификацию, разметку токенов и ответы на вопросы. Её можно применять для заполнения пропусков в тексте; она также может служить источником признаков для downstream-моделей. Это базовый чекпойнт, а не модель для генерации длинных текстов. Предобучение без учительской разметки позволяет использовать корпусный контекст, однако предсказания могут отражать смещения данных. Модель распространяется по лицензии Apache-2.0.

trituenhantaoio/bert-base-vietnamese-uncased — модель семейства BERT от автора репозитория trituenhantaoio. Это безрегистровая версия BERT для вьетнамского языка с 137,8 млн параметров и контекстом до 512 токенов. В README показана загрузка через Transformers и применение класса BertForSequenceClassification для классификации последовательностей. Модель подходит как основа для классификации вьетнамских текстов после настройки под конкретную задачу. Репозиторий содержит веса в форматах PyTorch, TensorFlow и Flax, включая safetensors. Сведения о лицензии и конкретном наборе обучающих данных в предоставленных материалах отсутствуют.

Legal BERTimbau — модель на основе крупной португалоязычной версии BERTimbau, разработанная stjiris в рамках проекта IRIS для семантического поиска решений Верховного суда Португалии. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для поиска семантически близких текстов, сравнения предложений и кластеризации. Модель основана на BERT и дообучалась на юридических текстах, а затем на задачах NLI и семантического сходства с использованием наборов ASSIN, ASSIN2, STS-B Multi-MT для португальского и IRIS STS. Контекст составляет до 512 токенов; поддерживается португальский язык. Лицензия — MIT. Модель подходит для семантического поиска по юридическим документам и сопоставления португальских текстов. Её векторные представления сами по себе не формируют ответы и не заменяют юридическую оценку; качество за пределами португальских юридических и близких задач может быть ограничено.

prajjwal1/bert-medium-mnli — компактная модель классификации текста на основе BERT, опубликованная Prajjwal Bhargava. Веса получены преобразованием TensorFlow-чекпойнта из официального репозитория Google BERT; варианты BERT описаны в работе о компактных предобученных моделях. Эта версия дообучена на наборе MNLI в течение четырёх эпох и предназначена для классификации текстовых последовательностей, в частности для задач естественного языкового вывода и определения связи между посылкой и гипотезой. Модель содержит около 49,2 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Репозиторий содержит веса PyTorch и Flax. Карточка не сообщает лицензию и не перечисляет поддерживаемые языки, поэтому применимость к конкретному языку следует проверять отдельно. Модель основана на BERT и обучалась на MNLI; возможны ошибки на примерах, отличающихся от этого набора данных или содержащих эвристические ловушки.

prajjwal1/bert-small-mnli — компактная модель классификации последовательностей на основе BERT, опубликованная Prajjwal Bhargava. Это вариант семейства BERT, обученный на наборе MultiNLI для задач вывода на естественном языке и классификации текстовых пар. Модель содержит 32,4 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Чекпойнт получен преобразованием TensorFlow-чекпойнта из официального репозитория Google BERT в формат PyTorch; в карточке также указан формат Flax. Модель подходит для определения отношений между посылкой и гипотезой и для классификации текста по заданным меткам. Лицензия в предоставленных данных не указана.

google/bert_uncased_L-2_H-128_A-2 — компактная англоязычная модель BERT Miniatures от Google, описанная в работе «Well-Read Students Learn Better: On the Importance of Pre-training Compact Models». Это BERT с 2 слоями и скрытым размером 128; модель содержит около 4,4 млн параметров и принимает последовательности длиной до 512 токенов. Она обучена без учёта регистра с маскированием WordPiece и предназначена для сред с ограниченными вычислительными ресурсами. Модель можно дообучать для задач понимания текста, таких как классификация и оценка сходства предложений. Авторы отмечают, что компактные модели особенно эффективны при дистилляции, когда метки для дообучения генерирует более крупная и точная модель-учитель. Доступны веса PyTorch, Flax и Safetensors. Модель рассчитана на английский язык. Её компактность снижает требования к вычислительным ресурсам, но качество может уступать более крупным моделям, а для прикладных задач обычно требуется дообучение или дистилляция. Лицензия — Apache-2.0.

Карточка модели google/bert_uncased_L-2_H-768_A-12 на Hugging Face совпадает с карточкой google/bert_uncased_L-2_H-128_A-2, поэтому описание составлено по ней. google/bert_uncased_L-2_H-128_A-2 — компактная англоязычная модель BERT Miniatures от Google, описанная в работе «Well-Read Students Learn Better: On the Importance of Pre-training Compact Models». Это BERT с 2 слоями и скрытым размером 128; модель содержит около 4,4 млн параметров и принимает последовательности длиной до 512 токенов. Она обучена без учёта регистра с маскированием WordPiece и предназначена для сред с ограниченными вычислительными ресурсами. Модель можно дообучать для задач понимания текста, таких как классификация и оценка сходства предложений. Авторы отмечают, что компактные модели особенно эффективны при дистилляции, когда метки для дообучения генерирует более крупная и точная модель-учитель. Доступны веса PyTorch, Flax и Safetensors. Модель рассчитана на английский язык. Её компактность снижает требования к вычислительным ресурсам, но качество может уступать более крупным моделям, а для прикладных задач обычно требуется дообучение или дистилляция. Лицензия — Apache-2.0.

google/bert_uncased_L-6_H-512_A-8 — компактная англоязычная модель BERT из набора BERT Miniatures, описанного в работе Iulia Turc и соавторов. Она предназначена для задач понимания текста и сценариев с ограниченными вычислительными ресурсами. Модель имеет 6 слоёв, скрытый размер 512 и 8 attention heads; число параметров — 40,8 млн, максимальная длина контекста — 512 токенов. Доступны веса в форматах PyTorch и Flax, лицензия — Apache-2.0. Модель можно дообучать для классификации текста, оценки сходства и других задач, обычно решаемых BERT. Авторы отмечают, что компактные варианты особенно эффективны при дистилляции, когда метки для дообучения генерирует более точная крупная модель. Модель обучена для английского языка без учёта регистра; README приводит результаты семейства на GLUE, но не отдельные оценки для этой конфигурации.

Hygros-LCA разработала дообученную на базе BAAI/bge-m3 модель Sentence-Transformers для поиска строительных материалов по метаданным элементов IFC в рабочих процессах KBOB и оценки жизненного цикла (LCA). Она преобразует текстовые запросы в эмбеддинги размерностью 1024 для семантического поиска и ранжирования кандидатов по каталогу материалов; сходство оценивается косинусной мерой. Максимальная длина последовательности в README — 128 токенов, хотя метаданные указывают нативный контекст 8194 токена. Модель предназначена для извлечения кандидатов по данным зданий и инфраструктуры, семантического поиска по каталогам материалов и предварительного отбора перед ручной проверкой. В оценке на 389 запросах Hit@1 составил 97,43% для обычных запросов, 88,43% при опечатках и 75,32% при пропущенных атрибутах; отсутствие семантически важных полей заметно ухудшает ранжирование. Для окончательного назначения материала нужны проверка человеком и учёт проекта, стандартов и местных норм. Модель не предназначена для автономных юридических, закупочных или критичных для безопасности решений и не заменяет экологические декларации. Лицензия — MIT.

Suchae/bge-m3-Korean-Judgment-Transducer-Verifier-v1.1 — модель Sentence Transformer на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 1024; сходство текстов оценивается косинусной близостью. Максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текстов. Название указывает на применение к корейским судебным текстам, однако README не приводит подробностей обучения или результатов на юридических задачах. Весовые файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.

anhdt84/bge_m3_multiplenegativesrankingloss — модель эмбеддингов на основе BAAI/bge-m3, дообученная для банковской тематики. Она предназначена для семантического поиска и извлечения релевантных текстов, а также сравнения сходства предложений; в примере карточки запрос о требованиях для открытия кредитной карты кодируется в вектор для поиска. Модель построена на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров и поддерживает контекст до 8194 токенов. Для работы используется Sentence-Transformers; файлы модели представлены в формате safetensors. Карточка демонстрирует применение на вьетнамском языке, а базовая BGE-M3 описана как многоязычная модель. Лицензия — Apache-2.0. Качество на других банковских задачах и языках, а также ограничения дообучения в карточке не описаны.

Whis29 создал турецкую дообученную версию BAAI/bge-m3 на базе Sentence Transformers для поиска релевантных текстов. Модель кодирует предложения и абзацы в плотные векторы размерности 1024, нормализует их и сравнивает с помощью косинусного сходства. Архитектура состоит из XLM-RoBERTa, слоя pooling по CLS-токену и нормализации; максимальная длина последовательности — 8192 токена. Модель подходит для семантического поиска и сопоставления турецких юридических запросов с документами или фрагментами документов. Для дообучения использованы 12 686 обучающих примеров с парами anchor-positive-negative и 668 примеров для оценки. Базовая BGE-M3 многоязычная, однако карточка этой версии указывает специализированное применение к турецким юридическим текстам. Лицензия в предоставленных данных не указана.

pan0sk разработала bge-reranker-v2-m3-legal — перекрёстный переранжировщик на базе BAAI/bge-reranker-v2-m3 для поиска по греческим юридическим, нормативным и административным документам. Модель получает запрос и фрагмент текста и выдаёт оценку их релевантности, по которой можно переставить результаты первичного поиска. Архитектура — XLM-RoBERTa для классификации последовательностей; в репозитории есть веса safetensors и квантизированный ONNX-вариант int8 для CPU. Метаданные указывают 658,7 млн параметров и контекст до 8194 токенов, тогда как README описывает максимальную длину последовательности 512 токенов; ориентируйтесь на ограничение используемой реализации и конфигурации при запуске. Модель обучена на примерно 759 тысячах пар запрос–фрагмент для греческого юридического, нормативно-административного и общеязыкового текста. На отложенной выборке греческих юридических запросов автор сообщает улучшение recall@1 относительно базового эмбеддера и стандартного переранжировщика; для нормативно-административной выборки результат уступил стандартной модели. Английский и межъязыковой поиск не были целью дообучения. Оценки модели не являются вероятностями и не сопоставимы напрямую между запросами; длинные фрагменты могут усекаться. Лицензия — Apache-2.0.

sararob/book-recommender — дообученный автором Sentence Transformers англоязычный энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2. Модель кодирует предложения и абзацы в плотные векторы размерностью 384 и предназначена для сравнения смысловой близости, семантического поиска и подбора похожих текстов. Название и примеры обучающих пар указывают на сценарий поиска книг по описанию или предпочтениям: например, сопоставление запроса «уютный детектив в маленьком городке» с похожим описанием. Архитектура основана на BERT с усреднением токенных представлений и нормализацией векторов; сходство можно оценивать косинусной мерой. В метаданных указано окно контекста 512 токенов, тогда как README модели задаёт максимальную длину последовательности 256 токенов. Репозиторий содержит форматы Safetensors и ONNX и насчитывает 25,9 млн параметров. Обучение описано как дообучение на трёх парах предложений с MultipleNegativesRankingLoss, поэтому качество специализированных рекомендаций может быть ограниченным. Лицензия в предоставленных данных не указана.

categorai23cats — дообученная модель DistilBERT для классификации текстов по 23 категориям. Она основана на distilbert-base-uncased и предназначена для присвоения тексту категории в сценариях, где набор классов заранее определён. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст и поддерживает контекст до 512 токенов. В README указаны результаты оценки: accuracy 0,7426 и loss 1,6794. Названия категорий и данные о наборе обучения не приведены, поэтому применимость к конкретной тематике неясна. Модель распространяется по лицензии Apache-2.0.

openthaigpt/CLIPTextCamembertModelWithProjection — текстовый энкодер для CLIP, разработанный командой OpenThaiGPT. Модель преобразует текст в векторное представление, согласованное с пространством изображений CLIP, и предназначена для поиска изображений по тексту и классификации изображений без дополнительного обучения. В README описан двухэтапный подход: дистилляция языкового энкодера для тайского и двуязычного англо-тайского текста с последующим продолжением обучения CLIP с замороженным энкодером изображений. Модель имеет 132,5 млн параметров, поддерживает контекст до 512 токенов и принимает текст; векторное представление выдаётся через проекционную голову. В карточке указана лицензия MIT. README описывает предполагаемое применение в составе CLIP-подобных систем, но не приводит численных результатов оценки качества.

Карточка модели spidercob/code-risk-classifier на Hugging Face совпадает с карточкой spidercob/dlp-intent-classifier, поэтому описание составлено по ней. spidercob/dlp-intent-classifier — модель SetFit для классификации текста по четырём классам. Она использует BERT-энкодер размером 25,9 млн параметров и классификатор LogisticRegression. Обучение SetFit включает контрастивное дообучение Sentence Transformer и обучение классификационной головы на полученных признаках. Модель предназначена для определения намерения по тексту в сценариях, где требуется отнести запрос к одной из четырёх категорий. Метаданные указывают библиотеку SetFit и максимальную длину контекста 512 токенов; в README указана максимальная длина последовательности 256 токенов. Репозиторий содержит веса в формате safetensors. В карточке не названы сами классы, языки обучающих данных и лицензия. Поэтому перед применением нужно проверить соответствие меток и языка своим данным; короткие запросы могут не помещаться без усечения в заявленный лимит последовательности README.

Adaptive Classifier — классификатор текста на основе answerdotai/ModernBERT-base, опубликованный под именем adaptive-classifier/content-moderation. Модель поддерживает непрерывное обучение и добавление новых классов; в текущей конфигурации у неё три класса: appropriate, inappropriate и spam. Представления имеют размерность 768, обучение описано на 15 примерах — по пять на класс. Модель предназначена для классификации текста по заданным категориям, в частности для предварительной модерации и обнаружения спама. Её можно использовать в сценариях, где требуется адаптировать набор классов по мере поступления новых размеченных примеров. Для обновления прототипов нужны примеры каждого класса: не менее трёх и не более 150 на класс; прототипы обновляются каждые десять примеров. Лицензия — Apache-2.0. В карточке заявлена многоязычность, но конкретные языки и качество на них не приведены.

OysterQAQ/DanbooruCLIP — модель CLIP, дообученная на основе ViT-L/14 разработчиком OysterQAQ на датасете Danbooru2021; в обновлении от 17 июля 2023 года добавлены данные Pixiv. Она предназначена для классификации изображений по текстовым описаниям в режиме zero-shot: пользователь задаёт варианты меток, а модель сопоставляет их с изображением. Такой подход подходит для поиска и категоризации иллюстраций по тегам и описаниям. Репозиторий содержит веса PyTorch. Подробности о лицензии и ограничениях качества в доступных материалах не приведены.

DCUBE Language Identifier — компактная модель для определения языка по тексту, разработанная DCUBE Ai. Она дообучена методом LoRA SFT на базе Qwen2.5-0.5B-Instruct с использованием дистилляции знаний от Qwen3-14B и примеров из набора papluca/language-identification с дополнительными данными на малаялам. Модель принимает текст и отвечает названием распознанного языка; поддерживает 21 язык, включая русский, английский, китайский, арабский и хинди. Модель семейства Qwen2 имеет плотную архитектуру, около 494 млн параметров и контекстное окно 32 768 токенов. В репозитории доступны веса Safetensors и GGUF; шаблон чата может автоматически добавлять инструкцию для определения языка. Лицензия — Apache-2.0. README рекомендует устанавливать температуру 0 при использовании через LM Studio.

microsoft/deberta-v2-xxlarge — англоязычная базовая модель Microsoft семейства DeBERTa V2 для задач понимания естественного языка. Это плотный трансформер с 48 слоями и размером скрытого представления 1536; в метаданных указано 2 млрд параметров, а в README — 1,5 млрд. Модель использует раздельное внимание (disentangled attention) и улучшенный декодер маскирования. Контекст — до 512 токенов. Основной сценарий применения — восстановление замаскированных токенов; базовую модель также можно дообучать для классификации текста и ответов на вопросы. В README приведены результаты дообучения на SQuAD и задачах GLUE, но они относятся к вариантам и настройкам fine-tuning, а не гарантируют такие же показатели у исходного чекпойнта. Для запуска крупной версии README рекомендует DeepSpeed или sharded DDP для экономии памяти и ускорения. Лицензия — MIT.

Модель abdiharyadi/deberta-v3-large-ft-icar-a-v0.11-to — дообученная для классификации текста версия DeBERTa V3 Large. Она построена на архитектуре DeBERTa V2 и содержит около 533,8 млн параметров; модель принимает текстовые последовательности длиной до 512 токенов и выдаёт классы. Модель предназначена для задач классификации текста. В README приведены результаты оценки: accuracy 0,9149, precision 0,8989, recall 0,8870 и F1 0,8925, однако датасет и набор классов не описаны, поэтому нельзя определить конкретную предметную область или переносимость этих результатов на другие данные. Лицензия — MIT.

agentlans/deberta-v3-xsmall-zyda-2 — англоязычная модель, дообученная на подмножестве набора Zyphra/Zyda-2. Она основана на архитектуре DeBERTa-v3-xsmall и обучалась с целью masked language modeling; размер модели — 77,5 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для заполнения пропусков в тексте, классификации текста и получения текстовых эмбеддингов. В README приведены результаты оценки: loss 2,6347 и accuracy 0,5607. Модель можно использовать как основу для дальнейшего дообучения. Поддерживается только английский язык. Модель может ошибаться на специализированной терминологии, диалектах, сленге, коде и LaTeX; также она может наследовать смещения обучающих данных, поэтому её результаты требуют проверки, особенно в чувствительных сценариях. Лицензия — MIT.

ai4data разработала DevData Search MiniLM L6 CGIST — биэнкодер для получения векторных представлений и поиска по структурированным статистическим метаданным. Модель дообучена на DevDataBench на основе sentence-transformers/all-MiniLM-L6-v2 с функцией потерь CGIST. Архитектура — плотный BERT-энкодер примерно на 25,9 млн параметров; максимальная длина последовательности — 512 токенов. При обучении использовались перестановка порядка полей и исключение части полей, чтобы модель связывала значения с названиями полей, а не с их позицией в записи. Она подходит для векторизации запросов и описаний наборов данных, семантического поиска и сравнения статистических метаданных. Это модель для построения retrieval-систем, а не готовый хостинг поиска. Лицензия — Apache-2.0.

ai4data/devdata-search-multilingual-e5-small-nopermute-cmnrl — компактная двуязычная по формату входных данных модель эмбеддингов, разработанная ai4data для семантического поиска по структурированным статистическим метаданным. Это дообученный биэнкодер на базе BERT-модели intfloat/multilingual-e5-small, распространяемый в формате safetensors и рассчитанный на использование через Sentence Transformers или Text Embeddings Inference. Модель кодирует запросы и описания записей в векторы для поиска и сравнения; в README рекомендуются префиксы «query: » для запросов и «passage: » для документов. Обучение проводилось на DevDataBench с функцией потерь cmnrl. Вариант nopermute не использует перестановку полей и исключение полей при обучении. Контекст ограничен 512 токенами, число параметров — 124,3 млн. Модель предназначена для поиска по статистическим метаданным и не является готовым размещённым поисковым сервисом. Лицензия — Apache-2.0.

joeddav/distilbert-base-uncased-agnews-student — компактная DistilBERT-модель для классификации новостных текстов по категориям AG's News. Её автор — joeddav; модель получена дистилляцией предсказаний zero-shot классификатора на неразмеченном наборе AG's News. В качестве учителя использовалась roberta-large-mnli с шаблоном гипотезы «This text is about {}.». Модель предназначена для быстрого отнесения новостей к категориям набора AG's News и демонстрации переноса знаний от ресурсоёмкого NLI-классификатора к более компактной модели. Архитектура — DistilBertForSequenceClassification; модель принимает текст и выдаёт метку класса. Поддерживается английский язык, длина контекста составляет 512 токенов. Доступны веса PyTorch и TensorFlow. По описанию автора, качество может быть ниже, чем у модели, обученной на полностью размеченных данных AG's News. Лицензия — MIT.

psomi/distilbert-base-uncased-finetuned-clinc — модель DistilBERT, дообученная для классификации текста. Она предназначена для отнесения текстовых последовательностей к классам; карточка сообщает точность 0,9184 и loss 0,7894 на оценочной выборке, но не раскрывает набор меток и состав данных. Модель построена на архитектуре DistilBertForSequenceClassification, использует библиотеку Transformers, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Базовая модель — distilbert/distilbert-base-uncased. Лицензия — Apache-2.0. README не описывает конкретные сценарии применения и ограничения качества.