I.11Классификация, ранжирование и сопоставление

ViSigLIP-OT — мультимодальная модель для поиска соответствий между изображениями и текстом на вьетнамском языке, разработанная как вариант семейства ViCLIP-OT. Это двухэнкодерная модель на 221 млн параметров: текстовый энкодер основан на Vietnamese-SBERT, а визуальный — на DINOv3 ViT-B/16. Для выравнивания представлений изображений и текста используется обучение в стиле SigLIP вместе с функцией потерь Similarity-Graph Regularized Optimal Transport (SIGROT). Модель принимает изображения размером 224 × 224 пикселя и текст длиной до 256 токенов, а выдаёт совместимые векторные представления. Модель предназначена для поиска изображений по вьетнамским текстовым запросам и поиска текстов по изображениям, семантического поиска между модальностями и извлечения признаков для последующих задач компьютерного зрения. В README заявлены высокие результаты на тестах поиска изображение–текст и обобщение zero-shot. Репозиторий распространяется под лицензией GPL-3.0.

VoiceCLAP-Small-v2 — контрастивная модель для совместного представления голоса и текста, разработанная LAION как версия laion/voiceclap-small с дополнительным обучением на коротких эмоционально ориентированных описаниях аудио. Она использует двухбашенную архитектуру CLAP: аудиобашню на основе BUD-E-Whisper_V1.1 и текстовую башню на основе MiniLM-L6-v2, после которых применяются отдельные MLP-проекции; обучение проводилось с контрастивной функцией потерь SigLIP. Модель предназначена для получения сопоставимых эмбеддингов речи и текстовых описаний, в частности для анализа эмоций и разговорного стиля, а также поиска соответствия между голосовым фрагментом и текстом. В README сообщается об улучшении относительно первой версии на измеренных бенчмарках, включая EmoNet-Voice, при том же размере и стоимости инференса. Аудиоэнкодер имеет 12 слоёв, размерность 768 и 12 голов внимания, принимает 80-мерные мел-спектрограммы с частотой 16 кГц; текстовый энкодер MiniLM имеет 6 слоёв и размерность 384 с усреднением токенов. Модель поддерживает английский, немецкий, французский, испанский и китайский языки. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Показатели бенчмарков из README не гарантируют качество на иных данных и задачах; для практического поиска нужно отдельно организовать вычисление и сравнение эмбеддингов.

alimazhar-110/website_classification — дообученная модель DistilBERT для классификации текстов. Она предназначена для определения категории по тексту веб-сайта; набор категорий и обучающий датасет в карточке не раскрыты. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст и имеет контекст до 512 токенов. В README приведены результаты оценки: accuracy 0,9504, F1 0,9489, precision 0,9510 и recall 0,9504. Эти показатели относятся к неизвестному набору данных, поэтому их нельзя напрямую переносить на другие сайты и категории. Модель основана на distilbert-base-uncased и распространяется по лицензии Apache-2.0.

Whisper Medium FLEURS Language Identification — модель классификации аудио, созданная дообучением OpenAI Whisper Medium на подмножестве FLEURS датасета google/xtreme_s. Она предназначена для определения языка по аудиозаписи речи. Модель содержит 455,8 млн параметров, использует архитектуру Whisper и сохранена в форматах PyTorch и safetensors. На оценочном наборе модель достигла accuracy 0,8805 и loss 0,8413. Базовая Whisper Medium — мультиязычная модель для распознавания речи и перевода, однако эта версия дообучена для идентификации языка. Лицензия — Apache-2.0.

NeuML/word2vec-quantized — квантованная статическая модель векторных представлений слов, подготовленная NeuML для библиотеки StaticVectors. Она предназначена для получения эмбеддингов слов и сравнения сходства предложений; запускать инференс можно на Python с NumPy. Модель использует Word2Vec и 10×256 Product Quantization, что сокращает размер представлений. Репозиторий содержит веса в формате safetensors, а метаданные указывают библиотеку staticvectors и английский язык. Лицензия — Apache-2.0. Карточка описывает получение векторов слов, но не приводит оценок качества или подробностей об ограничениях квантования.

X-CLIP base-sized с размером патча 16 — видеоязычная модель Microsoft, выпущенная в репозитории Hugging Face и представленная в статье Ni et al. «Expanding Language-Image Pretrained Models for General Video Recognition». Она расширяет CLIP для понимания видео и обучена контрастивно на парах «видео — текст»; вариант дообучен в few-shot режиме с K=16 на HMDB-51. Модель предназначена для классификации видео в zero-shot, few-shot и supervised сценариях, а также для поиска соответствия между видео и текстом. При обучении использовались 32 кадра на видео с разрешением 224×224; точность top-1 на оценке из карточки — 64,0%. Лицензия — MIT. Модель принимает видео и текстовые описания и позволяет оценивать их соответствие. Обучение на HMDB-51 и few-shot режим ограничивают переносимость результатов на другие типы видео и классы; указанная точность относится к оценке, описанной в карточке.

X-CLIP base с размером патча 16 — модель для понимания видео и текста, основанная на подходе CLIP и разработанная авторами работы Expanding Language-Image Pretrained Models for General Video Recognition. Эта версия обучена в few-shot режиме с K=2 на наборе HMDB-51. Модель сопоставляет видео с текстом и предназначена для классификации видео в zero-shot, few-shot и supervised сценариях, а также для поиска видео по текстовому описанию и текста по видео. При обучении использовались 32 кадра на видео с разрешением 224×224; указана точность top-1 53,0%. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Оценка приведена для HMDB-51; модель обучена на небольшом числе примеров и может хуже работать на видео из других областей или при отличающейся предобработке.

Модель s-nlp/xlmr_formality_classifier — классификатор формальности текста на основе XLM-RoBERTa, представленный в статье «Detecting Text Formality: A Study of Text Classification Approaches». Она дообучена на многоязычном наборе XFORMAL и относит текст к формальному или неформальному стилю, возвращая оценки для обоих классов. Модель содержит 305,2 млн параметров и рассчитана на последовательности длиной до 514 токенов. В README приведены результаты для английского, французского, итальянского и португальского языков; общая точность на указанной выборке составляет около 79,4%, при этом качество различается между языками и классами. Подходит для анализа стиля и сортировки текстов по формальности, но опубликованные метрики показывают, что предсказания не всегда сбалансированы по классам. Лицензия — OpenRAIL++.

nhonhoccode/zalo-legal-bge-m3-finetuned — Sentence Transformer, дообученный для создания эмбеддингов предложений и абзацев. Модель основана на XLM-RoBERTa и содержит 658,7 млн параметров; выходные векторы имеют размерность 1024 и нормализуются. В README указан максимум 384 токена на последовательность, а метаданные каталога сообщают о нативном контексте до 8194 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов, поиска перефразировок, кластеризации и классификации текста. Название указывает на юридическое направление и базовую модель BGE-M3, однако карточка не приводит подробностей о языках или конкретных юридических сценариях; языки и область применения поэтому не следует считать подтверждёнными. Обучение описано на наборе из 2638 примеров с парами положительных и отрицательных текстов. Для сходства текстов можно использовать косинусную близость эмбеддингов. Репозиторий содержит веса safetensors и рассчитан на библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

0sint-event-embedder — англоязычный энкодер предложений, разработанный для выделения сообщений об одном и том же реальном событии в шумном потоке OSINT. Модель дообучена на датасете allenborochin/0sint от sentence-transformers/all-MiniLM-L6-v2 с контрастивной функцией потерь MultipleNegativesRankingLoss и трудными отрицательными примерами. Это плотная BERT-модель на 25,9 млн параметров; она принимает текстовые сообщения и создает эмбеддинги для сравнения по косинусному сходству. Максимальная длина контекста — 512 токенов. Модель предназначена для кластеризации сообщений по идентичности события, поиска похожих событий в архиве и семантического поиска по новостной ленте, особенно когда разные происшествия имеют похожие место, время и формулировки. По README, производственная версия используется в системе триажа 0sint; описаны также результаты проверки на отложенных парах событий. Модель специализируется на англоязычных сообщениях в стиле Telegram и не является универсальным энкодером сходства. Репозиторий распространяется по лицензии MIT.

sampurn-gfg/abcdefghijklmnopqrstuwxyz — дообученная модель DistilBERT для классификации текста. Она построена на distilbert/distilbert-base-uncased и использует архитектуру DistilBertForSequenceClassification; базовая модель рассчитана на английский язык. Контекст модели составляет 512 токенов, веса доступны в формате safetensors. Модель предназначена для классификации текстов. В карточке приведены результаты оценки: accuracy 0,9470 и loss 0,2153, однако набор данных, классы и методика оценки не описаны, поэтому эти метрики нельзя напрямую переносить на другие данные. Лицензия — Apache-2.0.

allenai/aspire-biencoder-compsci-spec — плотный BERT биэнкодер, разработанный авторами исследования «Multi-Vector Models with Textual Guidance for Fine-Grained Scientific Document Similarity». Модель инициализирована из allenai/specter и дообучена на 1,2 млн пар совместно цитируемых научных статей с помощью контрастивного обучения. Она кодирует заголовок и аннотацию статьи в один вектор; параметры scalar mix для объединения представлений слоёв в этой версии не включены. Модель предназначена для поиска и ранжирования статей по сходству на уровне документа, особенно в компьютерных науках. Её можно применять для поиска научной литературы по запросу, представленному заголовком и аннотацией; для других задач, например классификации, потребуется дополнительное дообучение. Ограничение контекста составляет 512 токенов. В карточке указаны английский язык и лицензия Apache-2.0.

Модель для классификации текста, созданная с помощью AutoTrain и дообученная на базе ulisesbravo/autotrain-wlgd2-3sulg. Она построена на архитектуре MPNet с классификационной головой и содержит около 136,7 млн параметров. Модель принимает текст и возвращает метку класса; заявленная задача — text-classification. В README приведены метрики на валидации: accuracy около 0,707 и macro F1 около 0,707. Эти результаты дают ориентир для оценки, но без описания классов и набора данных нельзя определить, для каких именно категорий предназначена классификация. Репозиторий содержит веса в формате safetensors. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

Карточка модели 0x3/bert-base-japanese-v3_nli-jsnli-jnli-jsick на Hugging Face совпадает с карточкой akiFQC/bert-base-japanese-v3_nli-jsnli-jnli-jsick, поэтому описание составлено по ней. Это японская модель Cross-Encoder для вывода естественного языка, разработанная akiFQC на основе tohoku-nlp/bert-base-japanese-v3 и обученная с помощью SentenceTransformers. Для пары предложений она предсказывает оценки трёх классов: следование, нейтральное отношение и противоречие. Модель также подходит для классификации без примеров, когда описание категории сопоставляется с текстом. Модель основана на BERT, содержит 138,4 млн параметров и принимает пары текстов с максимальным контекстом 512 токенов. Обучение проводилось на JSNLI, обучающей части JNLI и JSICK; точность на валидационной выборке JGLUE-JNLI составляет 0,914. Лицензия — CC BY-SA 4.0. Модель предназначена для японского языка. Как Cross-Encoder, она оценивает пары текстов, поэтому для сравнения множества кандидатов может требовать отдельного вычисления для каждой пары.

AyoubChLin/bert-base-multilingual-cased-xnli-nli — мультиязычная модель на архитектуре BERT, дообученная на датасете facebook/xnli для трёхклассового вывода по текстовой паре. Она определяет, следует ли гипотеза из посылки, нейтральна ли она относительно посылки или противоречит ей. Модель содержит 205,1 млн параметров, принимает пары текстов и имеет контекст до 512 токенов; более длинные входы обрезаются. Модель подходит для классификации текстовых пар и zero-shot-классификации, когда метки можно сформулировать как гипотезы. Карточка указывает на мультиязычную поддержку, но качество следует проверять на целевом языке и в целевой предметной области. Результаты NLI не следует использовать как самостоятельное доказательство фактичности утверждений. Лицензия в предоставленных данных не указана.

Модель fabr iceyhc/bert-base-uncased-yahoo_answers_topics — дообученная версия BERT base uncased для классификации текстов по темам набора Yahoo Answers Topics. Она принимает текст и относит его к тематической категории; опубликованный результат на оценочной выборке — точность 0,7499 при значении loss 0,8092. Архитектура — BertForSequenceClassification, размер — 136,7 млн параметров, максимальная длина контекста — 512 токенов. Модель подходит для тематической сортировки вопросов и ответов, похожих на данные Yahoo Answers. Карточка не описывает категории, обучение и ограничения подробнее. Базовая модель ориентирована на английский текст. Лицензия — Apache-2.0.

BERTeus base cased — предобученная языковая модель на архитектуре BERT для баскского языка, разработанная авторами исследования «Give your Text Representation Models some Love: the Case for Basque». Модель обучена на корпусе из 224,6 млн токенов, включающем статьи баскских онлайн-газет и Википедию. Она содержит 151,7 млн параметров и обрабатывает контекст длиной до 512 токенов. Модель предназначена для получения векторных представлений баскского текста и адаптации к задачам разметки частей речи, распознавания именованных сущностей, анализа тональности и классификации тем. В исследовании BERTeus улучшила прежние результаты для проверенных задач на баскском языке. Доступны версии в форматах PyTorch, Flax и safetensors. Лицензия в предоставленных данных не указана.

sentence-transformers/bert-large-nli-mean-tokens — модель Sentence-Transformers, разработанная командой Sentence Transformers для преобразования предложений и абзацев в плотные векторные представления размерностью 1024. Она основана на BERT Large и использует усреднение контекстуализированных токенов; число параметров составляет около 433,9 млн, а максимальная длина контекста — 512 токенов. Модель предназначена для сравнения смысловой близости текстов, семантического поиска и кластеризации предложений или абзацев. Её можно применять для получения эмбеддингов и последующего поиска или группировки текстов. Карточка предупреждает, что модель устарела и выдаёт эмбеддинги низкого качества, поэтому для новых систем рекомендуются более современные модели Sentence-Transformers. Лицензия — Apache-2.0.

Legal BERTimbau — модель эмбеддингов предложений, разработанная в рамках Project IRIS для семантического поиска по материалам Верховного суда Бразилии (Supremo Tribunal de Justiça). Она преобразует предложения и абзацы на португальском языке в плотные векторы размерности 1024 для поиска похожих текстов и кластеризации. Модель основана на юридической версии BERTimbau large и дообучалась на корпусе португальских юридических текстов. В обучении также применялись многоязычная дистилляция знаний от sentence-transformers/stsb-roberta-large и настройка на задачах сходства текстов с использованием ASSIN, ASSIN2, STS Benchmark Multi MT и набора IRIS STS. Архитектура — BERT; контекст ограничен 512 токенами, размер модели — 433,2 млн параметров. Модель предназначена для семантического поиска, сравнения сходства предложений и кластеризации юридических текстов на португальском языке. Доступны веса PyTorch и safetensors; лицензия — MIT.

mrm8488/bert-mini-finetuned-age_news-classification — англоязычная модель классификации новостей, созданная разработчиком mrm8488 дообучением BERT-Mini на наборе данных AG News. Это компактный классификатор последовательностей на архитектуре BERT с примерно 12 млн параметров и контекстом до 512 токенов. Модель принимает текст и присваивает ему категорию новости; в карточке Hugging Face для тестовой выборки AG News указана точность около 0,934. Модель предназначена для автоматической тематической сортировки новостных материалов и демонстрации классификации текста. Карточка предоставляет варианты весов PyTorch и Flax, а также формат safetensors. Условия лицензии в доступных источниках не подтверждены.

oracat/bert-paper-classifier-arxiv — дообученная модель на базе microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract для классификации научных статей по таксономии arXiv. Она принимает заголовок статьи и, при наличии, аннотацию и предсказывает подходящие категории arXiv, например cs.CL для статьи о Transformers. Модель ориентирована на статьи по математике, информатике, физике и смежным областям. Модель использует архитектуру BERT для классификации последовательностей, содержит 136,7 млн параметров и рассчитана на контекст до 512 токенов. Опубликована в формате PyTorch и распространяется по лицензии MIT. README не сообщает о точности и других результатах оценки модели.

Это компактная модель Sentence Transformers, дообученная автором репозитория на базе google/bert_uncased_L-2_H-128_A-2. Она кодирует текстовые предложения и абзацы в плотные векторы размерностью 128 и сравнивает их с помощью косинусного сходства. Модель предназначена для поиска и сравнения отзывов о товарах Amazon по смыслу, а также для построения текстовых представлений, которые можно использовать в задачах retrieval. Архитектура включает BERT с двумя слоями и среднее pooling-представление; модель содержит 4,4 млн параметров. README указывает максимальную длину последовательности 128 токенов, тогда как метаданные задают контекст в 512 токенов. Базовая модель англоязычная, а обучающие примеры состоят из англоязычных отзывов. Модель принимает текст и выдаёт эмбеддинги; репозиторий распространяет веса в формате safetensors. Лицензия в предоставленных данных не указана.

xuancoblab2023/Bert_tinybert-distilled — дообученная для классификации последовательностей модель на базе компактной англоязычной google/bert_uncased_L-2_H-128_A-2. Она содержит 4,4 млн параметров, принимает текст длиной до 512 токенов и выдаёт метки классов. В README приведены результаты оценки: accuracy 0,7973, ROC AUC 0,8745, MCC 0,6019 и PR AUC 0,8517. Набор данных и конкретная схема классификации не описаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели google/bert_uncased_L-12_H-128_A-2 на Hugging Face совпадает с карточкой google/bert_uncased_L-2_H-128_A-2, поэтому описание составлено по ней. google/bert_uncased_L-2_H-128_A-2 — компактная англоязычная модель BERT Miniatures от Google, описанная в работе «Well-Read Students Learn Better: On the Importance of Pre-training Compact Models». Это BERT с 2 слоями и скрытым размером 128; модель содержит около 4,4 млн параметров и принимает последовательности длиной до 512 токенов. Она обучена без учёта регистра с маскированием WordPiece и предназначена для сред с ограниченными вычислительными ресурсами. Модель можно дообучать для задач понимания текста, таких как классификация и оценка сходства предложений. Авторы отмечают, что компактные модели особенно эффективны при дистилляции, когда метки для дообучения генерирует более крупная и точная модель-учитель. Доступны веса PyTorch, Flax и Safetensors. Модель рассчитана на английский язык. Её компактность снижает требования к вычислительным ресурсам, но качество может уступать более крупным моделям, а для прикладных задач обычно требуется дообучение или дистилляция. Лицензия — Apache-2.0.

google/bert_uncased_L-2_H-512_A-8 — компактная англоязычная модель BERT из набора BERT Miniatures, опубликованного Google и описанного в работе «Well-Read Students Learn Better». Архитектура содержит 2 слоя, скрытый размер 512 и 8 attention heads; в метаданных указано около 24 млн параметров и контекст до 512 токенов. Доступны веса PyTorch и Flax, лицензия Apache 2.0. Модель предназначена для понимания английского текста в условиях ограниченных вычислительных ресурсов и для дальнейшего тонкого дообучения, например под классификацию предложений, оценку сходства и другие задачи NLP. Авторы отмечают, что компактные варианты особенно эффективны при дистилляции с разметкой, полученной от более крупной модели. Это базовая предобученная модель, а не готовый специализированный классификатор; её следует дообучить для конкретной задачи. README сообщает, что модель обучалась без учета регистра с WordPiece-маскированием.

BAAI разработала BGE-VL-v1.5-mmeb — мультимодальную модель эмбеддингов для поиска по изображениям и тексту. Она дообучена на базе llava-hf/llava-v1.6-mistral-7b-hf и использует архитектуру LLaVA-NeXT с плотным представлением; для работы применяется библиотека Sentence Transformers. Модель принимает текст, изображения и их сочетания, преобразуя запросы и объекты для поиска в эмбеддинги. Она предназначена для мультимодального поиска, поиска изображений по текстовому описанию и поиска с учётом текстового уточнения к исходному изображению. В README указано, что изображения при подаче следует масштабировать до 512×512; инструкции запроса помогают форматировать вход как поисковый запрос, а без них — как кандидата. В README сообщается о результатах на бенчмарках composed image retrieval и MMEB, включая сильные результаты в zero-shot сценариях. Модель распространяется по лицензии MIT. Карточка не приводит размер модели и длину контекста.

BioBERT-NLI — модель на базе BioBERT, разработанная gsarti и дообученная на наборах SNLI и MultiNLI с помощью библиотеки sentence-transformers для получения эмбеддингов предложений. Она использует архитектуру BERT с исходным словарём WordPiece, усреднением скрытых состояний и обучением с softmax loss. Размер модели — 135,5 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для представления биомедицинских текстов в виде векторов, пригодных для сравнения семантической близости и поиска научных публикаций. В README приведён пример поиска статей о COVID-19; оценка на тестовой части STS составила 73,40 по корреляции Спирмена. Доступны веса PyTorch и Flax. Лицензия в предоставленных данных не указана.

FremyCompany/BioLORD-2023-M-Dutch-InContext-v1 — модель эмбеддингов на базе XLM-RoBERTa, разработанная Франсуа Реми, Крисом Демуйнком и Томасом Дестермером. Она преобразует фразы и предложения в плотные векторы размерности 768 для сравнения семантической близости, кластеризации и семантического поиска. Модель дообучена для биомедицинской области и особенно подходит для клинических записей и медицинских документов. Модель кодирует биомедицинские упоминания на нидерландском и английском языках, учитывая контекст упоминания. Для этого используется шаблон «упоминание [SEP] (context: пример текста с упоминанием и окружающим текстом)». Поддерживается также кодирование упоминаний без контекста, особенно на английском. В отличие от других моделей серии, для представления упоминания используется токен CLS. Размер модели — 305,2 млн параметров, длина контекста — 514 токенов. Лицензия указана как other; конкретные условия в доступных данных не описаны. Модель сохраняет способность строить эмбеддинги для текстов общего назначения, но ориентирована прежде всего на биомедицинские тексты.

NeuML/biomedbert-base-embeddings — англоязычная модель плотных эмбеддингов, разработанная NeuML и дообученная на базе NeuML/pubmedbert-base-embeddings с помощью Sentence Transformers. Она кодирует предложения и абзацы в векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации медицинских публикаций, а также может служить источником знаний для RAG-систем. Обучение включало дистилляцию оценок модели biomedbert-base-reranker: использовались пары заголовков и аннотаций PubMed, а дообучение на полученных данных проводилось с KLDivLoss. Модель основана на архитектуре BERT, содержит 136,7 млн параметров и принимает текст с контекстом до 512 токенов. В README приведены результаты оценки на наборах PubMed QA, PubMed Subset и PubMed Summary; модель показала среднюю корреляцию 96,87 по указанным тестам. Модель предназначена для англоязычных биомедицинских текстов. Лицензия Apache-2.0.

BioSimCSE-BioLinkBERT-BASE — модель на архитектуре BERT, опубликованная Kamalraj. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, семантического поиска и кластеризации. Модель обучена с MultipleNegativesRankingLoss и косинусным сходством; число параметров составляет 135,4 млн, контекст — до 512 токенов. Название и базовая модель BioLinkBERT указывают на биомедицинскую направленность, поэтому модель подходит для поиска и группировки текстов в этой области. Она принимает текст и выдаёт векторные представления. В карточке приведены примеры применения, но нет количественных результатов оценки. Доступные материалы не содержат сведений о лицензии.