I.11Классификация, ранжирование и сопоставление

Это Sentence Transformer архитектуры BERT в варианте bi-encoder, дообученный авторами intai2070 на базе PartAI/Tooka-SBERT-V2-Large для измерения семантического сходства названий компаний, включая юридические и организационные наименования. Каждое название кодируется отдельно в плотный вектор размерности 1024; сходство векторов можно оценивать, например, косинусной мерой. Такая схема подходит для быстрого поиска по большим коллекциям и сопоставления названий без совместной обработки каждой пары текстов. Модель предназначена прежде всего для семантического поиска и сопоставления похожих названий компаний на персидском языке. В README также указаны сценарии поиска перефразировок, кластеризации и классификации текстов. Обучение проводилось на 272 462 примерах датасета IRI2070/legal-names-bi-encoder-dataset с функцией потерь MultipleNegativesRankingLoss. Размер модели — 451,8 млн параметров, максимальная длина входа — 512 токенов. README приводит cosine accuracy 0,9977 на validation и 0,9987 на test для указанного набора данных; эти результаты сами по себе не гарантируют такое же качество на других коллекциях. Лицензия в предоставленных данных не указана.

jonaskoenig/topic_classification_04 — дообученная модель Microsoft XtremeDistil на базе microsoft/xtremedistil-l6-h256-uncased для классификации текста по категориям. Это компактная BERT-модель с 14,1 млн параметров, принимающая текстовые последовательности длиной до 512 токенов. Карточка сообщает о дообучении на неизвестном наборе данных; в оценке указана разреженная категориальная точность 0,7237 на девятой эпохе. Базовая модель предназначена для английского текста, поэтому модель подходит для тематической классификации англоязычных текстов, но качество на других языках не подтверждено. Лицензия — MIT.

Модель Cardiff NLP — дообученная версия cardiffnlp/twitter-roberta-base-dec2021 на наборе tweet_topic_single для классификации тем отдельных твитов. Она использует архитектуру RoBERTa с 151,8 млн параметров и принимает текст с контекстом до 514 токенов. В README приведены результаты на тестовой выборке test_2021: micro-F1 и accuracy около 0,895, macro-F1 около 0,801. Модель подходит для автоматической тематической разметки сообщений в Twitter и анализа их содержания. Лицензия в предоставленных данных не указана.

Twitter-XLM-Roberta-base — многоязычная модель семейства XLM-Roberta, разработанная Cardiff NLP и обученная примерно на 198 млн твитов. Это базовая модель с архитектурой XLMRobertaForMaskedLM, примерно 305,2 млн параметров и контекстом до 514 токенов; доступны веса PyTorch и TensorFlow. Модель предназначена для работы с многоязычными сообщениями из Twitter: она предсказывает замаскированные токены, а также может использоваться для вычисления сходства твитов, в том числе между текстами на разных языках. Это полезно для анализа и поиска похожих публикаций в социальных сетях. Карточка не приводит точный список поддерживаемых языков и лицензию, поэтому их нельзя уточнить по предоставленным данным. Модель обучена на твитах, и её качество на других жанрах текста не подтверждено в карточке.

Vela Domain — модель vllm-sr для определения тематики запроса и выбора подходящих моделей или инструментов среди 14 предметных областей. Это дообученная версия Vela-1.0-Encoder-307M на архитектуре ModernBERT для классификации последовательностей; модель содержит 306,9 млн параметров и принимает до 32 768 токенов с учётом специальных токенов. В метаданных указаны форматы safetensors и ONNX, библиотека Transformers и лицензия Apache-2.0. В карточке приведены результаты на наборах разработки для коротких запросов и длинного контекста: Vela показала более высокий Macro F1, чем исходная mmBERT32K Domain. Наборы разработки использовались при выборе чекпойнта и не являются независимым тестом; длинноконтекстная оценка включает лишь 28 примеров на длину и охватывает английский и китайский языки. Короткие запросы в оценке включали английский, китайский, испанский, французский, немецкий и японский.

ViCLIP-L-14-BVD-V-50M-s50M-b32K — видеоязыковая модель семейства ViCLIP от LAION, основанная на архитектуре ViT-L/14. Она обучена на 50 млн пар видео и текста из набора BVD-V-50M и доступна через Transformers. Модель предназначена для классификации видео без дообучения, поиска соответствий между видео и текстом и изучения визуальных представлений видео. Её можно применять для линейного зондирования и дообучения под задачи классификации, строить системы поиска видео по текстовым запросам и использовать как компонент мультимодальных моделей. В README приведены результаты на Kinetics-400, UCF-101, HMDB51, MSR-VTT и MSVD. Лицензия — MIT. Разработчики позиционируют модель для исследований возможностей zero-shot-классификации видео, поиска видео по тексту и обобщения видеоязыковых моделей. Она рассчитана только на английский язык; авторы исключают применение для наблюдения и распознавания лиц, а также неконтролируемое развёртывание без проверки на целевых данных.

Карточка модели AnasMohamed/video-llava на Hugging Face совпадает с карточкой openai/clip-vit-large-patch14-336, поэтому описание составлено по ней. openai/clip-vit-large-patch14-336 — модель семейства CLIP на архитектуре CLIPModel, доступная в форматах PyTorch и TensorFlow. Она предназначена для классификации изображений по текстовым описаниям без отдельного обучения на каждом наборе классов: пользователь задаёт варианты текста, а модель сопоставляет их с изображением. README утверждает, что модель обучена с нуля, но не сообщает обучающий датасет, результаты оценки или дополнительные сценарии применения. Метаданные не подтверждают базовую модель или производный вариант, поэтому происхождение чекпойнта определить нельзя. Лицензия, размер и длина контекста в предоставленных данных не указаны.

Карточка модели nhatminh/vietnamese_bi_encoder на Hugging Face совпадает с карточкой bkai-foundation-models/vietnamese-bi-encoder, поэтому описание составлено по ней. Вьетнамская модель для сопоставления предложений и абзацев, разработанная BKAI Foundation Models. Она преобразует текст в плотные векторы размерностью 768 и предназначена для семантического поиска, ранжирования похожих текстов и кластеризации. В основе лежит PhoBERT-base-v2, дообученная на объединённых данных MS MARCO и SQuAD v2, переведённых на вьетнамский язык, а также на 80% обучающей выборки соревнования Legal Text Retrieval Zalo 2021. Модель построена на архитектуре RoBERTa и содержит 162,4 млн параметров; максимальная длина контекста — 258 токенов. Для работы с вьетнамским текстом в Hugging Face Widget предусмотрена сегментация слов перед токенизацией. В README приведены результаты на оставшихся 20% выборки Legal Text Retrieval Zalo 2021, включая Acc@1 73,28 и MRR@10 80,73 для обученной модели. Модель принимает текст и возвращает векторные представления, которые можно использовать для поиска и кластеризации. Она обучалась на вьетнамских данных, включая юридические тексты, поэтому результаты на других языках и в иных областях могут быть хуже. Лицензия — Apache-2.0.

ViT-B-32.cc12m-siglip — двухбашенная модель контрастивного сопоставления изображений и текста семейства CLIP, разработанная rwightman. Это исследовательский чекпойнт архитектуры ViT-B/32, обученный на CC12M в течение 32 эпох с функцией потерь SigLIP и оптимизатором NAdaMuon. Текстовый энкодер использует классический трансформер CLIP, BPE-словарь на 49 408 токенов и контекст длиной 77 токенов. Модель подходит для классификации изображений по текстовым описаниям без дообучения, поиска изображений по запросу и поиска текста по изображению. В карточке приведены результаты нулевой классификации и двустороннего поиска по изображениям и подписям. Сравнения с другими моделями ограничены условиями эксперимента: базовые CLIP-модели обучались с другим размером пакета и оптимизатором, поэтому различия нельзя приписывать только архитектуре или функции потерь. Для загрузки и использования указана библиотека open_clip; веса доступны в форматах PyTorch и safetensors. Модель выпущена под лицензией Apache-2.0. В README она обозначена как исследовательская и не предназначенная для производственного применения; обучение на CC12M и ограниченные экспериментальные сравнения не гарантируют качество на иных данных.

waon-siglip2-base-patch16-256 — визуально-текстовая модель llm-jp, полученная дообучением google/siglip2-base-patch16-256 на крупном японском наборе пар изображение–текст WAON. Она предназначена для классификации изображений по текстовым описаниям без отдельного обучения на каждом наборе классов. Модель содержит 375 млн параметров и построена на архитектуре SigLIP 2; для работы с ней в карточке указана библиотека Transformers. Модель ориентирована на японские изображения и культурно-специфичную классификацию. По результатам README она показывает лучшие значения среди сравниваемых моделей на японских бенчмарках Recruit и WAON-Bench. Для применения задают изображение и текстовые метки, а модель оценивает их соответствие. Репозиторий распространяется по лицензии Apache-2.0.

ff112/web_quality_classifier — дообученная на базе boun-tabilab/TabiBERT модель для оценки качества написания и форматирования турецких веб-текстов. Она выдаёт регрессионный балл от 0 до 5: учитывает пунктуацию, повторы, плавность текста и долю шаблонных элементов вроде меню, ссылок и уведомлений о cookies. Тематика и образовательная ценность текста не оцениваются. Модель построена на архитектуре ModernBERT с регрессионной головой, содержит 148,8 млн параметров и поддерживает контекст до 8192 токенов. Обучена на 100 тысячах дедуплицированных турецких веб-документов, размеченных по шкале качества с помощью LLM-судьи. На валидации показала корреляцию Пирсона 0,875 и среднюю абсолютную ошибку 0,452. Лицензия — MIT.

X-CLIP — видеоязыковая модель базового размера с патчами 16×16, разработанная авторами статьи Ni et al. «Expanding Language-Image Pretrained Models for General Video Recognition». Это минимальное расширение CLIP, обученное контрастивно на парах видео и текста и дообученное в режиме few-shot с 8 примерами на класс датасета HMDB-51. Модель обрабатывает видеоклипы по 32 кадрам с разрешением 224×224. Модель предназначена для классификации видео в режимах zero-shot, few-shot и supervised, а также для поиска соответствия между видео и текстом. На HMDB-51 указана точность top-1 62,8%. Репозиторий содержит веса PyTorch; лицензия — MIT.

pierluigic/xl-lexeme — модель на базе Sentence Transformers с архитектурой XLM-RoBERTa, разработанная pierluigic. Она преобразует целевое слово вместе с контекстом предложения в плотный вектор размерности 1024. Модель предназначена для сравнения контекстных значений слов и может применяться для поиска семантически близких примеров и кластеризации. Чекпойнт содержит 658,7 млн параметров и рассчитан на контекст до 514 токенов. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Модель принимает текст и выдаёт векторы; карточка не уточняет поддерживаемые естественные языки. Указана библиотека PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.

sentence-transformers/xlm-r-100langs-bert-base-nli-mean-tokens — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 на основе XLM-RoBERTa и предназначена для поиска по смыслу и кластеризации текстов. Модель содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и выдаёт эмбеддинги; поддерживает 100 языков. Модель распространяется по лицензии Apache-2.0. В карточке она помечена как устаревшая: авторы предупреждают о низком качестве эмбеддингов и рекомендуют использовать более новые модели Sentence-Transformers.

XLM-RoBERTa base — многоязычная трансформерная модель FacebookAI, впервые выпущенная в этом репозитории. Она предварительно обучена на 2,5 ТБ отфильтрованных данных CommonCrawl на 100 языках с целью masked language modeling: модель восстанавливает замаскированные слова, используя контекст с обеих сторон. Это базовая модель архитектуры XLM-RoBERTa с 305,2 млн параметров и контекстом до 514 токенов. Модель подходит для предсказания пропущенных слов и получения текстовых представлений для последующей настройки на классификацию последовательностей и токенов, а также ответы на вопросы. Она поддерживает множество языков; метаданные перечисляют коды языков, среди которых английский, арабский, китайский здесь не указан, французский, немецкий, японский, корейский, русский также не указан. Для генерации связного текста модель не предназначена. Лицензия — MIT.

Albertina 1.5B PTPT — португалоязычная encoder-модель семейства BERT, разработанная совместной командой Лиссабонского и Портского университетов на архитектуре DeBERTa V2. Модель рассчитана на европейский вариант португальского языка; в карточке указаны 48 слоёв и скрытый размер 1536, а метаданные сообщают о 2 млрд параметров и контекстном окне 512 токенов. Основная задача модели — предсказывать замаскированные токены в тексте. Её можно использовать как основу для языкового анализа португальского текста и последующей адаптации к задачам классификации и оценки сходства предложений. Для обучения собрали корпус европейского португальского объёмом около 4 млрд токенов из открытых веб-материалов, документов Европарламента и стенограмм португальского парламента. Модель распространяется по лицензии MIT. Это encoder, поэтому модель предназначена для анализа входного текста, а не для свободной генерации длинных ответов. Она ориентирована на европейский португальский, а не на бразильский вариант; показатели в карточке основаны на автоматически переведённых бенчмарках extraGLUE, что следует учитывать при оценке качества.

Albertina 900M PT-PT — энкодерная языковая модель семейства BERT на архитектуре DeBERTa-v2, разработанная совместной командой Лиссабонского и Португальского университетов. Модель содержит 1,1 млрд параметров, 24 слоя, скрытый размер 1536 и контекст до 512 токенов; предназначена для европейского португальского языка Португалии. Модель обучена на корпусе примерно из 2,2 млрд токенов, включающем веб-тексты, материалы Европейского парламента и стенограммы португальского парламента. Основной сценарий применения — восстановление замаскированных токенов; энкодер также подходит как основа для задач понимания текста на португальском, например определения сходства предложений и текстового следования. В README приведены результаты на португальских вариантах GLUE для таких задач. Весами можно пользоваться по лицензии MIT. Модель рассчитана на португальский вариант PT-PT; указанные в карточке оценки получены на автоматически переведённых наборах, а качество для других языков и вариантов португальского не подтверждено.

F1ow421/all-MiniLM-L6-v2-ru-hnp — русскоязычная доменно-адаптированная версия sentence-transformers/all-MiniLM-L6-v2, дообученная автором репозитория на 20 000 триплетов из набора deepvk/ru-HNP с функцией потерь TripletLoss. Это компактная модель на архитектуре BERT с 25,9 млн параметров; она преобразует предложения в эмбеддинги для сравнения смысловой близости и поиска парафраз. Модель рассчитана на русский язык, использует библиотеку sentence-transformers и принимает последовательности длиной до 512 токенов. Репозиторий распространяет веса в формате safetensors по лицензии Apache-2.0. В README приведена оценка на RuBQ Retrieval: Recall@5 и Recall@10 составили 0,36%, ниже показателей базовой модели. Автор связывает это с различием между обучением на симметричном поиске парафраз коротких предложений и оценкой на асимметричном поиске ответов по Википедии. Поэтому результаты не подтверждают пригодность модели для вопросно-ответного поиска такого типа; перед применением в конкретной задаче качество стоит оценить на целевых данных.

ulisesbravo/autotrain-BERTimbau-DGS-0002 — дообученная модель BERT для классификации текстов, созданная с помощью AutoTrain. Она предназначена для отнесения текста к классам в задаче, заданной при обучении; конкретная предметная область и названия классов в карточке не раскрыты. Модель содержит 136,1 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. В README приведены метрики на валидационной выборке: accuracy около 0,748 и macro F1 около 0,746. Эти результаты характеризуют только указанную выборку и не гарантируют аналогичного качества на других данных. Модель дообучена на основе ulisesbravo/autotrain-BERTimbau-DGS-0001; сведения о лицензии в предоставленных данных отсутствуют.

Модель создана с помощью AutoTrain и дообучена на базе neuralmind/bert-base-portuguese-cased для классификации текстов. Она использует архитектуру BERT для классификации последовательностей, содержит 136,1 млн параметров и принимает текст длиной до 512 токенов. Карточка приводит метрики на валидации: accuracy 0,689 и macro F1 0,693; без сведений о классах и домене нельзя определить более конкретное назначение.

Модель jicoc22578/autotrain-livedoor_news-722922024 создана с помощью AutoTrain и предназначена для многоклассовой классификации текстов японских новостей из набора livedoor_news. Это плотная модель семейства BERT с архитектурой BertForSequenceClassification, содержащая 138,4 млн параметров и принимающая текст длиной до 512 токенов. На проверочной выборке указаны accuracy 0,946 и macro F1 0,940. Модель подходит для отнесения японских новостных текстов к категориям, представленным в обучающих данных. В карточке указано использование PyTorch; лицензия не установлена по предоставленным данным.

A.X Encoder-base — разработанный SKT базовый энкодер для понимания корейских документов и корпоративного применения. Модель создана внутри компании: SKT отвечала за архитектуру, подготовку данных и обучение на собственной вычислительной инфраструктуре TITAN. Модель использует архитектуру ModernBERT и предназначена для классификации документов и других задач понимания корейского языка, включая оценку образовательной ценности, определение тематической области и уровня сложности. README сообщает о результатах на наборах KoBEST и KLUE и ускорении инференса до трёх раз по сравнению с более ранними моделями. Контекст составляет до 16 384 токенов; модель построена как энкодер с маскированным языковым моделированием. Для работы через Transformers требуется версия 4.51.0 или новее; для повышения эффективности на совместимом GPU можно использовать Flash Attention 2. Модель распространяется по лицензии Apache-2.0.

sifat-febo/banglish-embed — модель векторных представлений предложений, разработанная автором карточки для поиска семантически соответствующих фраз на бенгальском языке и бенглиш, то есть бенгальской речи, записанной латиницей. Она преобразует короткие тексты в эмбеддинги, чтобы находить эквивалентные фразы между двумя письменностями; модель основана на BERT и дообучена на базе sifat-febo/banglish-encoder. Для запуска используется библиотека sentence-transformers; модель работает локально на CPU и не требует подключения к интернету. Модель рассчитана на короткие фразы и предложения примерно до 60 слов. В README приведены результаты поиска первого соответствия на наборе из 2 000 пар: 99,5% для направления с бенгальского на бенглиш и 99,2% в обратном направлении; эти показатели относятся к описанному тесту. Контекст модели — 96 токенов. Лицензия Apache-2.0.

bash1130/bert-base-finetuned-ynat — модель классификации текстов на основе BERT, дообученная на klue/bert-base с использованием набора данных KLUE. Она предназначена для присвоения тексту категории и может применяться в задачах тематической разметки и сортировки текстов. Модель содержит 137,8 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Доступны веса в формате PyTorch. На оценочной выборке указаны loss 0,3609 и F1 0,8712. Карточка не описывает набор классов и подробности обучения, поэтому качество на других данных и пригодность для конкретных категорий не подтверждены. Лицензия в предоставленных данных не указана.

fabriceyhc/bert-base-uncased-dbpedia_14 — дообученная модель на основе BERT base uncased для классификации текстов по категориям набора DBpedia 14. Она принимает текст и относит его к одному из 14 классов; архитектура — BertForSequenceClassification, число параметров — 136,7 млн, максимальная длина контекста — 512 токенов. В README указана точность 0,9903 и loss 0,0547 на оценочном наборе. Модель подходит для тематической классификации текстов, похожих на примеры из DBpedia 14. Карточка не описывает дополнительные сценарии применения или языковую поддержку; основа BERT uncased рассчитана на английский текст. Модель опубликована в формате PyTorch по лицензии Apache-2.0.

Это модель BERT base uncased, дообученная TextAttack для классификации пар предложений на задаче MRPC из набора GLUE. Она оценивает, выражают ли два предложения одно и то же значение, и подходит для классификации текстовых пар и проверки смысловой эквивалентности. Модель содержит 136,7 млн параметров; метаданные указывают архитектуру BertForSequenceClassification и контекст до 512 токенов. В README описано дообучение в течение пяти эпох с максимальной длиной последовательности 256 токенов; лучшая точность на проверочной выборке составила около 87,7% после одной эпохи. Модель принимает текст и выдаёт метки классификации. Вариант uncased обрабатывает текст без учёта регистра; карточка не заявляет поддержку языков помимо английского. Репозиторий содержит веса PyTorch и Flax. Лицензия в предоставленных данных не указана.

Legal BERTimbau — модель Sentence-Transformers, разработанная в рамках Project IRIS для семантического поиска по материалам Верховного суда Бразилии. Она преобразует предложения и абзацы на португальском языке в плотные векторы размерностью 1024; также подходит для поиска семантически близких текстов, оценки сходства и кластеризации. Модель основана на крупной версии BERTimbau с юридической специализацией. Обучение включало TSDAE на корпусе юридических предложений примерно из 30 тысяч документов, затем этапы с данными NLI и дообучение для семантического сходства на ASSIN, ASSIN2 и STS Benchmark Multi-MT. В карточке также указана дистилляция Metadata Knowledge Distillation. Размер модели — 433,2 млн параметров, максимальный контекст — 512 токенов; доступны веса PyTorch и Safetensors. Модель предназначена для семантического поиска, сопоставления и группировки португалоязычных юридических текстов. Лицензия — MIT. Результаты поиска зависят от качества исходных текстов и не заменяют юридическую оценку; карточка не приводит количественных оценок качества.

Legal BERTimbau — модель эмбеддингов предложений на базе BERTimbau large, разработанная в рамках Project IRIS для семантического поиска по решениям Supremo Tribunal de Justiça. Она преобразует предложения и абзацы на португальском языке в плотные векторы размерностью 1024; подходит для поиска по смыслу и кластеризации текстов. Обучение включало TSDAE на юридических текстах примерно из 30 тысяч документов, генерацию псевдометок, данные NLI и дообучение для оценки семантического сходства на наборах ASSIN, ASSIN2, STS-B Multi-MT и IRIS STS. Модель использует архитектуру BERT, содержит 433,2 млн параметров и принимает последовательности длиной до 512 токенов. Репозиторий распространяется в формате PyTorch по лицензии MIT. Основной сценарий — семантический поиск по португальским юридическим документам; эмбеддинги также можно применять для кластеризации и сравнения сходства предложений.

google/bert_uncased_L-2_H-256_A-4 — компактная англоязычная модель BERT от Google, входящая в набор BERT Miniatures, описанный в работе «Well-Read Students Learn Better: On the Importance of Pre-training Compact Models». Она использует 2 слоя, скрытый размер 256 и 4 attention-головы; содержит около 9,9 млн параметров и обрабатывает последовательности длиной до 512 токенов. Модель обучена без учета регистра с маскированием WordPiece-токенов и доступна в форматах PyTorch и Flax. Модель предназначена для задач понимания английского текста в условиях ограниченных вычислительных ресурсов и может дообучаться для конкретных задач так же, как исходные модели BERT. Авторы отмечают, что особенно эффективным может быть её применение в дистилляции знаний от более крупной и точной модели. В README приведены результаты набора BERT Miniatures на GLUE, однако отдельные показатели именно этой конфигурации не указаны. Модель выпущена под лицензией Apache-2.0. Она компактнее крупных вариантов BERT, но это также означает меньшую ёмкость; для высокой точности может потребоваться дообучение или дистилляция. Поддерживается английский язык.

google/bert_uncased_L-8_H-128_A-2 — компактная англоязычная модель BERT от Google из семейства BERT Miniatures, описанного в работе «Well-Read Students Learn Better: On the Importance of Pre-training Compact Models». Это плотный трансформерный энкодер с 8 слоями, размером скрытого представления 128 и 2 головами внимания; модель содержит около 6 млн параметров и принимает последовательности длиной до 512 токенов. Она обучена на английском тексте без учёта регистра с маскированием WordPiece-токенов. Модель предназначена для экономного по ресурсам переноса на задачи понимания английского текста, например классификации и определения сходства предложений. Её можно дообучать аналогично исходным моделям BERT; авторы отмечают, что компактные варианты особенно эффективны при дистилляции, когда метки для дообучения создаёт более крупная модель-учитель. Веса доступны в форматах PyTorch и Flax. Лицензия — Apache 2.0. Компактный размер снижает вычислительные требования, но модель уступает более крупным моделям по качеству и рассчитана только на английский язык; для прикладной задачи обычно требуется дообучение.