I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейJeevesh8/multiberts_seed_1_ft_4 — модель классификации текста на базе BERT/MultiBERTs, опубликованная пользователем Jeevesh8 и представленная на Hugging Face. Она предназначена для присвоения тексту одного или нескольких классов в прикладных NLP-конвейерах. Модель содержит около 136,7 млн параметров и поддерживает контекст до 512 токенов. В метаданных указаны Transformers, JAX и BERT; связанный с MultiBERTs первоисточник Google описывает семейство как набор BERT-моделей для английского языка, предназначенных для исследований устойчивости и последующей адаптации к задачам классификации. Основное преимущество — готовая адаптация BERT-представлений к классификационному сценарию и совместимость с экосистемой Hugging Face. Ограничения включают максимальную длину контекста 512 токенов и зависимость качества от данных и классов, использованных при дообучении; точная схема меток для этого варианта из доступных источников не установлена.
Jeevesh8/multiberts_seed_2_ft_0 — дообученная модель семейства MultiBERTs на архитектуре BERT для классификации текста. MultiBERTs разработана Google как набор воспроизводимых BERT-base чекпойнтов для анализа устойчивости результатов при различной инициализации и перемешивании обучающих данных; данный вариант опубликован пользователем Jeevesh8 и предназначен для задач текстовой классификации.
multilingual-e5-small-fra-32768 — текстовая модель эмбеддингов, опубликованная alphaedge-ai на основе intfloat/multilingual-e5-small. Она предназначена для задач семантического сравнения предложений, поиска и ранжирования документов, сопоставления запросов с фрагментами текста и других сценариев, где требуется преобразование текста в векторные представления. Модель интегрируется с библиотекой sentence-transformers и поддерживает раздельное кодирование запросов и документов. Модель оптимизирована для французского языка за счёт сокращения словаря методом trimming. Размер словаря уменьшен с 250 037 до 32 768 токенов, а количество параметров — с 117 653 760 до 34 222 464, что соответствует уменьшению размера примерно на 70,91%. По заявлению авторов, при французских текстах она должна демонстрировать результаты, близкие к исходной multilingual-e5-small, при существенно меньшем потреблении памяти. Архитектурные детали, размер контекста и поддержка других модальностей в README не указаны; заявлена только работа с текстом. Главное ограничение — возможное заметное ухудшение качества на языках, отличных от французского, поскольку редко используемые для выбранного языка токены были удалены. Модель распространяется по лицензии MIT.
checkiejan/multi-qa-mpnet-base-dot-v1-covidqa-search-65-25-v2-2epoch — модель на базе MPNet, опубликованная в формате PyTorch как sentence-transformers-модель. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусным сходством ориентировано на сближение релевантных текстов в векторном пространстве. Модель содержит 136,7 млн параметров и принимает текст; длина контекста составляет 514 токенов. Её можно использовать для поиска по смыслу и вычисления сходства между текстами, в том числе через библиотеку Sentence Transformers. Название репозитория указывает на настройку для поиска по COVID QA, однако карточка не приводит подробностей о данных или результатах этой настройки. Лицензия в предоставленных метаданных и README не указана.
Это модель Sentence Transformers на базе MuRIL и архитектуры BERT, дообученная для получения векторных представлений предложений и абзацев. Разработчик указан в идентификаторе и карточке модели как pritamdeka. Модель преобразует текст в плотные векторы размерности 768; для сравнения векторов используется косинусное сходство. Модель предназначена прежде всего для оценки семантического сходства на ассамском языке, а также для семантического поиска, поиска перефразировок, кластеризации и классификации текста. Максимальная длина входной последовательности — 512 токенов. В README приведены результаты оценки сходства на переводных наборах STS для ассамского языка. Модель принимает текст и выдаёт векторы; качество зависит от соответствия входных данных ассамскому языку и задачам, на которых её обучали и оценивали. Лицензия в предоставленных данных не указана.
sbastola/muril-base-cased-sentence-transformer-snli-nepali — модель эмбеддингов предложений и абзацев на базе MuRIL, подготовленная разработчиком sbastola с использованием Sentence-Transformers. Она преобразует текст в плотные векторы размерности 768 для семантического поиска, сравнения предложений и кластеризации. Модель построена на архитектуре BERT, содержит 264,8 млн параметров и принимает последовательности длиной до 512 токенов. Обучение проводилось с функцией потерь SoftmaxLoss на данных SNLI. Модель предназначена для получения векторных представлений текста; заявленное применение включает поиск по смыслу и группировку похожих фрагментов. Репозиторий содержит веса в формате safetensors и использует библиотеку sentence-transformers. Лицензия и конкретные ограничения качества в предоставленных данных не описаны.
MyAwesomeModel — модель из репозитория ASD12ZXCQE/MyAwesomeModel-TestRepo, предназначенная для извлечения признаков из текста. В метаданных Hugging Face она отнесена к архитектуре BERT и поддерживает библиотеку Transformers на PyTorch; основная задача обозначена pipeline-тегом feature-extraction.
MyAwesomeModel — модель на базе архитектуры BERT, доступная через библиотеку Transformers и PyTorch. Согласно метаданным Hugging Face, она предназначена прежде всего для извлечения признаков из текста, то есть преобразования входных последовательностей в векторные представления для последующей обработки.
MyAwesomeModel — модель для извлечения признаков из текста, опубликованная в репозитории xcxvvvb55/MyAwesomeModel-TestRepo. В метаданных Hugging Face она отмечена как BERT-модель на базе PyTorch и библиотеки Transformers с pipeline-задачей feature-extraction, то есть предназначена для преобразования текстовых входов в числовые представления, пригодные для последующей обработки.
MyAwesomeModel — модель на базе Transformers для извлечения признаков из входных данных. В метаданных Hugging Face она отмечена как feature-extraction и связана с экосистемой PyTorch и семейством BERT. README также описывает улучшения рассуждений, понимания языка, генерации кода и текста, однако основным подтверждённым сценарием применения остаётся получение векторных представлений.
naflexclap_base_pf8_pt16_moderntext.160m — чекпойнт семейства NaFlexCLAP, опубликованный rwightman. Модель предназначена для сопоставления аудио и текстовых описаний и классификации звуков без дообучения на целевых классах: пользователь задаёт названия классов или текстовые запросы, а модель оценивает их соответствие аудиозаписи. README сообщает о 160,6 млн параметров и описывает аудиобашню с конфигурацией 768/12/12 и текстовую башню с двунаправленным кодированием, MAP-пулингом и нормализацией QK; веса доступны в форматах PyTorch и safetensors. В README приведены сравнительные оценки на наборах CLAP и MAEB, включая ESC-50, UrbanSound и задачи поиска по аудио и тексту. Результаты классификации чувствительны к формулировке текстового шаблона, поэтому качество может заметно меняться при изменении prompt. Карточка не указывает языки модели или её контекстное окно. Лицензия — MIT.
rwightman/naflex_ViT-B-32.cc12m — двухбашенная модель CLIP с визуальной башней NaFlexViT Base/32 и классическим трансформером CLIP для текста. Её обучил rwightman на наборе CC12M в рамках экспериментов с оптимизатором NAdaMuon; чекпойнт служит базовым сравнением для MaMMUT2, а не специально подготовленной контрольной моделью. Обучение длилось 32 эпохи с целью InfoNCE и точностью bf16. Модель предназначена для классификации изображений по текстовым описаниям без дообучения и поиска соответствий между изображениями и текстами. NaFlex обрабатывает изображения с переменным соотношением сторон, а текстовая башня использует BPE-словарь на 49 408 токенов и контекст до 77 токенов. В README приведены результаты zero-shot оценки на ImageNet и поиска по COCO; модель уступает современным CLIP-вариантам в части таких сравнений. Для работы указана библиотека open_clip. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
damand2061/negasibert-mnrl — модель Sentence Transformers, дообученная автором на базе indobenchmark/indobert-base-p1 для построения векторных представлений индонезийских предложений и абзацев. Архитектура объединяет BERT с усреднением токенных представлений; модель содержит 151,6 млн параметров и выдаёт плотные векторы размерности 768. Для сравнения текстов используется косинусное сходство. Модель предназначена для оценки семантического сходства и поиска похожих текстов, а также может применяться для поиска по смыслу, поиска перефразировок, кластеризации и классификации текста. Она обучена с MultipleNegativesRankingLoss на 12 000 парах предложений. Метаданные указывают контекст до 512 токенов, однако карточка модели задаёт максимальную длину последовательности 32 токена, что ограничивает эффективную длину входа. Это текстовая модель для индонезийского языка, распространяемая в формате safetensors и доступная через библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.
NeoAraBERT_DA — арабская модель для получения текстовых эмбеддингов, разработанная подразделением U4RASD Центра исследований и политических исследований арабского мира совместно с Американским университетом Бейрута. Она основана на архитектуре NeoBERT и дообучена на диалектном арабском; размер модели — 314,2 млн параметров. Модель предназначена для векторного представления текста и задач понимания арабского языка, включая классификацию и предсказание замаскированных токенов. В README описаны предварительное обучение на разнообразных арабских данных и исследования нормализации, стемминга и обработки диакритики; семейство NeoAraBERT показало высокие результаты на широком наборе арабских задач. Репозиторий использует Transformers и формат safetensors. Лицензия — CC BY-SA 4.0.
NeoBERT — англоязычная encoder-модель для получения представлений текста, разработанная chandar-lab и обученная с нуля на наборе RefinedWeb. Она содержит 287,7 млн параметров по метаданным Hugging Face; в README указано 250 млн. Архитектура имеет глубину 28 слоёв и ширину 768, использует активацию SwiGLU и поддерживает контекст до 4 096 токенов. Модель предназначена для извлечения признаков и представлений текста, а также может служить базовой моделью для задач классификации и заполнения пропусков. Авторы позиционируют её как замену существующим encoder-моделям и сообщают о результатах на бенчмарке MTEB, превосходящих ряд сопоставимых моделей при одинаковых условиях дообучения. Модель распространяется под лицензией MIT. Она ориентирована на английский текст; результаты и сведения о производительности приведены авторами и зависят от задачи и условий применения.
nepali-embedder-v1 — модель эмбеддингов предложений, разработанная для поиска и сравнения текстов на непальском языке. Она основана на BERT-энкодере google/muril-base-cased с mean pooling и дообучена на парах заголовков, вводных абзацев и разделов непальской Википедии. Модель содержит 264,8 млн параметров, принимает текст длиной до 512 токенов и выдаёт векторные представления для семантического поиска и оценки сходства. Модель предназначена для поиска документов на непальском языке, семантического поиска, RAG, кластеризации и дедупликации текстов. README сообщает о хороших результатах на внутренних тестах retrieval и устойчивости к запросам на романизированном непальском при поиске по тексту деванагари. Лицензия — Apache-2.0. Известные ограничения: модель может не различать утверждения с отрицанием; обучение на энциклопедических текстах может снижать качество на разговорных и узкоспециализированных данных. Англо-непальский поиск работает частично и не был отдельной целью обучения; юридическая, медицинская и научная терминология представлена ограниченно.
sankalpakc/nepali-sbert-175k-mpnet — модель Sentence Transformers на архитектуре XLM-RoBERTa, разработанная Sankalpa KC. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения предложений и кластеризации. Модель содержит 305,2 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Модель ориентирована на непальский язык, что отражено в названии репозитория; README описывает её как инструмент для работы с эмбеддингами предложений и абзацев. Для использования доступны Sentence Transformers и Transformers с подходящей операцией pooling. В метаданных указана лицензия? Сведений о лицензии нет, поэтому условия распространения по предоставленным данным определить нельзя.
Nomic-embed-text-v1.5-GGUF — модель для создания текстовых embedding-векторов и задач семантического сходства. Она основана на nomic-ai/nomic-embed-text-v1.5, разработана nomic-ai и предназначена для представления англоязычных текстов в виде векторов, которые можно использовать для поиска, сравнения и семантического сопоставления документов и запросов. Модель распространяется в формате GGUF и оптимизирована для запуска с llama.cpp; квантизацию выполнила Second State Inc. В конфигурации GaiaNet указан шаблон prompt «embedding» и размер контекста 768 токенов. Сведения о точном размере модели, архитектуре, типе квантизации и поддержке других языков в README не приведены, поэтому возможности модели за пределами англоязычных сценариев не подтверждены. Модель подходит для локальных и интегрируемых в приложения сценариев семантического поиска и сравнения текстов, однако ограничение контекста в 768 токенов следует учитывать при обработке длинных материалов. Лицензия — Apache-2.0.
blackmlengineer/occucoder-en-tall-v0 — текстовая Sentence Transformer-модель на архитектуре BERT, обученная разработчиком blackmlengineer для поиска и сопоставления предложений. Она преобразует предложения и абзацы в плотные векторы размерности 256; сходство между ними можно оценивать косинусной мерой. Модель использует mean pooling и предназначена для текстового retrieval и сравнения семантически связанных формулировок. Модель обучена на 991 580 примерах с парами положительных и отрицательных соответствий с использованием MultipleNegativesRankingLoss. Максимальная длина входа — 32 токена. В примерах обучающего набора встречаются названия профессий и смежные категории, поэтому модель подходит для поиска похожих наименований в этой области. Лицензия в предоставленных данных не указана.
Orpheas — модель Sentence Transformer, разработанная авторами репозитория novelcore и дообученная на базе intfloat/multilingual-e5-base на датасете generator. Она преобразует предложения и абзацы на греческом языке в плотные эмбеддинги размерности 768 и предназначена для семантического поиска и сравнения текстов. Архитектура включает XLM-RoBERTa, усреднение токенных представлений, нормализацию векторов и косинусное сравнение; максимальная длина входа — 512 токенов. Модель подходит для поиска релевантных документов, оценки семантической близости, поиска перефразирований, кластеризации и классификации текстов. В карточке приведены результаты оценки поиска на тестовой и валидационной выборках. Доступна под лицензией Apache-2.0.
Prompsit разработала эту модель для оценки того, является ли одна английская фраза перефразированием другой. Это модель классификации последовательностей на архитектуре BERT, дообученная на базе bert-base-uncased; в репозитории доступны веса PyTorch и Safetensors. Модель рассчитана на пары фраз, а не на длинные тексты или предложения с пунктуацией, и поддерживает контекст до 512 токенов. В README сообщается о проверке на 16 500 размеченных человеком парах фраз. Сведения о лицензии в предоставленных материалах отсутствуют.
Модель yahyaabd/paraphrase-multilingual-miniLM-L12-v2-finetuned-bps-0000 — дообученный Sentence Transformer на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она преобразует предложения и абзацы в плотные векторы размерности 384, а сходство между ними оценивается косинусной близостью. Архитектура основана на BERT; модель содержит 124,3 млн параметров и принимает последовательности длиной до 512 токенов по метаданным. В README указана максимальная длина 128 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации. Дообучение выполнено на наборе из 556 примеров с запросами, релевантными и нерелевантными текстами; примеры относятся к статистическим данным Индонезии. Лицензия в предоставленных сведениях не указана.
Многоязычная модель Sentence Transformer, дообученная legalvn на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 для работы с вьетнамскими текстами. Она преобразует предложения и абзацы в плотные векторы размерности 384; сходство векторов можно оценивать косинусной мерой. Архитектура основана на BERT с усреднением токенных представлений. Метаданные указывают 124,3 млн параметров и контекст до 512 токенов, а карточка модели — максимальную длину последовательности 128 токенов. Модель подходит для семантического поиска, сравнения текстов и перефразировок, кластеризации и классификации текстов, в том числе для поиска по вьетнамским правовым материалам. Обучение описано на выборке из 651 725 примеров с запросами, корпусными текстами и оценками сходства. Лицензия в предоставленных сведениях не указана.
legalvn/paraphrase-multilingual-MiniLM-L12-v2-vn-173000 — дообученная командой legalvn многоязычная модель Sentence Transformer на основе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она кодирует предложения и абзацы в плотные векторы размерностью 384 для семантического сравнения текстов, поиска, выявления перефразирований, кластеризации и классификации. Архитектура включает BERT с усреднением токенных представлений; для сравнения векторов предусмотрена косинусная близость. Метаданные указывают 124,3 млн параметров и контекст до 512 токенов, а README сообщает максимальную длину последовательности 128 токенов. Модель обучалась на 651 725 примерах запросов, текстов корпуса и оценок; приведённые примеры и датасет указывают на вьетнамский язык и правовую тематику. Она подходит для семантического поиска по вьетнамским документам и сопоставления запросов с фрагментами корпуса. Лицензия в предоставленных данных не указана.
Parasol Merlanite Trained — модель для классификации текста, опубликованная в пространстве rh-rad-ai-roadshow на Hugging Face. Модель предназначена для отнесения текстовых входов к заранее определённым классам и может применяться в сценариях разговорной обработки текста благодаря соответствующему conversational-тегу. Модель распространяется в формате GGUF и связана с библиотекой adapter-transformers; в метаданных также указан тег adapter-transformers. Доступна по лицензии Apache-2.0, допускающей использование, модификацию и распространение с соблюдением её условий. В карточке отсутствуют сведения об архитектуре базовой модели, количестве параметров, поддерживаемых языках, длине контекста, наборе классов и качестве на тестовых данных. Поэтому перед применением необходимо проверить формат входов, схему меток и совместимость с конкретным классификационным пайплайном.
AISE-TUDelft/pharo-keymessages-classifier — модель на основе MPNet, созданная как Sentence-Transformers модель для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; нативная длина контекста составляет 514 токенов. В README указано обучение с функцией потерь CosineSimilarityLoss. Репозиторий содержит веса PyTorch. Карточка не приводит сведений о языках обучения и лицензии, поэтому нельзя определить языковой охват или условия использования.
thang1943/phobert-base-v2-c-loss — модель Sentence Transformers, дообученная автором на базе вьетнамского энкодера vinai/phobert-base-v2. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантической близости с помощью косинусного сходства. Архитектура включает RoBERTa-энкодер с усреднением токенных представлений; модель содержит 162,4 млн параметров и обрабатывает последовательности длиной до 256 токенов по README и до 258 токенов по метаданным. Модель предназначена для поиска семантически похожих текстов, поиска перефразировок, кластеризации, классификации текста и задач информационного поиска. Базовый PhoBERT ориентирован на вьетнамский язык, поэтому основное применение этой модели — вьетнамские предложения и документы. В карточке приведены результаты оценки информационного поиска, но данных недостаточно, чтобы установить их переносимость на другие наборы данных. Репозиторий использует библиотеку sentence-transformers и формат safetensors; лицензия в предоставленных данных не указана.
Это модель Sentence Transformers, дообученная iambestfeed на базе вьетнамского энкодера vinai/phobert-base-v2 на наборе Vietnamese-Ecommerce-Alpaca. RoBERTa-модель содержит 162,4 млн параметров и преобразует предложения и абзацы во векторы размерности 768; для сравнения близости используется косинусное сходство. Максимальная длина последовательности — 258 токенов по метаданным; README указывает 256 токенов. Модель предназначена прежде всего для оценки семантического сходства вьетнамских текстов и может применяться для семантического поиска, поиска перефразирований, кластеризации и классификации текста. Обучение на 69 292 парах anchor-positive из датасета Vietnamese-Ecommerce-Alpaca ориентирует её на соответствующий материал, в том числе вопросы и ответы об электронной торговле. Это энкодер для получения векторных представлений, а не модель для генерации ответов. Лицензия в предоставленных данных не указана.
piedomains-text — многоязычный классификатор веб-сайтов, разработанный авторами проекта piedomains. Он определяет категории сайта по тексту его главной страницы и предназначен для автоматической классификации доменов по 44 категориям; результат может включать несколько категорий, если вероятности превышают заданный порог. Модель основана на ModernBERT, дообучена на jhu-clsp/mmBERT-base, содержит 306,9 млн параметров и принимает контекст до 8192 токенов. На отложенной выборке из 4382 документов точность составила 0,818, а macro-F1 — 0,758; температурная калибровка снизила ECE с 0,0490 до 0,0168. Модель намеренно допускает пересечение категорий, например, сайт автодилера может относиться и к покупкам, и к автомобилям. Известен существенный дефект: метка drugs часто ошибочно присваивается обычным интернет-магазинам; авторы также отмечают слабые результаты для категорий urlshortener, library, socialnet и shopping. Лицензия — MIT.
pjev-2b — компактная модель для типизированных решений, разработанная Kailune-AI и дообученная на базе openbmb/MiniCPM5-2B. Она принимает текстовые свидетельства, вопрос и заданный пользователем список вариантов, а затем за один проход возвращает вероятности для этих вариантов. Модель использует выходной слой базовой LlamaForCausalLM: отдельная голова решений не добавлена, а адаптер объединён с весами. Репозиторий содержит самостоятельные веса, токенизатор и файл калибровки; поддерживаются Transformers и контекст до 131 072 токенов. Модель предназначена для маршрутизации запросов, классификации, проверок по политикам и ответов «да/нет» с чёткими критериями. Вероятности вычисляются через softmax логитов букв вариантов; до 26 вариантов оцениваются совместно, для большего числа используется приближённый турнирный механизм. При нескольких вопросах об одном наборе свидетельств общий префикс можно обработать один раз. В опубликованном README приведены результаты на публичной части JevBench: высокая точность на простых примерах и средняя — на сложных; это не официальный полный рейтинг и не оценка закрытой части набора. Указана ошибка калибровки ECE 0,120 на сложном уровне. Модель всегда распределяет вероятность между предложенными вариантами, не умеет воздерживаться и оценивалась только на английском языке. Лицензия репозитория — Apache-2.0.