I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейember-v1 — англоязычная модель эмбеддингов текста от llmrails, построенная на архитектуре BERT. Она обучена на большом корпусе пар текстов из разных областей с использованием методов из исследований RetroMAE и SetFit и предназначена для извлечения векторных представлений и сравнения сходства предложений. Модель содержит 433,9 млн параметров, выдаёт эмбеддинги размерности 1024 и обрабатывает последовательности длиной до 512 токенов. В README приведён результат 63,54 в среднем по 56 задачам бенчмарка MTEB; это заявление разработчика. Модель распространяется под лицензией MIT.
ember-v1 — англоязычная модель эмбеддингов текста от vectoriseai, построенная на архитектуре BERT. Она обучена на корпусе пар текстов из разных областей, включая финансы, науку, медицину и право; при обучении использовались приёмы из работ RetroMAE и SetFit. Модель предназначена для получения векторных представлений предложений и сравнения их семантической близости, например в поиске и ранжировании текстов. Модель содержит около 433,9 млн параметров и обрабатывает до 512 токенов; более длинные входы обрезаются. В README приведён результат 63,54 в среднем по 56 задачам MTEB при размерности эмбеддингов 1024. Доступны форматы PyTorch, safetensors и ONNX. Лицензия — MIT; разработчик также предлагает доступ к модели через API LLMRails.
relik-ie/encoder-e5-base-v2-wikipedia — модель-энкодер для получения векторных представлений текста. Модель опубликована в пространстве relik-ie и доступна через библиотеку Transformers; в метаданных она классифицирована как feature-extraction и относится к семейству BERT-подобных моделей. Объём модели составляет 136,7 млн параметров, максимальная длина входа — 512 токенов. Модель предназначена для преобразования текстов в эмбеддинги, которые можно использовать для семантического поиска, сравнения текстов, кластеризации, дедупликации и построения retrieval-компонентов. Название указывает на вариант E5 base v2, адаптированный для корпуса или сценариев, связанных с Wikipedia, однако README не содержит подробностей о разработчике, обучающих данных, методике обучения, оценивании или лицензии. Модель не является генеративной и не предназначена для создания ответов или продолжения текста. При работе необходимо учитывать ограничение контекста в 512 токенов; характеристики качества для конкретных языков и предметных областей в доступных материалах не приведены.
IDEA-CCNL разработала Erlangshen-Roberta-330M-Similarity — китайскую модель семейства RoBERTa, дообученную для оценки сходства текстов. Она основана на chinese-roberta-wwm-ext-large и обучена на 2 773 880 примерах из 20 наборов данных с китайскими перефразированиями. В README размер модели указан как 330 млн параметров, а метаданные Hugging Face указывают 424,3 млн параметров; для запуска предлагаются BertTokenizer и BertForSequenceClassification из Transformers. Модель предназначена для сравнения китайских фраз и предложений, в том числе поиска перефразирований и определения смысловой близости. В карточке приведены результаты на наборах BQ, BUSTM и AFQMC; длина контекста составляет 512 токенов. Модель принимает текстовые пары и выдаёт классификационную оценку сходства. Репозиторий распространяется под лицензией Apache-2.0.
ERNIE 2.0 ENE, дообученная модель на архитектуре BERT для классификации пар вопросов из набора QQP датасета GLUE. Разработчик дообучил её на базе nghuyong/ernie-2.0-en; модель предназначена для определения, задают ли два вопроса один и тот же вопрос, например, при поиске похожих вопросов или удалении дубликатов. В README указаны результаты оценки: accuracy 0,9157 и F1 0,8861. Модель содержит 136,7 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Доступны веса в формате PyTorch. Лицензия в предоставленных данных не указана.
Ettin Encoder 1B — англоязычная модель-энкодер семейства ModernBERT от исследовательской группы JHU CLSP, часть набора Ettin для сопоставления энкодерных и декодерных архитектур. Модель содержит 1 млрд параметров, построена на плотной архитектуре ModernBERT и обучена с маскированием токенов; она предназначена для извлечения признаков и получения текстовых представлений, а также поддерживает заполнение пропусков в тексте. Модель подходит для классификации текстов, поиска и извлечения представлений, включая поиск по коду и работу с длинным контекстом. В описании набора Ettin сообщается о сильных результатах энкодеров на GLUE, англоязычном поиске MTEB и CodeSearchNet. Контекст модели составляет около 8 тысяч токенов. Обучение Ettin использует открытые данные и единый рецепт для сравнения архитектур; лицензия модели — MIT.
EuroBERT-2.1B — мультиязычная плотная модель-энкодер семейства EuroBERT, разработанная командой EuroBERT. Модель содержит 2,1 млрд параметров и обрабатывает последовательности длиной до 8192 токенов. Это masked language model для заполнения пропусков; её также можно дообучать или использовать с соответствующими головами для классификации текста и токенов, ответов на вопросы, поиска и регрессии. Модель рассчитана на английский, французский, немецкий, испанский, китайский, итальянский, русский, польский, португальский, японский, вьетнамский, нидерландский, арабский, турецкий и хинди. Карточка также указывает поддержку кода и математики. Для работы подходит библиотека Transformers версии 4.48.0 и выше; веса доступны в форматах PyTorch и Safetensors. EuroBERT-2.1B показала сильные результаты в оценках мультиязычного поиска, классификации, регрессии, качества переводов, кода и математических задач; авторы сообщают, что она превзошла сравниваемые системы в проведённых оценках. Как энкодер, она не предназначена для свободной генерации длинных ответов. Лицензия — Apache-2.0.
Это веса модели EVA02 Enormous Patch14 CLIP 224, опубликованные в репозитории timm и совместимые с библиотекой OpenCLIP. Модель предназначена для классификации изображений по текстовым описаниям без обучения на целевых классах: она сопоставляет изображение с кандидатными подписями и оценивает их соответствие. Архитектура использует визуальный энкодер EVA02 с патчами 14 × 14 и CLIP-сопоставление изображения и текста; размер входного изображения — 224 пикселя. Веса связаны с обучающей выборкой LAION-2B и доступны в форматах PyTorch и Safetensors. Модель принимает изображения и текстовые варианты классов, а выдаёт оценки соответствия для выбора наиболее подходящего описания. Карточка не сообщает языковую специализацию, поэтому область поддержки языков по ней определить нельзя. Лицензия репозитория — MIT.
timm/eva02_enormous_patch14_clip_224.laion2b_plus — веса модели EVA-02-CLIP, опубликованные в экосистеме timm и OpenCLIP. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения: она сопоставляет изображение с кандидатными текстовыми метками и позволяет выбрать наиболее подходящую. Модель принимает изображения и текстовые запросы, а выдаёт оценки соответствия между ними. Репозиторий содержит веса в форматах PyTorch и safetensors; для работы указана библиотека open_clip. Лицензия — MIT. Данных о размере модели, поддерживаемых языках и ограничениях качества в карточке нет.
eva02_large_patch14_clip_336.merged2b — веса модели EVA-02 CLIP, опубликованные timm для использования с OpenCLIP. Модель предназначена для классификации изображений по текстовым описаниям без специального обучения на целевых классах: она сопоставляет изображение и варианты текста, а затем оценивает их сходство. По названию репозитория модель использует визуальный энкодер EVA-02 с патчами 14×14 и входным разрешением 336 пикселей, объединённый с текстовым энкодером CLIP. Метаданные указывают задачу zero-shot image classification и форматы PyTorch и safetensors. Лицензия — MIT.
EVA-CLIP-8B — разработанная BAAI совместно с THU модель контрастивного сопоставления изображений и текста семейства CLIP. Она преобразует изображения и текст в векторы признаков, которые можно сравнивать для поиска соответствий и классификации без обучения на конкретных классах. Модель содержит 8,1 млрд параметров и распространяется в формате PyTorch; для обучения использовались данные LAION-2B и COYO-700M. Модель предназначена для извлечения визуальных и текстовых признаков, классификации изображений по текстовым описаниям и поиска изображений по запросу или текста по изображению. В README для варианта 8B приведены средние результаты на наборах классификации изображений и видео, а также оценка поиска соответствий; качество может отличаться при использовании весов Hugging Face от опубликованных PyTorch-результатов. Веса доступны по лицензии Apache-2.0. Из-за большого размера модели для загрузки и применения требуются значительные ресурсы; README указывает на возможность загрузки через DeepSpeed ZeRO-3 при ограниченной памяти CPU.
EVA-CLIP-8B-448 — разработанная BAAI модель семейства CLIP для совместного представления изображений и текста. Она использует контрастивное обучение на парах изображение–текст и содержит 8,1 млрд параметров; вариант 448 дообучен на разрешении 448 пикселей на основе EVA-CLIP-8B. Модель предназначена для извлечения сопоставимых признаков изображений и текстовых описаний, классификации изображений без обучения на целевых классах и поиска изображений по тексту или текста по изображению. В карточке приведены результаты на наборах классификации изображений и видео и для задач retrieval; авторы сообщают среднюю точность zero-shot классификации изображений 80,0% на 27 бенчмарках. Обучение проводилось на объединённом наборе Merged-2B, составленном из LAION-2B и COYO-700M. Для работы доступны веса PyTorch и Hugging Face. Лицензия — Apache-2.0. Модель обрабатывает изображения и текст, но не предназначена для генерации описаний или изображений. Авторы предупреждают, что результаты при использовании Hugging Face-весов могут отличаться от опубликованных для PyTorch-весов; качество также зависит от целевого набора данных и формулировок текстовых меток.
abhiraj1/eval_triple_encoder — модель Sentence Transformer на базе BERT, дообученная автором репозитория от UKPLab/triple-encoders-dailydialog. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; сходство между векторами оценивается косинусной мерой. Модель использует mean pooling, принимает последовательности длиной до 512 токенов и распространяется в формате safetensors через библиотеку sentence-transformers. Модель предназначена для сравнения смысловой близости текстов, семантического поиска, поиска парафразов, кластеризации и классификации на основе эмбеддингов. README описывает обучение на наборах пар и троек предложений с функциями потерь CosineSimilarityTripleEncoderLoss и ContrastiveLoss. Данные не устанавливают конкретный язык модели, поэтому языковую специализацию определить нельзя. Условия лицензирования в доступных сведениях не приведены.
ingeol/facets2_abl_num2_5 — модель на базе MPNet, представленная как sentence-transformers-модель. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и других задач сравнения предложений. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста составляет 514 токенов. В README указано обучение с функцией потерь BPRLoss из BEIR. Доступен формат safetensors. Язык обучения или целевой язык не указан, поэтому языковую специализацию установить нельзя. Лицензия в предоставленных данных не указана.
ingeol выпустил модель ingeol/facets_gpt_expanswer_1234 — sentence-transformers-модель на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768; контекст модели составляет 514 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Её можно использовать через библиотеку Sentence Transformers либо Transformers с подходящей операцией pooling. В карточке указана функция потерь BPRLoss; сведений о языковой специализации и лицензии нет.
Parallia разработала FMMB-BE-NL — одноязычную нидерландскую версию модели Sentence Transformers для получения эмбеддингов текста. Она основана на ModernBERT и содержит 148,7 млн параметров. Модель преобразует предложения и абзацы длиной до 8192 токенов в плотные векторы размерности 768; для сравнения векторов подходит косинусная близость. В README указано, что веса совпадают с исходной многоязычной моделью FMMB-BE, а эта версия использует нидерландский токенизатор и соответствующую таблицу эмбеддингов. Модель обучена на параллельных предложениях на английском, французском, нидерландском и немецком языках. Её можно применять для семантического поиска, сравнения сходства предложений, поиска перефразировок, кластеризации и классификации текста. Лицензия — Apache-2.0. Карточка рекомендует использовать актуальную версию библиотеки Transformers с поддержкой ModernBERT.
codersan/FaLaBSE_Mizan3 — дообученная на парах предложений модель Sentence Transformers на базе codersan/FaLabse. Она кодирует предложения и абзацы в плотные векторы размерности 768; сходство между ними оценивается косинусной близостью. Обучение проведено на 1 021 596 парах anchor-positive с помощью MultipleNegativesRankingLoss. Модель предназначена для семантического сравнения текстов, поиска по смыслу, выявления перефразировок, кластеризации и извлечения признаков для классификации. В обучающих примерах есть персидские предложения и соответствующие английские переводы, поэтому модель подходит для поиска семантических соответствий между такими текстами. Архитектура — BERT; метаданные указывают размер 498,1 млн параметров и контекст до 512 токенов, а карточка модели задаёт максимальную длину входа 256 токенов. Для работы требуется текстовый ввод; результатом служат векторы, пригодные для сравнения и поиска. В карточке не указана лицензия, поэтому условия использования следует проверить в репозитории модели. Качество для иных языков и доменов не подтверждено приведёнными примерами; длина входа ограничена настройками модели.
pashinskaya03/fft-bge-m3-encoder — модель Sentence Transformer на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 1024 и нормализует их; близость текстов можно оценивать косинусным сходством. Модель обучена на 78 413 примерах с anchor, positive и negative и подходит для семантического поиска, сравнения текстов, поиска перефразировок, классификации и кластеризации. Контекстное окно в метаданных указано как 8194 токена, а README задаёт максимальную длину последовательности 2048 токенов. В репозитории используются веса safetensors и библиотека Sentence Transformers. Языки и лицензия в предоставленных источниках не указаны. README не сообщает отдельного ограничения на применение; фактическая полезность эмбеддингов зависит от языка и предметной области текстов.
Карточка модели aaabushiren/fg-clip2-base на Hugging Face совпадает с карточкой qihoo360/fg-clip2-base, поэтому описание составлено по ней. FG-CLIP 2 — двуязычная модель визуально-текстового выравнивания для детального понимания изображений и текста. В карточке указаны авторы Chunyu Xie, Bin Wang и коллеги; модель доступна в репозитории qihoo360 и предназначена для английского и китайского языков. Модель сопоставляет изображения с текстовыми описаниями и поддерживает классификацию изображений без дополнительного обучения, а также поиск по изображению и тексту. Авторы сообщают о проверке на 29 наборах данных и восьми задачах, где FG-CLIP 2 превзошла ряд сильных базовых моделей, включая SigLIP 2 и MetaCLIP 2. Архитектура FG-CLIP 2 представлена классом Fgclip2Model; для загрузки в README приведён интерфейс Transformers с обработкой изображений и токенизатором. Модель принимает изображения и текстовые запросы и формирует выравненные представления для сопоставления и классификации. Репозиторий содержит веса в формате Safetensors. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.
comet24082002/finetune_bge_simsce_V1 — модель Sentence-Transformers на архитектуре XLM-RoBERTa, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для поиска по смыслу и кластеризации. Модель обучалась с CachedMultipleNegativesRankingLoss и косинусной мерой сходства; её можно применять для вычисления семантической близости текстов. Метаданные указывают 658,7 млн параметров, контекст до 8194 токенов и формат safetensors. Библиотека для работы — Sentence-Transformers. Модель принимает текст и выдаёт векторы; в карточке не заявлены поддерживаемые языки или узкая предметная область. Лицензия в предоставленных данных не указана.
ppuva1/finetuned-bge-base-en — англоязычная Sentence Transformer-модель, дообученная автором на основе BAAI/bge-base-en. Она кодирует предложения и абзацы в плотные векторы размерности 768; архитектура включает BERT, пулинг по CLS-токену и нормализацию. Максимальная длина последовательности — 512 токенов, сходство оценивается косинусной мерой. Модель предназначена для семантического сравнения текстов и поиска, поиска перефразировок, кластеризации и классификации. В карточке указана оценка cosine accuracy 0,8462 на обучающем наборе и 0,3939 на оценочном наборе TripletEvaluator; эти результаты относятся к указанным наборам и не гарантируют качество на других данных. Лицензия в предоставленных сведениях не указана.
kasraarabi/finetuned-caption-embedding — дообученная модель Sentence Transformer на базе sentence-transformers/paraphrase-mpnet-base-v2. Разработчик дообучил MPNet на 10 000 пар предложений с функцией потерь MultipleNegativesRankingLoss; модель преобразует предложения и абзацы в плотные векторы размерности 768. Для сравнения векторов используется косинусное сходство. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического сравнения текстов, поиска близких по смыслу фраз и абзацев, поиска перефразировок, кластеризации и извлечения признаков для классификации текста. Примеры обучающих данных описывают сцены и объекты, поэтому модель может быть полезна для сопоставления текстовых описаний изображений. Модель принимает текст и выдаёт эмбеддинги; сама по себе она не генерирует ответы и не определяет категории без дополнительного классификатора. В карточке не указаны лицензия и подтверждённый набор поддерживаемых языков. Для использования указана библиотека Sentence Transformers; веса представлены в формате Safetensors.
Sangeetha/fineTunedCategory — дообученная модель на базе MPNet, разработанная с использованием Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Для обучения применялась функция потерь CosineSimilarityLoss. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторные представления. Её нативный контекст составляет 514 токенов. Доступны веса в формате PyTorch; лицензия не указана в предоставленных данных.
TheMohanad1/Fine-Tuned-E5 — модель Sentence Transformers, дообученная разработчиком на базе intfloat/multilingual-e5-large для преобразования предложений и абзацев в плотные текстовые эмбеддинги. Она основана на XLM-RoBERTa, содержит 658,7 млн параметров и выдаёт векторы размерностью 1024; для сравнения используется косинусное сходство. Максимальная длина входа — 512 токенов (в метаданных указано 514 токенов нативного контекста). Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Её обучали с помощью MultipleNegativesRankingLoss на 1 109 парах предложений, включая примеры на арабском языке из юридической тематики Саудовской Аравии. Поддержка других языков согласуется с многоязычной базовой моделью, однако карточка не перечисляет языки обучения или оценки. Модель принимает текст и возвращает векторы; доступный формат весов — safetensors. Лицензия в предоставленных данных не указана.
joshuapb/fine-tuned-matryoshka-100 — англоязычная модель Sentence Transformers, дообученная автором на основе BAAI/bge-base-en-v1.5 с использованием MatryoshkaLoss и MultipleNegativesRankingLoss. Она кодирует предложения и абзацы в плотные эмбеддинги для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Архитектура основана на BERT: модель использует CLS-пулинг и нормализацию, создаёт векторы размерностью 768, а сходство можно оценивать косинусной мерой. Обучение Matryoshka позволяет использовать укороченные эмбеддинги размерностью 512, 256, 128 или 64; максимальная длина входа — 512 токенов. Модель содержит 136,7 млн параметров и распространяется по лицензии Apache-2.0.
thetayne/finetuned_model_0613 — англоязычная модель Sentence Transformers, дообученная на базе BAAI/bge-base-en-v1.5 для сравнения текстовых фрагментов. Она использует BERT с пулингом CLS-токена и нормализацией эмбеддингов; векторное представление имеет размерность 768, максимальная длина входа — 512 токенов, сходство оценивается косинусной мерой. Модель обучалась на 1 625 парах предложений с функцией CosineSimilarityLoss и предназначена для семантического поиска, поиска перефразировок, кластеризации и сравнения предложений; её векторы также можно применять в задачах классификации. В README приведены результаты оценки семантического сходства для размерностей от 64 до 768. Лицензия Apache-2.0. Модель принимает текст и выдаёт нормализованные векторы; обучение на небольшой выборке означает, что её пригодность для конкретного домена и задач следует проверять отдельно.
kimquynh/finetuned_sbert_4 — дообученная модель Sentence Transformers на базе intfloat/e5-base-v2, созданная автором репозитория kimquynh. Она кодирует предложения и абзацы на английском языке в плотные векторы размерностью 768 для семантического поиска, извлечения документов и сравнения сходства. Архитектура состоит из BERT, усредняющего pooling и нормализации; используется косинусная мера сходства. Модель содержит 136,7 млн параметров, поддерживает контекст до 512 токенов и принимает текст. В README приведены результаты оценки на данных о соответствии резюме и вакансий: корреляция Спирмена для косинусного сходства 0,5381 и F1 бинарной классификации 0,7932. Эти показатели относятся к указанным наборам данных и не гарантируют аналогичное качество на других задачах. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.
Deehan1866 дообучил модель sentence-transformers/multi-qa-mpnet-base-dot-v1 на наборе PiC/phrase_similarity для сопоставления смысла английских фраз и предложений. Это Sentence Transformer на архитектуре MPNet с 136,7 млн параметров: он кодирует текст в плотные эмбеддинги размерности 768, а сходство между ними можно оценивать скалярным произведением. Максимальная длина последовательности — 514 токенов по метаданным; README указывает 512 токенов. Модель подходит для семантического поиска, оценки сходства и поиска перефразировок, а также для кластеризации и классификации текста на основе эмбеддингов. Она принимает текст и выдаёт векторы; карточка демонстрирует оценку на задаче бинарной классификации дубликатов вопросов, но не приводит полной информации о качестве на разнообразных наборах данных. Модель ориентирована на английский язык. Лицензия в предоставленных данных не указана.
Nessrine9/finetuned-snli-MiniLM-L12-v2-100k-en-fr — модель Sentence Transformers, дообученная на базе sentence-transformers/all-MiniLM-L12-v2 на 100 000 пар предложений с оценками сходства. Модель использует архитектуру BERT с усреднением токенных представлений и нормализацией; преобразует предложения и абзацы в плотные эмбеддинги размерности 384 для сравнения по косинусному сходству. Максимальная длина последовательности в README указана как 128 токенов, а метаданные каталога указывают контекст до 512 токенов. Модель предназначена для семантического поиска и оценки текстового сходства, а также может применяться для поиска перефразировок, кластеризации и классификации текста. Данные обучения и название репозитория указывают на английский и французский языки. В README приведены результаты оценки на SNLI-dev, но они сами по себе не подтверждают высокое качество для всех задач или языков. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.
dalietng/fine-tune_simcse — модель на базе RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для вычисления семантического сходства, кластеризации и семантического поиска. Веса содержат около 162,4 млн параметров; максимальная длина контекста — 258 токенов. Модель подходит для получения эмбеддингов текстов и сравнения их по смыслу. В README указано обучение с SoftmaxLoss, но набор данных и целевая предметная область не описаны. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.