I.11Классификация, ранжирование и сопоставление

lt-wikidata-comp-zh — модель LinkTransformer, разработанная исследователями Harvard. Это дообученная модель на базе DMetaSoul/sbert-chinese-qmc-domain-v1 для сопоставления записей и сущностей по китайским данным Wikidata, включая псевдонимы компаний. Она помогает находить совпадающие записи, кластеризовать и дедуплицировать данные, связывать и агрегировать сущности; также подходит для семантического поиска и других задач сходства предложений. Модель основана на BERT и sentence-transformers, содержит 129,5 млн параметров и преобразует текст в плотные эмбеддинги размерностью 768. Метаданные указывают контекст до 512 токенов; в конфигурации README для обработки задана максимальная длина последовательности 256 токенов. Модель обучена для китайского языка с использованием SupCon loss. Для применения доступны веса в формате safetensors и интеграция с пакетом LinkTransformer. README не сообщает лицензию, поэтому условия использования следует проверить на странице модели.

Lumma-Fev-0.6B — компактная модель решений компании FrontiersMind, дообученная на базе Lumma-0.6B-Base. Она принимает документ-состояние (текст, JSON-объект или массив) и набор типизированных вопросов, а за один проход вычисляет распределение вероятностей для каждого ответа. Модель не генерирует текст: для вопросов типа yes/no возвращает вероятность ответа «да», для выбора — наиболее вероятный вариант и вероятности вариантов, для шкалы — ожидаемый уровень и распределение по уровням. Архитектура — плотный причинный трансформер с обработкой только префикса и отдельным считыванием указателя по вариантам ответа. Вопросы обрабатываются независимо: каждый видит состояние и собственные инструкции с вариантами, но не ответы на другие вопросы. Модель предназначена для структурированной классификации и принятия типизированных решений; карточка приводит результаты на тестах Typed-decisions, AG News и DAIR Emotion. Для работы доступны Transformers и пакет lumma-fev, в том числе сервер API с контрактом TypeSafe. Модель не генерирует свободные объяснения, а её оценки уверенности и вероятности требуют проверки калибровки на размеченных данных перед использованием для автоматических решений. Лицензия — Apache-2.0.

Lumma-Fev-4B — плотная модель принятия решений на 4 млрд параметров от FrontiersMind. Она принимает документ-состояние и набор типизированных вопросов, после чего за один проход выдаёт распределение вероятностей по вариантам каждого вопроса. Модель не генерирует текст: она поддерживает вопросы типа «да/нет», выбор из вариантов и оценку по упорядоченной шкале. Модель предназначена для классификации и структурированного извлечения решений из текста или JSON: например, для независимой оценки нескольких свойств документа и маршрутизации записей по заранее заданным категориям. Вопросы обрабатываются независимо друг от друга. Модель опубликована в формате safetensors для Transformers; лицензия — Apache-2.0. Вероятности и confidence являются оценками модели, поэтому перед использованием их для автоматического принятия решений следует проверить калибровку на размеченных данных своей задачи. Карточка приводит результаты бенчмарков по типизированным решениям, новостям и эмоциям, но не сообщает длину контекста.

Карточка модели keithtwesigye/lunyoro-sentence-embeddings на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

Luxical-One — компактная модель встраивания текста от DatologyAI, полученная дистилляцией Snowflake/snowflake-arctic-embed-m-v2.0. Она создаёт векторы для симметричного сравнения сходства полных документов на английском языке и для задач классификации. Модель рассчитана на высокопроизводительное получение эмбеддингов без GPU-ускорения; доступна интеграция для инференса через Hugging Face. В репозитории указаны веса в формате safetensors. Лицензия — Apache-2.0.

MalayalamSBERT-STS — модель семейства SBERT, выпущенная L3Cube-Pune в рамках проекта MahaNLP. Это дообученная на наборе STS версия модели l3cube-pune/malayalam-sentence-bert-nli для сравнения сходства предложений на малаялам. Она строит векторные представления текста на основе BERT и предназначена для оценки семантической близости фраз, поиска похожих предложений и ранжирования текстов по смысловому сходству. Модель содержит 264,8 млн параметров, работает с входом длиной до 512 токенов и доступна в формате PyTorch. Для получения представлений можно использовать Sentence-Transformers либо Transformers с подходящей операцией pooling поверх контекстных представлений токенов. Модель ориентирована на малаялам; README также указывает на отдельную многоязычную версию для основных индийских языков и межъязыкового сравнения. Лицензия в предоставленных данных не указана.

maux-gte-persian-v2 — модель Sentence Transformer, разработанная автором xmanii и дообученная на базе Alibaba-NLP/gte-multilingual-base на наборе maux-gte-10k-public. Она кодирует предложения и абзацы на персидском языке в нормализованные плотные векторы размерности 768 для сравнения семантического сходства, поиска, выявления парафраз, кластеризации и классификации текстов. Сходство векторов оценивается косинусной мерой; максимальная длина последовательности — 8192 токена. Модель подходит для поиска по персидским вопросам и ответам, сопоставления запросов с документами и группировки похожих текстов. В README приведены высокие результаты на оценке сходства, однако они относятся к описанному оценочному набору и не гарантируют такое же качество на других данных. Лицензия в предоставленных сведениях не указана.

maux-gte-persian-v3-fp16 — модель эмбеддингов предложений на базе Alibaba-NLP/gte-multilingual-base, дообученная для персидского языка и опубликованная в формате fp16. Она преобразует предложения и абзацы в векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации; сходство оценивается косинусной мерой. Модель построена как энкодер Sentence Transformers с пулингом CLS-токена и нормализацией, поддерживает последовательности до 8192 токенов и принимает текст, выдавая векторные представления. Дообучение выполнено на 80 000 персидских пар предложений с функцией потерь MultipleNegativesRankingLoss. Половинная точность fp16 предназначена для более эффективного инференса, особенно на современных GPU. По данным карточки, модель показывает высокие результаты в задачах семантического сходства, поиска и кластеризации на персидском языке. Для загрузки требуются файлы пользовательского кода из репозитория. Лицензия в предоставленных данных не указана.

strauss-oak/mdl_bertopic_globo — многоязычная модель эмбеддингов предложений и абзацев, основанная на архитектуре XLM-RoBERTa. Карточка README описывает её как sentence-transformers-модель, преобразующую текст в плотные векторы размерности 768 для кластеризации и семантического поиска. В метаданных указаны 305,2 млн параметров, контекст до 514 токенов, формат safetensors и лицензия Apache-2.0. Модель подходит для поиска близких по смыслу текстов, группировки предложений и абзацев, а также сравнения их семантической близости на множестве языков, включая русский и английский. Для использования через Transformers требуется подходящая операция pooling над контекстными представлениями токенов. В README указано, что модель обучена командой Sentence Transformers; точное происхождение этого репозитория относительно базовой модели отдельно не описано.

mrm8488/m-e5-large_bs64_10_all_languages — модель эмбеддингов на архитектуре XLM-RoBERTa, опубликованная пользователем mrm8488. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения сходства и кластеризации. Модель обучалась с функцией потерь CosineSimilarityLoss и поддерживает контекст до 514 токенов. Модель подходит для построения мультиязычного семантического поиска и группировки текстов. В метаданных указаны 658,7 млн параметров и формат PyTorch; карточка называет её моделью Sentence-Transformers. Лицензия в доступных данных не указана.

eewwann/me5-ruhnp — модель Sentence Transformers, дообученная автором на базе intfloat/multilingual-e5-large для представления предложений и абзацев в виде плотных текстовых эмбеддингов. В основе лежит XLM-RoBERTa; модель формирует векторы размерности 1024, применяет mean pooling и нормализацию, а сходство текстов можно оценивать косинусной мерой. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. README приводит оценку cosine accuracy 0,993 на TripletEvaluator для набора vk_e5, а также описывает обучение на наборе из 100 000 примеров. Поддерживает многоязычные текстовые входы; максимальная длина последовательности — 512 токенов (514 токенов в метаданных). Это производная модель с весами в формате safetensors. Лицензия в предоставленных данных не указана. Как и другие модели эмбеддингов, она выдаёт векторы, а не готовые ответы; качество зависит от языка, домена и соответствия запроса обучающим данным.

MetaCLIP 2 ViT-B/32 worldwide — мультиязычная модель сопоставления изображений и текста от Meta, представленная в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Это чекпойнт ViT-B-32-worldwide из оригинальной реализации MetaCLIP 2, доступный в формате safetensors для библиотеки Transformers. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения: пользователь задаёт варианты классов словами, а модель оценивает соответствие изображения каждому варианту. Подходит для классификации и поиска изображений по текстовым запросам в разных языковых контекстах. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

MetaCLIP 2 (worldwide) — мультимодальная модель семейства CLIP, представленная Meta в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Этот чекпойнт соответствует варианту ViT-H-14-quickgelu-worldwide и предназначен для классификации изображений по текстовым описаниям без дополнительного обучения: пользователь задаёт возможные классы, а модель оценивает соответствие изображения каждому из них. Модель принимает изображения и текстовые описания и выдаёт оценки сходства, поддерживая многоязычные сценарии. Она реализована как MetaCLIP2Model и распространяется в формате safetensors для Transformers. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.

Distilled MetaCLIP 2 ViT-L/14 (worldwide) — мультимодальная модель семейства MetaCLIP 2, представленная авторами работы «MetaCLIP 2: A Worldwide Scaling Recipe». Чекпойнт соответствует ViT-L-14-worldwide из оригинальной реализации; для работы используется библиотека Transformers. Модель предназначена для классификации изображений по текстовым описаниям без отдельного обучения на каждом наборе классов: пользователь задаёт изображение и варианты описаний, а модель оценивает их соответствие. Вариант worldwide рассчитан на многоязычные данные. Веса опубликованы в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Distilled MetaCLIP 2 ViT-S/16 (384px) worldwide — мультиязычная модель семейства MetaCLIP 2 от Meta, представленная в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Этот чекпойнт соответствует варианту ViT-S-16-384-worldwide оригинальной реализации и предназначен для классификации изображений по текстовым описаниям без отдельного обучения на заданных классах. Модель принимает изображения и текстовые метки классов, сопоставляет их и позволяет выбирать наиболее подходящие описания. Архитектура — MetaClip2Model; файлы представлены в формате safetensors и доступны для использования через Transformers. Карточка отмечает модель как мультиязычную, но не приводит конкретный перечень языков. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

MetaCLIP B/16 — модель семейства CLIP, разработанная командой MetaCLIP и обученная на 400 миллионах примеров CommonCrawl. Вариант base использует разрешение патчей 16; веса доступны в формате PyTorch. Модель сопоставляет изображения и текст в общем пространстве представлений. Её можно применять для классификации изображений по текстовым описаниям без дополнительного обучения, поиска изображений по текстовому запросу и поиска текста по изображению. Модель ориентирована на исследование связи между подбором обучающих данных и качеством CLIP. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

MetaCLIP ViT-B/16 — модель семейства CLIP, разработанная командой MetaCLIP и обученная на 2,5 млрд примеров CommonCrawl. Она сопоставляет изображения и текст в общем пространстве представлений, поэтому подходит для классификации изображений без дополнительного обучения по текстовым меткам, поиска изображений по описанию и поиска текста по изображению. Модель опубликована в рамках исследования Demystifying CLIP Data, посвящённого отбору данных для обучения CLIP. Репозиторий содержит веса PyTorch; в метаданных указана задача zero-shot image classification. Лицензия — CC-BY-NC-4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

MetaCLIP ViT-B/32 — модель семейства CLIP, разработанная командой MetaCLIP и представленная в статье «Demystifying CLIP Data» авторов Xu и соавторов. Эта версия обучалась на 400 миллионах примеров Common Crawl; обозначение B/32 указывает на базовый размер модели и разрешение патчей 32. Модель сопоставляет изображения и текст в общем пространстве эмбеддингов. Она предназначена для классификации изображений без дополнительного обучения по текстовым описаниям классов, поиска изображений по тексту и поиска текста по изображению. Лицензия CC BY-NC 4.0 разрешает использование на условиях лицензии с ограничением на коммерческое применение.

MetaCLIP B/32 FullCC2.5B — модель семейства CLIP, разработанная командой MetaCLIP и представленная в работе Demystifying CLIP Data. Версия обучалась на 2,5 млрд примеров из CommonCrawl; обозначение B/32 указывает на базовый размер модели и разрешение патчей 32. Модель сопоставляет изображения и текст в общем пространстве представлений и предназначена для сценариев zero-shot классификации изображений и поиска по текстовому или визуальному запросу. Модель принимает изображение или текст и формирует векторные представления, по которым можно оценивать соответствие между ними. Это позволяет классифицировать изображения по текстовым описаниям без обучения отдельного классификатора, находить изображения по запросу и подбирать текст к изображению. Репозиторий содержит веса PyTorch и использует библиотеку Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Metask-Jev-4B — мультиязычная модель Wayfind для классификации и типизированных решений. Она принимает описание состояния, например текст, обращение, политику или JSON, и вопрос с вариантами выбора, ответом «да/нет» или шкалой оценки. Модель за один проход выдаёт вероятности для вариантов, не генерируя текст; в README указаны 4,54 млрд параметров, архитектура Qwen3.5-4B с объединённым LoRA и нативный контекст 262 144 токена. README сообщает о поддержке 16 языков, включая русский. Модель предназначена для маршрутизации запросов, сортировки обращений, модерации, проверки утверждений по свидетельствам и оценивания по рубрикам, когда нужны вероятностные метки вместо объяснений. В README приведены результаты на нескольких наборах и замеры производительности, но часть сравнений и рейтинга обозначена как собственная оценка автора; заявленная точность заметно ниже на сложных случаях, а оценка релевантности SummEval имеет систематическое смещение между соседними баллами. Температурная калибровка улучшает калибровку вероятностей. Лицензия — Apache-2.0.

MiniCPM-Reranker-Light — двуязычная модель переранжирования текстов, разработанная ModelBest совместно с лабораторией обработки естественного языка Университета Цинхуа (THUNLP) и группой информационного поиска Северо-Восточного университета (NEUIR). Она предназначена для уточнения порядка документов, найденных поисковой системой, в том числе в системах RAG, и поддерживает переранжирование между китайским и английским языками. Модель основана на MiniCPM-1B-sft-bf16, использует плотную архитектуру MiniCPM с двунаправленным вниманием и классификационную голову последовательности. В README указаны размер 1,2 млрд параметров и максимальная длина входа 8192 токена; метаданные указывают 1,4 млрд параметров и контекст 4096 токенов. Обучение проводилось в несколько этапов примерно на 5–6 млн открытых, синтетических и закрытых примеров. Модель принимает инструкцию, запрос и документ либо работает без инструкции, а в результате оценивает релевантность для ранжирования. Подходит для двуязычного поиска, улучшения выдачи и отбора контекста для RAG. README приводит результаты оценок на наборах китайского, английского и межъязыкового поиска. Лицензия в предоставленных сведениях не указана.

Карточка модели Madras1/minilm-distilled-from-bge-large на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

Madras1/minilm-gooaq-mnr-v3 — англоязычный энкодер предложений на архитектуре BERT, дообученный на базе sentence-transformers/all-MiniLM-L6-v2. Разработчик карточки описывает обучение на 350 000 пар текстов с функцией потерь MultipleNegativesRankingLoss. Модель преобразует предложения и абзацы в плотные векторы размерности 384, нормализует их и использует косинусное сходство для сравнения. Максимальная длина последовательности в README — 256 токенов; метаданные указывают контекст до 512 токенов. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Её можно применять, например, для поиска ответов, связанных с вопросом, в коллекции документов. Поддерживается работа с текстом; основной язык базовой модели — английский. Лицензия в предоставленных сведениях не указана.

nreimers/MiniLM-L3-H384-uncased — компактная текстовая модель семейства MiniLM, созданная Нильсом Реймерсом на основе microsoft/MiniLM-L12-H384-uncased. Это версия с тремя слоями: в ней сохранены слои 3, 7 и 11 исходной 12-слойной модели. Модель имеет архитектуру BERT и содержит 18,8 млн параметров. Модель предназначена для извлечения признаковых представлений текста, которые можно использовать в прикладных системах поиска и анализа текста. Она принимает текст, выдаёт векторные представления и рассчитана на контекст до 512 токенов. Веса доступны в формате PyTorch; лицензия — MIT.

LamaDiab разработал дообученную модель Sentence Transformers на основе sentence-transformers/all-MiniLM-L6-v2. Это компактный BERT-энкодер с 25,9 млн параметров: он преобразует предложения и абзацы в плотные векторы размерности 384, нормализованные для сравнения по косинусному сходству. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README указана максимальная длина последовательности 256 токенов; метаданные каталога задают native context 512 токенов. В оценке TripletEvaluator приведена cosine accuracy 0,9631. Данных о поддержке языков в карточке нет, а базовая модель описана как англоязычная, поэтому её применение к другим языкам не подтверждено. Модель доступна в формате safetensors; лицензия в предоставленных сведениях не указана.

MixEmbed-base-20240113172018-latest — компактная модель эмбеддингов предложений на архитектуре BERT, опубликованная avsolatorio. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и сравнения текстов. В README модель названа bge-micro и указано, что она дистиллирована из BAAI/bge-small-en-v1.5; число параметров — 18,8 млн, контекст — до 512 токенов. Модель предназначена для английского текста и даёт компактные эмбеддинги с производительностью, сопоставимой с all-MiniLM-L6-v2, согласно README. Для использования через Transformers требуется корректно применить операцию pooling к контекстным представлениям токенов. Репозиторий содержит веса Safetensors. Лицензия в предоставленных данных не указана.

MixEmbedBert-base-20240115112530-latest — компактная модель эмбеддингов предложений на архитектуре BERT, опубликованная avsolatorio. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и сравнения текстов. Модель дистиллирована из avsolatorio/bge-small-en-v1.5; в ней примерно вчетверо меньше параметров без учёта эмбеддингов, чем в исходной модели. README сообщает о качестве, сопоставимом с all-MiniLM-L6-v2, при вдвое меньшем общем числе параметров, однако метаданные указывают 18,8 млн параметров. Модель принимает текст и выдаёт векторные представления; максимальная длина контекста — 512 токенов. Карточка описывает её как англоязычную модель. Для вывода эмбеддингов через Transformers нужно применить подходящую операцию pooling к контекстным представлениям токенов; также доступно использование через Sentence-Transformers. Файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.

MixEmbedMean-base-20240116021758-best — модель эмбеддингов avsolatorio на базе BERT, представленная как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и других задач сравнения текста. Модель дистиллирована из BAAI/bge-small-en-v1.5 и содержит 18,8 млн параметров; README сообщает, что у неё в четыре раза меньше параметров без учёта эмбеддингов, чем у исходной модели, и примерно вдвое меньше параметров, чем у all-MiniLM-L6-v2, при сопоставимом качестве.

aimarsg/mle5_parl_contrastive — Sentence Transformer, дообученный разработчиком на базе intfloat/multilingual-e5-large для сопоставления предложений и абзацев. Модель преобразует текст в плотные векторы размерности 1024; сходство между ними можно оценивать косинусной мерой. Архитектура включает XLM-RoBERTa, mean pooling и нормализацию. Максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, классификации и кластеризации. В карточке указано дообучение на 8700 парах anchor-positive и результат cosine accuracy 0,9116 на оценке TripletEvaluator; эти показатели относятся к описанному набору данных. Примеры в карточке на баскском языке связаны с парламентскими вопросами, но заявленная базовая модель многоязычная. Лицензия в предоставленных данных не указана.

Модель tanbinh2210/mlm_finetuned_3_phobert — дообученный разработчиком Sentence Transformer на базе tanbinh2210/mlm_finetuned_2_phobert. Она использует RoBERTa и среднее объединение токенных представлений, чтобы кодировать предложения и абзацы в плотные векторы размерности 768. Модель предназначена для поиска семантически близких текстов и сравнения предложений по косинусному сходству; также её можно применять для поиска парафразов, кластеризации и классификации текста на основе эмбеддингов. Обучение описано на наборе json из 357 018 примеров с запросами, положительными и отрицательными текстами. Максимальная длина последовательности — 258 токенов по метаданным. Модель принимает текст и выдаёт векторы, её можно использовать через библиотеку Sentence Transformers. Язык в доступных данных явно не указан, хотя название базовой модели содержит PhoBERT. Лицензия в предоставленных данных не указана. Модель представляет собой дообученную версию указанной базовой модели; качество и применимость зависят от соответствия входных текстов обучающим данным.