I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейKaLM-Embedding-V2.5 — компактная мультиязычная модель эмбеддингов семейства KaLM, разработанная командой HITsz-TMG. Она предназначена для преобразования текстов в векторы и поддерживает поиск и извлечение документов, ранжирование, классификацию, кластеризацию, оценку семантического сходства и классификацию пар текстов. Для асимметричного поиска предусмотрены инструкции для запросов и документов; в sentence-transformers доступны encode_query и encode_document с шаблоном запроса по умолчанию. Модель построена на плотной архитектуре Qwen2 с двунаправленным вниманием и mean pooling. Размер — 494 млн параметров, размерность эмбеддингов — 896; поддерживаются сокращённые размерности 512, 256, 128 и 64. README указывает максимум 32 тыс. входных токенов, а метаданные — контекстное окно 131 072 токена. Обучение включало слабоконтролируемое предобучение, контролируемое дообучение и контрастивную дистилляцию. Указаны английский и китайский языки. Лицензия — Apache-2.0. Модель ориентирована на построение компактных векторных представлений и заявлена авторами как конкурентоспособная с более крупными моделями сопоставимого назначения. Метаданные связывают её с базовыми репозиториями HIT-TMG/KaLM-embedding-multilingual-mini-instruct-v2 и Qwen/Qwen2.5-0.5B. Для использования с Transformers требуется версия 4.37.0 или новее; README также описывает поддержку sentence-transformers и vLLM.
BidirLM-1.7B-Embedding — многоязычная модель для получения текстовых эмбеддингов, разработанная авторами семейства BidirLM. Это плотный двунаправленный энкодер BidirLMModel на 1,7 млрд параметров, дообученный на основе BidirLM/BidirLM-1.7B-Base контрастивным обучением. Модель использует mean pooling, поддерживает контекст до 32 768 токенов и предназначена для семантического поиска и других задач сопоставления текстов. Модель подходит для поиска и извлечения документов, оценки семантического сходства, кластеризации, классификации текстов, парной классификации, переранжирования и поиска параллельных текстов. Также её можно дообучать для классификации последовательностей и токенов, включая NER и POS-разметку. В карточке заявлена поддержка более 119 языков; метаданные подтверждают многоязычность и перечисляют языковые коды, включая английский, арабский, китайский и хинди. В карточке отмечены результаты на бенчмарках MTEB и LongEmbed, а также возможность применять одну модель и для эмбеддингов, и для последующего дообучения под прикладные задачи. Для загрузки требуется trust_remote_code=True и совместимые версии Transformers и Sentence Transformers. Модель распространяется по лицензии Apache-2.0.
Карточка модели acul21/harrier-oss-v1-0.6b на Hugging Face совпадает с карточкой microsoft/harrier-oss-v1-0.6b, поэтому описание составлено по ней. harrier-oss-v1-0.6b — разработанная Microsoft мультиязычная модель эмбеддингов текста на архитектуре Qwen3 с 507,9 млн параметров. Она использует pooling по последнему непустому токену и L2-нормализацию, формируя плотные векторы размерности 1024. Максимальная длина контекста — 32 768 токенов. Модель предназначена для поиска и ранжирования текстов, кластеризации, оценки семантического сходства, классификации и поиска параллельных текстов. Для запросов рекомендуется задавать краткую инструкцию, описывающую задачу; для документов инструкция не требуется. Семейство обучалось контрастивным методом на мультиязычных данных, а варианты 270M и 0.6B дополнительно дистиллированы из более крупных моделей эмбеддингов. В README заявлены высокие результаты на Multilingual MTEB v2. Поддерживаются многие языки, включая русский, английский, китайский, японский и ряд европейских и азиатских языков. Модель распространяется в формате Safetensors по лицензии MIT. Качество зависит от формулировки инструкции для запроса; небольшие различия результатов могут возникать из-за версий Transformers и PyTorch.
onnx-community/harrier-oss-v1-0.6b-ONNX — ONNX-версия мультиязычной модели для получения текстовых эмбеддингов, разработанной Microsoft. Модель предназначена для поиска и извлечения релевантных документов, кластеризации, оценки семантического сходства, классификации, поиска параллельных предложений и переранжирования. Она поддерживает широкий набор языков, включая русский, английский, китайский, японский, корейский, арабский, немецкий, французский и многие другие. Модель построена на decoder-only архитектуре и использует pooling по последнему непустому токену с последующей L2-нормализацией. Версия имеет около 0,6 млрд параметров, размерность эмбеддинга 1024 и поддерживает контекст до 32 768 токенов. Обучение выполнялось с использованием контрастивного обучения на крупной смеси мультиязычных наборов данных; для вариантов на 270 млн и 0,6 млрд параметров дополнительно применялась дистилляция знаний от более крупных моделей. Заявленный результат на Multilingual MTEB v2 составляет 69,0. Сильными сторонами являются широкий охват языков, большой контекст, универсальность для задач семантического поиска и сопоставления текстов, а также возможность запуска через Transformers.js, в том числе в браузере с WebGPU и квантованием. Для запросов рекомендуется добавлять однострочную инструкцию с описанием задачи, тогда как для документов инструкции не требуются; их отсутствие для запросов может снижать качество. Модель предназначена для работы с текстом и не поддерживает другие модальности. Распространяется по лицензии MIT.
Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.
Qwen3-Reranker-4B-seq-cls — мультиязычная модель для повторного ранжирования текстовых пар, опубликованная tomaarsen как вариант Qwen3-Reranker-4B, преобразованный в модель классификации последовательностей. Она оценивает соответствие запроса и кандидата, чтобы сортировать результаты поиска, извлечения документов и кода. Модель основана на плотной архитектуре Qwen3 с 3,7 млрд параметров; карточка указывает поддержку более 100 языков и контекст до 32 тысяч токенов, а метаданные — 40 960 токенов. Модель подходит для reranking в поисковых и RAG-системах, а также для оценки релевантности текстов и классификации. README рекомендует настраивать инструкцию под задачу и сценарий; для многоязычного применения инструкции советуют писать по-английски. Для работы с Transformers требуется версия 4.51.0 или новее, иначе возможна ошибка распознавания архитектуры Qwen3. Лицензия — Apache-2.0.
BidirLM-0.6B-Embedding — разработанная командой BidirLM многоязычная двунаправленная модель-энкодер для получения текстовых эмбеддингов и последующего дообучения под задачи обработки текста. Это контрастивно дообученная версия промежуточной модели BidirLM-0.6B-Base, основанной на Qwen3-0.6B; архитектура BidirLM использует маскированное предсказание следующего токена и mean pooling. В README указано 596 млн параметров и размерность эмбеддингов 1024, а в метаданных — 507,9 млн параметров. Метаданные указывают контекст до 40 960 токенов; в оценках извлечения длинного контекста версия 0.6B показала лучший результат при 8k токенах, а стандартная оценка MTEB проводилась при длине 512 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, кластеризации, ранжирования и поиска соответствий между текстами. Её также можно дообучать для классификации последовательностей и токенов, включая NER и POS. Карточка заявляет поддержку более 119 языков, но приводит подробности обучения на 87 языках; список языков в метаданных покрывает меньший поднабор. Модель распространяется по лицензии Apache-2.0. Для загрузки требуется trust_remote_code=True и совместимая версия Transformers.
yunyu/cross-encoder-stsb-deberta-v3-large — модель, опубликованная пользователем yunyu на Hugging Face. Это cross-encoder на архитектуре DeBERTa-v3-large, дообученный для оценки семантического сходства пар текстов на основе задачи STS-B. Модель принимает пару текстов и возвращает оценку их смысловой близости, поэтому подходит для классификации и ранжирования текстовых пар. Модель содержит около 533,8 млн параметров и поддерживает контекст длиной до 512 токенов. В метаданных Hugging Face она обозначена как text-classification; используются Transformers и PyTorch. Основной сценарий — переранжирование результатов поиска, сопоставление пользовательского запроса с документами или описаниями, а также фильтрация и оценка семантического сходства в RAG-конвейерах. Как cross-encoder модель обрабатывает две последовательности совместно и обычно требует отдельного вычисления для каждой пары, что ограничивает производительность при массовом сравнении большого числа кандидатов. Контекст ограничен 512 токенами. Сведения о лицензии в доступных источниках не установлены.
mlx-community/embeddinggemma-300m-8bit — 8-битная версия модели EmbeddingGemma объёмом 302,8 млн параметров, преобразованная сообществом mlx-community в формат MLX из модели Google embeddinggemma-300m-qat-q8_0-unquantized. Модель использует текстовую архитектуру семейства Gemma 3 и предназначена для создания нормализованных векторных представлений текстов. Модель подходит для оценки семантического сходства предложений, поиска похожих текстов, семантического поиска, кластеризации, классификации и построения систем retrieval и reranking. README показывает использование через библиотеку mlx-embeddings и поддерживает task-specific prefixes для разных сценариев работы с эмбеддингами. Максимальная длина контекста составляет 2048 токенов, а квантование до 8 бит уменьшает требования к памяти при работе на устройствах Apple с MLX. Для доступа на Hugging Face требуется принять лицензию Google Gemma. Качество результатов зависит от выбранного task prefix, длины входного текста и предметной области; контекст ограничен 2048 токенами.
F2LLM-v2-160M — многоязычная модель эмбеддингов общего назначения от CodeFuse AI, относящаяся к семейству Qwen3. Это instruct-вариант размером 134,8 млн параметров, созданный дообучением пруненной модели F2LLM-v2-0.6B-Preview-Pruned-160M. Модель принимает текст и преобразует его в векторные представления; максимальная длина контекста — 40 960 токенов. Модель предназначена для семантического поиска, ранжирования и других задач сопоставления текстов, включая поиск по запросу, оценку сходства, кластеризацию и поиск параллельных текстов. Она обучена на данных более чем для 200 языков, с особым вниманием к языкам с ограниченными ресурсами; карточка перечисляет поддержку 21 языка. Matryoshka Representation Learning позволяет сокращать размерность эмбеддингов, сохраняя возможность настраивать компромисс между качеством, хранением и скоростью поиска. Для retrieval и reranking рекомендуется задавать инструкцию для запроса, но не для документов; после усечения эмбеддингов их следует нормализовать. Модель распространяется под лицензией Apache-2.0 и доступна в формате Safetensors. Заявления о результатах на бенчмарках относятся к семейству F2LLM-v2 в целом; README не приводит отдельные показатели именно для версии 160M.
F2LLM-v2-8B — многоязычная модель эмбеддингов из семейства F2LLM-v2, представленная CodeFuse AI. Это дообученная версия предварительной модели F2LLM-v2-8B-Preview на основе архитектуры Qwen3; она содержит 7,6 млрд параметров и рассчитана на извлечение признаков из текста. Модель принимает текст и выдаёт векторные представления, которые можно использовать для семантического поиска, ранжирования и сопоставления текстов. Семейство обучено на составном наборе из 60 млн отобранных общедоступных примеров и поддерживает более 200 языков, уделяя особое внимание языкам с малым объёмом ресурсов. Карточка сообщает результаты уровня state of the art на ряде бенчмарков MTEB. Модель поддерживает инструкции для запросов; обучение с Matryoshka Representation Learning позволяет сокращать размер эмбеддингов для экономии памяти и ускорения векторного поиска. Длина контекста — 40 960 токенов. Использовать можно через Transformers и Sentence Transformers. Лицензия — Apache-2.0.
Карточка модели OpenSite/forge на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-8B, поэтому описание составлено по ней. Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.
FRIDA-Decisions — модель для принятия структурированных решений по русскому тексту, разработанная УЭСМО и SberAI на основе энкодера ai-forever/FRIDA. Она классифицирует текст по заданным пользователем вариантам, оценивает его по порядковой шкале, отвечает «да/нет» и ранжирует кандидатов; набор вариантов задаётся в запросе, поэтому новые метки не требуют отдельного дообучения. Модель возвращает варианты и оценки уверенности без генерации текста. Архитектура — плотный энкодер T5EncoderModel; в репозитории доступны веса Safetensors и ONNX. Метаданные указывают 936,6 млн параметров, а README характеризует базовую FRIDA как модель с 823 млн параметров. Модель ориентирована прежде всего на русский язык, также заявлена поддержка английского. Для входного текста обученный диапазон составляет до 512 токенов; по умолчанию используется отсечение на 384 токенах. По данным авторов, модель подходит для маршрутизации обращений, классификации намерений и тональности, модерации и ранжирования релевантности; доступны варианты запуска на GPU, CPU и Apple Silicon. Модель лицензирована по MIT. Авторы сообщают о 0,893 точности на наборе razvilka из 735 русскоязычных примеров и о быстром инференсе на потребительской GPU. На текстах длиннее 512 токенов точность может снижаться, особенно при вопросах о деталях в конце текста; при превышении заданного предела текст обрезается.
furiosa-ai/harrier-oss-v1-0.6b — производная версия мультиязычной модели эмбеддингов Harrier OSS v1 от Microsoft, подготовленная FuriosaAI для запуска на ускорителях RNGD с Furiosa-LLM. В основе лежит плотная decoder-only архитектура Qwen3; модель содержит 507,9 млн параметров и принимает текст, выдавая L2-нормированные векторы размерности 1024. Контекст — до 32 768 токенов. Модель предназначена для поиска по смыслу, кластеризации, оценки семантического сходства, классификации текстов, поиска параллельных текстов и ранжирования. Она учитывает инструкцию к задаче: для запросов рекомендуется добавлять краткое описание задачи в формате «Instruct: …\nQuery: …», а документы передавать без этой инструкции. Помимо Furiosa-LLM, исходная модель поддерживает запуск через Sentence Transformers и Transformers. Модель опубликована под лицензией MIT. В карточке указана поддержка многих языков, включая английский, арабский, китайский? [исправить]
harrier-oss-v1-0.6b — разработанная Microsoft мультиязычная модель эмбеддингов текста на архитектуре Qwen3 с 507,9 млн параметров. Она использует pooling по последнему непустому токену и L2-нормализацию, формируя плотные векторы размерности 1024. Максимальная длина контекста — 32 768 токенов. Модель предназначена для поиска и ранжирования текстов, кластеризации, оценки семантического сходства, классификации и поиска параллельных текстов. Для запросов рекомендуется задавать краткую инструкцию, описывающую задачу; для документов инструкция не требуется. Семейство обучалось контрастивным методом на мультиязычных данных, а варианты 270M и 0.6B дополнительно дистиллированы из более крупных моделей эмбеддингов. В README заявлены высокие результаты на Multilingual MTEB v2. Поддерживаются многие языки, включая русский, английский, китайский, японский и ряд европейских и азиатских языков. Модель распространяется в формате Safetensors по лицензии MIT. Качество зависит от формулировки инструкции для запроса; небольшие различия результатов могут возникать из-за версий Transformers и PyTorch.
Карточка модели Aliados/harrier-oss-v1-270m на Hugging Face совпадает с карточкой microsoft/harrier-oss-v1-270m, поэтому описание составлено по ней. harrier-oss-v1-270m — разработанная Microsoft мультиязычная модель для получения плотных текстовых эмбеддингов. Она использует декодерную архитектуру Gemma 3 Text с пуллингом последнего токена и L2-нормализацией. Размер модели — 257 млн параметров по метаданным; размерность эмбеддингов — 640, максимальный контекст — 32 768 токенов. Модель предназначена для семантического поиска и извлечения документов, оценки сходства текстов, кластеризации, классификации, поиска параллельных фрагментов и ранжирования. Для адаптации эмбеддингов к сценарию README рекомендует добавлять к запросу краткую инструкцию; для документов инструкции не требуются. Модель обучалась контрастивным методом на мультиязычных данных, а вариант на 270 млн параметров дополнительно обучался с дистилляцией от более крупных моделей. Заявлена поддержка широкого набора языков, включая русский; перечисленные в карточке языки не исчерпывают весь список. Лицензия — MIT. README сообщает о высоких результатах на Multilingual MTEB v2, но воспроизведённые оценки могут немного различаться в зависимости от версий Transformers и PyTorch.
harrier-oss-v1-270m — разработанная Microsoft мультиязычная модель для получения плотных текстовых эмбеддингов. Она использует декодерную архитектуру Gemma 3 Text с пуллингом последнего токена и L2-нормализацией. Размер модели — 257 млн параметров по метаданным; размерность эмбеддингов — 640, максимальный контекст — 32 768 токенов. Модель предназначена для семантического поиска и извлечения документов, оценки сходства текстов, кластеризации, классификации, поиска параллельных фрагментов и ранжирования. Для адаптации эмбеддингов к сценарию README рекомендует добавлять к запросу краткую инструкцию; для документов инструкции не требуются. Модель обучалась контрастивным методом на мультиязычных данных, а вариант на 270 млн параметров дополнительно обучался с дистилляцией от более крупных моделей. Заявлена поддержка широкого набора языков, включая русский; перечисленные в карточке языки не исчерпывают весь список. Лицензия — MIT. README сообщает о высоких результатах на Multilingual MTEB v2, но воспроизведённые оценки могут немного различаться в зависимости от версий Transformers и PyTorch.
Карточка модели joaorobson/harrier-oss-v1-27b на Hugging Face совпадает с карточкой microsoft/harrier-oss-v1-27b, поэтому описание составлено по ней. harrier-oss-v1-27b — разработанная Microsoft многоязычная модель для получения плотных текстовых эмбеддингов. Она использует декодерную архитектуру Gemma3TextModel с last-token pooling и L2-нормализацией; в метаданных указано 28,3 млрд параметров, а README для варианта 27B приводит размерность эмбеддинга 5376 и максимум 32 768 токенов. Метаданные указывают нативный контекст 131 072 токена. Модель предназначена для семантического поиска и извлечения документов, кластеризации, оценки сходства предложений, классификации, поиска параллельных текстов и ранжирования. По README, Harrier OSS v1 достигла результата 74,3 на Multilingual MTEB v2 для варианта 27B. Для запросов рекомендуется добавлять короткую инструкцию с описанием задачи; отсутствие инструкции может снизить качество. Метаданные подтверждают многоязычность и широкий список языков, а README также перечисляет русский. Модель распространяется под лицензией MIT. Это текстовая модель эмбеддингов: она принимает текст и выдаёт векторы, а качество зависит от формулировки инструкции и используемого сценария; результаты могут немного различаться в зависимости от версий Transformers и PyTorch.
arkohut/jina-embeddings-v3 — мультиязычная многозадачная модель эмбеддингов, разработанная Jina AI и основанная на архитектуре Jina-XLM-RoBERTa. Она преобразует текст в векторные представления для семантического поиска, сопоставления текстов, кластеризации и классификации. В README заявлена обработка последовательностей до 8192 токенов; метаданные указывают 658,7 млн параметров и библиотеку Transformers. Модель использует пять LoRA-адаптеров для настройки эмбеддингов под разные задачи: запросы и документы для асимметричного поиска, разделение и ранжирование, классификация и сопоставление текстов. Поддерживаются Matryoshka-эмбеддинги размером от 32 до 1024 измерений. Тюнинг охватывает 30 языков, включая русский; базовая модель заявлена как поддерживающая 100 языков. Лицензия — CC BY-NC 4.0, допускающая использование с некоммерческими ограничениями.
jina-embeddings-v5-text-small-text-matching — компактная модель векторных представлений текста от Jina AI, предназначенная для сопоставления текстов и оценки их семантической близости. Модель является квантизированной версией jinaai/jina-embeddings-v5-text-small и обучалась с использованием дистилляции и специализированных контрастивных функций потерь. Модель содержит 677 млн параметров, поддерживает многоязычные тексты и обрабатывает последовательности длиной до 32 768 токенов. Она формирует эмбеддинги размерностью 1024 с использованием pooling по последнему токену. Поддерживаются уменьшенные Matryoshka-размерности: 32, 64, 128, 256, 512 и 768, что позволяет выбирать компромисс между качеством и затратами на хранение и поиск. Модель подходит для семантического поиска, дедупликации, кластеризации, ранжирования и других задач сопоставления текстов. К сильным сторонам относятся компактность, высокая производительность для своего размера, многоязычность, длинный контекст и возможность гибко сокращать размер эмбеддинга. Ограничение модели — специализация на text-matching: README не заявляет её оптимизацию для генерации текста или иных задач. Для использования требуется совместимое программное окружение, включая transformers, PyTorch и, в зависимости от способа запуска, vLLM, sentence-transformers или Text Embeddings Inference. Лицензия — CC BY-NC 4.0, допускающая использование с ограничениями, включая некоммерческий характер применения.
KaLM-Embedding-Gemma3-12B-2511 — модель эмбеддингов от Tencent, дообученная на базе google/gemma-3-12b-pt. Она преобразует текст в векторы для поиска и сравнения смысловой близости; также подходит для классификации, кластеризации и ранжирования. Модель имеет плотную архитектуру Gemma 3 Text, содержит 11,6 млрд параметров, использует pooling по последнему токену и формирует эмбеддинги размерностью 3840 с поддержкой сокращения размерности до 64. Метаданные указывают контекст до 131 072 токенов, тогда как README заявляет максимум входа 32 тыс. токенов. В тесте MMTEB, приведённом в README, модель заняла первое место по сводному показателю; этот результат относится к оценке на момент публикации карточки и не гарантирует превосходства на других данных. Для работы доступны Sentence Transformers и vLLM с отдельной ревизией CausalLM. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.
Multilingual-E5-base — многоязычная модель эмбеддингов текста семейства E5, представленная в техническом отчёте Liang Wang и соавторов. Это плотная модель на архитектуре XLM-RoBERTa с 12 слоями, размерностью эмбеддинга 768 и 305,2 млн параметров; карточка указывает, что она основана на xlm-roberta-base и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует текст в векторы для поиска по смыслу и сравнения предложений; доступны форматы PyTorch, Safetensors, ONNX и OpenVINO. Она подходит для многоязычного семантического поиска, извлечения passages по запросам, оценки сходства предложений, поиска перефразировок и получения признаков для кластеризации или классификации. Для корректной работы с задачами поиска и сходства README рекомендует добавлять префикс «query: »; для асимметричного поиска passages используется также «passage: ». Указан контекст до 514 токенов в метаданных, а README предупреждает об усечении длинного текста до 512 токенов. Заявлена поддержка 100 языков XLM-RoBERTa, при этом для языков с малым объёмом ресурсов качество может снижаться. Модель рассчитана на прикладное использование в задачах поиска и сходства; лицензия — MIT.
Multilingual-E5-base — модель текстовых эмбеддингов на архитектуре XLM-RoBERTa, основанная на xlm-roberta-base и дополнительно обученная на смеси многоязычных данных методом контрастивного обучения. В карточке указаны 12 слоёв и размер эмбеддинга 768; метаданные указывают около 305,2 млн параметров и контекст до 514 токенов. Модель предназначена для получения векторных представлений запросов и текстов, семантического сравнения, поиска и ранжирования документов, в том числе в многоязычных сценариях. Модель поддерживает 100 языков семейства XLM-RoBERTa; в метаданных явно перечислены языковые коды для части языков. Для асимметричного поиска следует добавлять к запросу префикс «query: », а к документу — «passage: »; для симметричных задач и получения признаков рекомендуется префикс «query: ». Длинные входы обрезаются до 512 токенов, а качество может быть ниже для языков с малым объёмом ресурсов. Репозиторий предоставляет веса в форматах PyTorch, Safetensors и ONNX; лицензия — MIT.
Карточка модели RedHatAI/multilingual-e5-large на Hugging Face совпадает с карточкой intfloat/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — многоязычная модель эмбеддингов текста, опубликованная intfloat; её технический отчёт подготовили Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei. Модель основана на XLM-RoBERTa-large и имеет 24 слоя с размерностью эмбеддинга 1024. Она принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Модель предназначена для межъязыкового и многоязычного поиска, ранжирования passage по запросу, оценки семантического сходства, поиска перефразировок и использования эмбеддингов в кластеризации или классификации. При обучении текстовые роли задаются префиксами `query:` и `passage:`; их следует выбирать в соответствии со сценарием, иначе качество может снизиться. Поддерживаются 100 языков XLM-RoBERTa, включая русский, однако для языков с небольшим объёмом ресурсов качество может быть ниже. Вход ограничен 512 токенами, а более длинный текст обрезается. Лицензия — MIT.
Карточка модели Hiveurban/multilingual-e5-large-pooled на Hugging Face совпадает с карточкой intfloat/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — многоязычная модель эмбеддингов текста, опубликованная intfloat; её технический отчёт подготовили Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei. Модель основана на XLM-RoBERTa-large и имеет 24 слоя с размерностью эмбеддинга 1024. Она принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Модель предназначена для межъязыкового и многоязычного поиска, ранжирования passage по запросу, оценки семантического сходства, поиска перефразировок и использования эмбеддингов в кластеризации или классификации. При обучении текстовые роли задаются префиксами `query:` и `passage:`; их следует выбирать в соответствии со сценарием, иначе качество может снизиться. Поддерживаются 100 языков XLM-RoBERTa, включая русский, однако для языков с небольшим объёмом ресурсов качество может быть ниже. Вход ограничен 512 токенами, а более длинный текст обрезается. Лицензия — MIT.
Карточка модели Hostage928/multilingual-e5-small на Hugging Face совпадает с карточкой intfloat/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.
Marqo/multilingual-e5-small — клон модели multilingual-e5-small, основанной на intfloat/multilingual-e5-small. Изменение относительно оригинала — исправленный pad_token_id в config.json. Это плотная BERT-модель с 12 слоями и размерностью эмбеддингов 384; она выдаёт текстовые векторы для оценки сходства и поиска по смыслу. Модель содержит 124,3 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Модель предназначена для многоязычного семантического сходства, поиска фрагментов по запросам, поиска перефразировок и межъязыкового поиска. Для обучения использовалась смесь многоязычных наборов данных; заявлена поддержка 100 языков, хотя качество может снижаться для языков с малым объёмом данных. Для корректной работы следует добавлять префиксы «query: » и «passage: » в соответствии с типом входного текста. Длинные тексты обрезаются до 512 токенов; лицензионные условия — MIT.
Карточка модели jainam02/qwen3-8b-mh-st3-v3-merged на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-8B, поэтому описание составлено по ней. Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.
Qwen3-Embedding-0.6B — плотная текстовая embedding-модель семейства Qwen3, разработанная командой Qwen для получения векторных представлений текста. Она построена на базе Qwen/Qwen3-0.6B-Base и содержит около 508 млн параметров. Модель предназначена для поиска и сопоставления текстов, классификации и кластеризации, поиска кода и межъязыкового поиска. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст длиной до 32 тыс. токенов и выдаёт эмбеддинги размерности от 32 до 1024. Она поддерживает инструкции, задающие цель представления, и настройку размерности выходного вектора. В метаданных карточки указана задача text-generation, однако README описывает модель именно как инструмент для создания текстовых эмбеддингов; поэтому для каталога основная задача — text-embedding. Для использования требуется библиотека Transformers версии 4.51.0 или новее: более ранние версии могут выдавать ошибку при загрузке архитектуры Qwen3. В README отмечено, что подходящие инструкции могут улучшать результаты на 1–5%, а их отсутствие в запросах поиска может снижать качество. Лицензия — Apache-2.0.
Карточка модели ablllu/Qwen3-Embedding-4B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.