I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейAffine SN120 R959 — модель генерации текста, созданная разработчиком ledgernova на базе vera6/affine-5g4yy75zuz-t6. Это экспериментальный чекпойнт, дообученный офлайн методом DPO на парах предпочтений, ранжированных метрикой Reason v4; обучение поощряло рассуждения, повышающие оценку следующего действия учителя. Модель предназначена для участия в дуэлях и оценки по Reason v4 в рамках Affine SN120, а не для общего диалогового применения. В README указаны LoRA ранга 64, контекст обучения до 12 288 токенов и сравнение с родительской моделью на выборке из 79 примеров. В тесте описан положительный результат по метрике Reason, однако он не подтверждает качество на широком наборе задач. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — Apache-2.0.
Kuongan/xlm-roberta-base-vmw-finetuned — модель классификации текста на базе XLM-RoBERTa Base, дообученная автором репозитория Kuongan. Она предназначена для классификации текстовых последовательностей; конкретные классы и прикладной сценарий в карточке не описаны. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa для классификации последовательностей и принимает контекст длиной до 514 токенов. Репозиторий содержит веса в формате safetensors, библиотека для работы — Transformers. В карточке приведены результаты оценки: loss 0,2947, F1 0,0, ROC AUC 0,5 и accuracy 0,4612. Эти показатели не подтверждают полезное качество классификации; кроме того, обучающий датасет указан как None, а сведения о данных и назначении отсутствуют. Лицензия модели — MIT.
Zagreus 0.4B xmoons improved — компактная итальянская модель для ответов на вопросы с выбором варианта. Её разработали в рамках MII Post-Training Challenge как дообучение mii-llm/zagreus-0.4B-ita. Это плотный авторегрессионный трансформер архитектуры LlamaForCausalLM с 437,7 млн параметров и контекстом до 4096 токенов; модель загружается как чекпойнт Transformers и поддерживает чатовый шаблон Llama 3. Модель предназначена для итальянских вопросов по языку, культуре и общим знаниям, а также для исследований компактных языковых моделей и воспроизведения эксперимента ITALIC. В официальном тесте ITALIC fast five-shot она показала точность 44,35% на 10 000 вопросах при заданных настройках. Этот результат относится только к указанному бенчмарку; модель часто выдаёт одну букву ответа и не является универсальным помощником или надёжным источником фактов. Модель не предназначена для медицинских, юридических, финансовых и других критически важных решений. Качество ответов за пределами итальянских вопросов с выбором варианта может быть ненадёжным; обучающие данные могут содержать ошибки и предвзятость. Лицензия — Llama 3.
Cipher-AI/Substitution-Cipher-Alphabet-Eng — дообученная Cipher-AI модель на базе Google T5-Base для восстановления ключа моноалфавитного шифра простой замены в английском тексте. Она принимает шифротекст и генерирует алфавит соответствий, который можно использовать для расшифровки исходного сообщения. Модель построена на архитектуре T5 с 123,8 млн параметров и работает в формате преобразования текста в текст; заявленная длина контекста — 512 токенов. Модель предназначена для криптографических задач с английскими предложениями, зашифрованными простой заменой букв. Она использует статистические и языковые закономерности английского для оценки соответствий, поэтому качество может снижаться на коротких или нетипичных сообщениях, а также при других видах шифрования. Доступна по лицензии Apache-2.0.
Модель R1008 — экспериментальный чекпойнт семейства Qwen3.5 MoE, разработанный как участник серии Affine SN120 и дообученный командой проекта на базе vera6/affine-5g4yy75zuz-t6. Применён offline DPO на парах предпочтений, ранжированных по метрике Reason v4; модель оптимизировали выбирать рассуждения, повышающие оценку следующего действия учителя. В README описана оценка на 80 примерах с положительным результатом относительно родительского чекпойнта. Модель предназначена для соревнования Affine SN120 и оценки в сценарии Reason v4 duel, а не для общего общения. Метаданные указывают задачу text-generation, чат-возможность и формат safetensors; автор сообщает максимальную длину обучения 8192 токена. Указана лицензия Apache-2.0. Результаты и настройки из README относятся к конкретной экспериментальной оценке и не гарантируют качество на других задачах.
opd-teacher-Q2.5I-MaximumWeightMatching-step149 — языковая модель на архитектуре Qwen2, разработанная на основе Qwen/Qwen2.5-1.5B-Instruct. Она дообучена методом GRPO с использованием RLVE на среде MaximumWeightMatching с уровнем сложности 0; это финальный чекпойнт после 150 обновлений обучения. Модель предназначена для эксперимента по on-policy-дистилляции в конфигурации с 32 средами. Модель содержит 1,5 млрд параметров, принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Максимальная длина контекста — 32 768 токенов. Карточка указывает английский язык. Веса преобразованы из исходного чекпойнта в формат Hugging Face safetensors и проверены на соответствие именам и формам тензоров базовой модели. Модель специализирована на среде MaximumWeightMatching, поэтому её полезность для общих диалогов и иных задач не подтверждена. Лицензия — Apache-2.0.
BlazingCustoms/plateclerk-verdict-0.5b — дообученная версия Qwen/Qwen2.5-0.5B-Instruct, разработанная сообществом BlazingCustoms. Модель предназначена для развлекательных и исследовательских сценариев: по строке номерного знака vanity plate и заявленному владельцем смыслу она предсказывает, одобрил или отклонил заявку рецензент DMV Калифорнии. Модель обучена на наборе DarwinAnim8or/DMV-Plate-Review и реализуется через Transformers как text-generation модель с задачей классификации. Модель основана на архитектуре Qwen2.5 с размером 0,5 млрд параметров; поддерживаемый язык — английский. Для неё заявлен ROC-AUC 0,7174 на 4664 отложенных примерах, что заметно выше показателя исходной нетюнингованной модели 0,5392. Доступны варианты в форматах f16, Q8_0, Q5_K_M и Q4_K_M размером примерно от 0,40 до 0,99 ГБ, при этом измеренная потеря качества квантования невелика. Модель не является системой модерации контента и не предназначена для принятия решений о людях, заявках, праве на получение услуг, контроле или проверке. Она воспроизводит решения и возможные предубеждения конкретных рецензентов DMV, поэтому её выводы могут быть непоследовательными, несправедливыми и неверными. Модель намеренно генерирует оскорбительные, сексуальные и иные потенциально неприемлемые строки, включая расшифровки завуалированного текста. Распространяется по лицензии Apache-2.0.
Карточка модели cocongy/e5-finetuned на Hugging Face совпадает с карточкой intfloat/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — многоязычная модель эмбеддингов текста, опубликованная intfloat; её технический отчёт подготовили Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei. Модель основана на XLM-RoBERTa-large и имеет 24 слоя с размерностью эмбеддинга 1024. Она принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Модель предназначена для межъязыкового и многоязычного поиска, ранжирования passage по запросу, оценки семантического сходства, поиска перефразировок и использования эмбеддингов в кластеризации или классификации. При обучении текстовые роли задаются префиксами `query:` и `passage:`; их следует выбирать в соответствии со сценарием, иначе качество может снизиться. Поддерживаются 100 языков XLM-RoBERTa, включая русский, однако для языков с небольшим объёмом ресурсов качество может быть ниже. Вход ограничен 512 токенами, а более длинный текст обрезается. Лицензия — MIT.
Карточка модели thuan220401/multilingual-e5-large на Hugging Face совпадает с карточкой intfloat/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — многоязычная модель эмбеддингов текста, опубликованная intfloat; её технический отчёт подготовили Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei. Модель основана на XLM-RoBERTa-large и имеет 24 слоя с размерностью эмбеддинга 1024. Она принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Модель предназначена для межъязыкового и многоязычного поиска, ранжирования passage по запросу, оценки семантического сходства, поиска перефразировок и использования эмбеддингов в кластеризации или классификации. При обучении текстовые роли задаются префиксами `query:` и `passage:`; их следует выбирать в соответствии со сценарием, иначе качество может снизиться. Поддерживаются 100 языков XLM-RoBERTa, включая русский, однако для языков с небольшим объёмом ресурсов качество может быть ниже. Вход ограничен 512 токенами, а более длинный текст обрезается. Лицензия — MIT.
E5-base-multilingual-4096 — многоязычная модель эмбеддингов на архитектуре XLM-RoBERTa, разработанная как версия Local-Sparse-Global модели intfloat/multilingual-e5-base. Она кодирует запросы и текстовые фрагменты в векторные представления для сравнения смысловой близости и ранжирования, в том числе в сценариях поиска по коллекции документов. Модель содержит 305,2 млн параметров и поддерживает контекст до 4098 токенов. Модель предназначена для многоязычных задач семантического поиска и сопоставления предложений; README приводит пример кодирования запросов и пассажей из MS-MARCO. В метаданных указана поддержка множества языков, включая английский, немецкий, французский, испанский, китайский и другие. Репозиторий содержит веса PyTorch. Лицензия в предоставленных сведениях не указана.
Карточка модели GokulRajaR/embeddinggemma-300m-qat-q8_0-unquantized на Hugging Face совпадает с карточкой h2oai/embeddinggemma-300m-qat-q8_0-unquantized, поэтому описание составлено по ней. EmbeddingGemma — мультиязычная модель эмбеддингов Google DeepMind на 302,8 млн параметров, основанная на текстовой архитектуре Gemma 3 с инициализацией T5Gemma. Она преобразует текст в векторы для поиска, извлечения информации, оценки семантического сходства, классификации и кластеризации. Модель обучена на данных более чем на 100 языках и рассчитана на запуск в условиях ограниченных ресурсов, включая мобильные устройства и настольные компьютеры. Модель принимает текст длиной до 2048 токенов и выдаёт вектор размерности 768; с помощью Matryoshka Representation Learning его можно сократить до 512, 256 или 128 измерений с последующей нормализацией. Веса предназначены для использования с Sentence Transformers и реализацией Gemma 3 в Transformers. Модель подходит для поиска документов и кода по запросам, а также для подбора текстов по смыслу. Качество может снижаться при неоднозначных формулировках, сарказме и тонких языковых нюансах; результаты также зависят от охвата и возможных смещений обучающих данных. Лицензия — Gemma; применяются условия использования и политика запрещённого использования Gemma.
EuroDense-435M — плотная мультиязычная модель эмбеддингов от OPI-PIB, предназначенная для поиска релевантных текстов и оценки семантического сходства. Модель содержит 433,9 млн параметров, принимает текст и формирует векторные представления; поддерживает контекст до 8192 токенов. Для поиска запросы следует подавать с инструкционным префиксом для извлечения релевантных фрагментов, а для сравнения сходства — с префиксом для семантически похожих текстов. Модель рассчитана на английский, немецкий, французский, испанский, итальянский, португальский, нидерландский, русский и польский языки. В README описано обучение с дистилляцией от Stella-400M и Pplx-Embed-4B, а затем контрастивным дообучением на данных для поиска. По результатам оценки на 150 наборах данных модель показала высокие результаты для своего размерного класса, особенно на большинстве поддерживаемых языков. Лицензия — Gemma; для загрузки пользовательской реализации требуется включить trust_remote_code=True.
Giga-Embeddings-instruct — двуязычная модель эмбеддингов от разработчиков GigaChat, построенная на decoder-only LLM GigaChat-3b. Она использует pooling типа Latent-Attention и формирует векторы размерности 2048. Модель предназначена для поиска и извлечения информации, семантического сравнения текстов и классификации; для настройки эмбеддингов под задачу перед запросом рекомендуется добавлять инструкцию в формате «Instruct: …\nQuery: …». Для retrieval-инструкцию добавляют к запросу, но не к документу; в симметричных задачах инструкцию добавляют перед каждым сравниваемым текстом. Модель обучена на смеси русских и английских данных и принимает текст, выдавая векторные представления. Максимальная длина входа — 4096 токенов. Указана лицензия MIT. Результаты могут немного различаться в зависимости от версий Transformers и PyTorch.
gte-multilingual-reranker-base — мультиязычная модель переранжирования из семейства GTE, разработанная Alibaba. Это версия для Transformers с неизменёнными весами исходной Alibaba-NLP/gte-multilingual-reranker-base и преобразованным config.json, благодаря чему модель загружается без trust_remote_code. Архитектура — encoder-only Transformer для классификации последовательностей, размер — около 305 млн параметров; модель принимает текстовые запросы и документы и оценивает их релевантность, поддерживая входную длину до 8192 токенов. Модель предназначена для повторной сортировки результатов поиска и улучшения мультиязычного извлечения информации. По данным карточки, она поддерживает более 70 языков и показывает высокие результаты в мультиязычных задачах retrieval; encoder-only архитектура снижает требования к оборудованию и, по README, обеспечивает до десятикратного увеличения скорости вывода по сравнению с некоторыми reranker-моделями на decode-only LLM. Веса доступны в формате safetensors, лицензия — Apache-2.0.
ML-Embed-0.6B — мультиязычная модель эмбеддингов текста от CodeFuse AI, дообученная в два этапа на основе Qwen3-0.6B. Она преобразует текст в векторы размерности 1024 для семантического поиска, плотного извлечения документов, RAG, кластеризации, классификации, поиска дубликатов и межъязыкового сравнения. Архитектура использует причинное внимание, а представление последовательности строится по токену EOS; максимальная длина контекста — 40 960 токенов. Модель поддерживает множество языков, включая английский, китайский и русский, и совместима с обычной загрузкой через Transformers и Sentence Transformers. Обучение Matryoshka позволяет сокращать число слоёв и размерность эмбеддингов, а также использовать факторизованные матрицы для более экономного развёртывания; такие режимы могут снижать качество. Для задач поиска рекомендуется добавлять инструкцию к запросу, но не к документам. Лицензия — Apache-2.0.
Карточка модели nounagnonsavoedo/multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.
Карточка модели iliakabanov/multillingual-dense-retriever на Hugging Face совпадает с карточкой intfloat/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — многоязычная модель эмбеддингов текста, опубликованная intfloat; её технический отчёт подготовили Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei. Модель основана на XLM-RoBERTa-large и имеет 24 слоя с размерностью эмбеддинга 1024. Она принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Модель предназначена для межъязыкового и многоязычного поиска, ранжирования passage по запросу, оценки семантического сходства, поиска перефразировок и использования эмбеддингов в кластеризации или классификации. При обучении текстовые роли задаются префиксами `query:` и `passage:`; их следует выбирать в соответствии со сценарием, иначе качество может снизиться. Поддерживаются 100 языков XLM-RoBERTa, включая русский, однако для языков с небольшим объёмом ресурсов качество может быть ниже. Вход ограничен 512 токенами, а более длинный текст обрезается. Лицензия — MIT.
all-MiniLM-L12-v2 — модель Sentence Transformers, разработанная в рамках проекта Hugging Face по обучению моделей эмбеддингов предложений на больших наборах парных данных. Это дообученная версия microsoft/MiniLM-L12-H384-uncased: компактная BERT-архитектура примерно с 40 млн параметров, которая кодирует предложения и короткие абзацы в плотные векторы размерности 384. Модель предназначена для поиска по смыслу, оценки сходства предложений и кластеризации текстов. Её можно применять для получения векторных представлений документов и запросов; для текстов длиннее 256 WordPiece-токенов вход усекается. Данные обучения охватывают широкий спектр текстовых пар, но карточка описывает модель как англоязычную. Доступны веса и конвертированные варианты в форматах PyTorch, Safetensors, ONNX и OpenVINO. Лицензия — Apache-2.0. Это текстовый энкодер: он выдаёт эмбеддинги, а не готовые ответы или сгенерированный текст.
VladimirRH/all-MiniLM-L6-v2-ru-mnrl — русскоязычная модель Sentence Transformers, дообученная разработчиком на базе sentence-transformers/all-MiniLM-L6-v2 на 20 000 примерах с использованием MultipleNegativesRankingLoss. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерности 384; сходство между ними можно оценивать косинусной близостью. Модель предназначена для семантического поиска и извлечения релевантных текстов. Модель принимает текст и выдаёт векторы признаков. В README указана максимальная длина последовательности 256 токенов, а в метаданных — нативный контекст 512 токенов. Примеры обучающих данных — на русском языке; они включают пары близких по смыслу предложений и отрицательные примеры. Модель распространяется в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.
all-mpnet-base-v1 — модель семейства MPNet, разработанная командой Sentence Transformers при участии Hugging Face в рамках Community Week. Её дообучили на базе microsoft/mpnet-base с контрастивной целью на более чем миллиарде пар предложений, чтобы кодировать предложения и короткие абзацы в плотные векторы размерности 768. Модель предназначена для семантического поиска, информационного поиска, кластеризации текстов и оценки сходства предложений. Она принимает текст; при использовании по умолчанию текст длиннее 128 токенов word-piece обрезается. Максимальная длина контекста по метаданным — 514 токенов. Доступны веса PyTorch, Safetensors, ONNX и OpenVINO. Лицензия — Apache-2.0.
all-mpnet-base-v2 — модель Sentence Transformers, разработанная в ходе Community Week Hugging Face. Она кодирует предложения и короткие абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. В основе лежит microsoft/mpnet-base, дообученная контрастивным обучением на более чем миллиарде пар предложений из нескольких наборов данных. Модель содержит 136,7 млн параметров, использует архитектуру MPNet и принимает текст. Её можно применять для семантического поиска, извлечения информации и группировки похожих фрагментов. Текст длиннее 384 токенов модели обрезается; README рекомендует использовать её как кодировщик предложений и коротких абзацев. Лицензия — Apache-2.0.
aapot/bge-m3-onnx — это ONNX-конверсия модели BGE-M3, первоначально разработанной BAAI, подготовленная с использованием HF Optimum для запуска через ONNX Runtime. Модель основана на архитектуре XLM-RoBERTa, содержит около 658,7 млн параметров и поддерживает контекст до 8194 токенов. Модель предназначена для построения векторных представлений текста в задачах семантического поиска и сопоставления текстов. Она одновременно формирует плотные embedding-векторы, разреженные лексические представления и ColBERT-представления для много-векторного взаимодействия. Плотные и ColBERT-представления нормализованы аналогично стандартному поведению библиотеки FlagEmbedding. Граф модели оптимизирован на уровне O2, что рассчитано на эффективное выполнение в ONNX Runtime. Модель подходит для семантического поиска, гибридного поиска, ранжирования документов и поиска похожих текстов. Для токенизации можно использовать Transformers, а для инференса — ONNX Runtime. Модель распространяется по лицензии MIT. Она генерирует embedding-представления, а не готовый текст, поэтому не предназначена для диалоговой генерации или прямого ответа на вопросы.
khoa-klaytn/bge-small-en-v1.5-angle — англоязычная модель эмбеддингов на архитектуре BERT, дообученная на тех же данных и с той же библиотекой, что и WhereIsAI/UAE-Large-V1. Она преобразует текст в плотные векторы размером 384, подходящие для поиска и сопоставления текстов. Модель содержит около 40 млн параметров, принимает текст длиной до 512 токенов и распространяется в формате safetensors. Модель предназначена для семантического поиска, извлечения релевантных документов, кластеризации и классификации текстов, а также для использования в векторных базах данных и RAG-системах. Версия BGE v1.5 улучшает поиск без инструкций; для коротких запросов к длинным документам добавление инструкции может повысить качество. Лицензия — MIT. Оценивать сходство следует по относительному порядку оценок: абсолютный балл сам по себе не является надёжным порогом сходства. Для фильтрации по порогу его следует подбирать на данных конкретной задачи.
Thunder421/criterion-finetuned-bert — модель Sentence Transformers, дообученная на базе sentence-transformers/all-mpnet-base-v2. Архитектура MPNet использует mean pooling и нормализацию; модель кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их с помощью косинусного сходства. В метаданных указано 136,7 млн параметров и контекст до 514 токенов; карточка модели указывает максимальную длину последовательности 384 токена. Модель предназначена для семантического поиска и оценки сходства текстов, в том числе для поиска релевантных фрагментов и ранжирования кандидатов при retrieval. В README приведены результаты на наборе ats-val: Spearman по косинусному сходству 0,9258. Модель принимает и выдаёт текстовые представления; обучение проводилось на 6 790 парах предложений с оценками сходства. Языки обучающих примеров в карточке англоязычные, однако заявленная поддержка языков не указана. Лицензия в предоставленных данных не приведена.
Contextual AI ctxl-rerank-v2-instruct-multilingual-1b — мультиязычная модель-реранкер на архитектуре Qwen3 с 1 млрд параметров. Она оценивает релевантность документов запросу и следует дополнительным инструкциям, например приоритизирует свежие сведения или помогает разрешать противоречия в результатах поиска. Подходит для поиска и ответов на вопросы по найденным документам, а также для товарного поиска и рекомендаций. Модель поддерживает более 100 языков и контекст до 40 960 токенов по метаданным; в README заявлен контекст до 32K токенов. Она выдаёт оценки релевантности, где более высокое значение означает более подходящий документ. Доступны веса в формате safetensors; для работы описаны Transformers и Sentence Transformers, а для производственного использования рекомендован vLLM. Модель выпущена Contextual AI и распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. README заявляет высокие результаты на BEIR, однако конкретные показатели в карточке не приведены.
htdht/e5_base_finetuned_5000 — модель Sentence Transformer, дообученная на базе intfloat/multilingual-e5-base для преобразования предложений и абзацев в плотные векторы размерности 768. Она использует трансформер XLM-RoBERTa с усредняющим пуллингом и нормализацией векторов; сходство текстов оценивается косинусной мерой. Модель предназначена для семантического поиска и извлечения релевантных текстов. Обучение проведено на 3 500 парах текстов anchor-positive. Модель принимает текстовые последовательности длиной до 512 токенов по README; метаданные указывают контекст 514 токенов. Указана поддержка текста, а базовая модель многоязычная. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным описать нельзя.
Карточка модели OrcaDB/e5-large на Hugging Face совпадает с карточкой onelevelstudio/ML-E5-0.6B-Instruct, поэтому описание составлено по ней. onelevelstudio/ML-E5-0.6B-Instruct — мультиязычная модель эмбеддингов текста на архитектуре XLM-RoBERTa. Она преобразует запросы и документы в векторы для семантического поиска, ранжирования и оценки сходства. Для запросов рекомендуется добавлять краткую инструкцию на естественном языке, описывающую задачу; документам инструкции не нужны. В метаданных указано около 658,7 млн параметров, контекст до 514 токенов и лицензия MIT. Репозиторий содержит веса в форматах Safetensors и ONNX. Карточка связывает модель с Multilingual-E5-large-instruct и сообщает о поддержке 100 языков на основе XLM-RoBERTa; для языков с малым объёмом ресурсов качество может снижаться. Длинные тексты обрезаются примерно до 512 токенов.
E5-large-v2-4096 — модель для построения векторных представлений текста на основе Local-Sparse-Global версии intfloat/e5-small-v2. Она предназначена для кодирования запросов и текстовых фрагментов, в том числе для оценки их семантического сходства и ранжирования passages по релевантности запросу. Модель имеет архитектуру BERT, содержит 433,9 млн параметров и поддерживает контекст длиной до 4096 токенов. В README приведён пример работы с данными MS MARCO для ранжирования passages; метаданные указывают английский язык и задачу sentence-similarity. Репозиторий содержит веса PyTorch и помечен лицензией, пригодной для применения: сведений о лицензии в доступных источниках нет.
Карточка модели Alignment-Lab-AI/e5-mistral-7b-instruct на Hugging Face совпадает с карточкой intfloat/e5-mistral-7b-instruct, поэтому описание составлено по ней. E5-mistral-7b-instruct — текстовая модель эмбеддингов, созданная командой авторов статьи «Improving Text Embeddings with Large Language Models». Это дообученная версия Mistral-7B-v0.1 с 32 слоями и размерностью эмбеддингов 4096; число параметров — 7,1 млрд. Модель принимает текст и преобразует его в векторы для поиска и сравнения текстов. Она поддерживает контекст до 32 768 токенов, однако авторы не рекомендуют подавать входы длиннее 4096 токенов. Модель предназначена для получения эмбеддингов с инструкциями, задающими цель поиска или сравнения. Инструкцию следует добавлять к запросу, но не к документу. Примеры сценариев — семантический поиск, ранжирование passage по запросу и оценка сходства предложений. Модель обучена на смеси многоязычных наборов данных, но ориентирована прежде всего на английский; в некоторых многоязычных сценариях она уступает multilingual-e5-large. Модель распространяется по лицензии MIT. Для воспроизводимости результатов учитывайте, что версии Transformers и PyTorch могут вызывать небольшие различия в оценках.
E5-mistral-7b-instruct — текстовая модель эмбеддингов, созданная командой авторов статьи «Improving Text Embeddings with Large Language Models». Это дообученная версия Mistral-7B-v0.1 с 32 слоями и размерностью эмбеддингов 4096; число параметров — 7,1 млрд. Модель принимает текст и преобразует его в векторы для поиска и сравнения текстов. Она поддерживает контекст до 32 768 токенов, однако авторы не рекомендуют подавать входы длиннее 4096 токенов. Модель предназначена для получения эмбеддингов с инструкциями, задающими цель поиска или сравнения. Инструкцию следует добавлять к запросу, но не к документу. Примеры сценариев — семантический поиск, ранжирование passage по запросу и оценка сходства предложений. Модель обучена на смеси многоязычных наборов данных, но ориентирована прежде всего на английский; в некоторых многоязычных сценариях она уступает multilingual-e5-large. Модель распространяется по лицензии MIT. Для воспроизводимости результатов учитывайте, что версии Transformers и PyTorch могут вызывать небольшие различия в оценках.