I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейjohnnas12/e5-galaxy-finetuned — англоязычная модель Sentence Transformer, дообученная на базе intfloat/e5-base-v2. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их по косинусному сходству. Архитектура включает BERT-трансформер, усреднение токенных представлений и нормализацию; максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, оценки сходства текстов и поиска перефразировок. Её также можно применять для кластеризации и классификации текстов на основе эмбеддингов. В обучающем наборе указано 68 840 пар запросов и passages; примеры ориентированы на поиск технической документации. Лицензия в предоставленных данных не указана.
idanylenko/e5-large-v2-ctx1024 — созданная автором на основе intfloat/e5-large-v2 англоязычная модель BERT для получения текстовых эмбеддингов и семантического поиска. Расширение контекста выполнено без дообучения параметров: изменены позиционные эмбеддинги методом нелинейной интерполяции, благодаря чему модель принимает последовательности длиной до 1024 токенов — вдвое больше базовой версии. Модель предназначена для поиска релевантных документов и фрагментов по длинным запросам или текстам, а также для семантического сравнения и кластеризации. В README приведены результаты оценки на четырёх задачах поиска LongEmbed; по указанной метрике NDCG@10 результаты превысили базовую e5-large-v2. Это англоязычная модель с 433,9 млн параметров, доступная в формате safetensors и совместимая с библиотекой sentence-transformers. Лицензия — MIT.
d0rj/e5-small-en-ru — компактная версия модели intfloat/multilingual-e5-small, созданная удалением токенов словаря, не нужных для русского и английского языков. Она использует архитектуру XLM-RoBERTa и предназначена для получения векторных представлений предложений и поиска текстов по смыслу. Для поиска автор рекомендует сравнивать эмбеддинги скалярным произведением; модель также можно подключить через Transformers или sentence-transformers. В карточке приведено 44,8 млн параметров и размер файлов около 171 МБ; контекст модели составляет 512 токенов. Указана лицензия MIT. В README есть таблица результатов на SberQuAD, но значения метрик отсутствуют, поэтому качество на этом тесте по карточке оценить нельзя. Модель ограничена русским и английским словарём и не предназначена для генерации текста.
ayushexel/emb-all-MiniLM-L6-v2-squad-3-epochs — дообученная модель Sentence Transformers на базе sentence-transformers/all-MiniLM-L6-v2, разработанная автором репозитория ayushexel. Она преобразует предложения и абзацы в плотные семантические векторы размерности 384, нормализованные для сравнения по косинусному сходству. Модель подходит для поиска подходящих контекстов по вопросам, семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов. Архитектура — энкодер BERT с усреднением токенных представлений и нормализацией; размер составляет 25,9 млн параметров. Метаданные указывают контекст до 512 токенов, тогда как карточка модели описывает максимальную длину последовательности 256 токенов. Обучение проводилось на примерах с вопросом, контекстом и негативным контекстом; в карточке также приведена оценка cosine_accuracy 0,4008 на GooQA-dev. Базовая модель англоязычная, поэтому прежде всего модель рассчитана на английский текст. Лицензия в предоставленных данных не указана.
Debbie89889/esci-biencoder — текстовая модель Sentence Transformers, дообученная на базе sentence-transformers/all-MiniLM-L6-v2. Энкодер BERT преобразует предложения и абзацы в плотные векторы размерности 384, усредняет токенные представления и нормализует результат. Для сравнения векторов указана косинусная близость; модель предназначена для семантического поиска и извлечения релевантных текстов. Модель обучалась на 148 465 примерах с MultipleNegativesRankingLoss. README указывает максимальную длину последовательности 128 токенов, а метаданные — контекстное окно 512 токенов. Она принимает текст и выдаёт векторы; метаданные также отмечают поддержку извлечения признаков и сравнения предложений. Лицензия в предоставленных данных не указана.
Это порт модели DPR question encoder в формат Sentence Transformers, опубликованный под именем sentence-transformers. Модель на основе BERT преобразует предложения и абзацы в плотные векторы размерности 768; всего в ней 136,7 млн параметров, а максимальная длина входа — 512 токенов. Модель предназначена для получения эмбеддингов, семантического поиска и кластеризации текстов. Векторные представления можно использовать для поиска фрагментов, близких по смыслу к вопросу, в системах поиска и обработки коллекций документов. Репозиторий содержит варианты в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Это энкодер, а не генеративная модель: он возвращает векторные представления текста. README не сообщает о специальных ограничениях качества или доменной специализации.
Это дообученная компанией Austin Patrick на базе BAAI/bge-small-en-v1.5 модель Sentence Transformer для представления предложений и абзацев в виде плотных векторов. Архитектура основана на BERT; модель содержит около 40 млн параметров, выдаёт эмбеддинги размерности 384 и обрабатывает последовательности длиной до 512 токенов. Для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. В примерах обучающих данных пары вопросов и фрагментов документации, что подходит для поиска ответов по документам и информационного поиска. Модель англоязычная и принимает текст, возвращая векторные представления; также может применяться для извлечения признаков. В README приведены результаты оценки информационного поиска, включая точность cosine_accuracy@1 0,6682 и @5 0,9119. Карточка не содержит сведений о лицензии, поэтому условия использования по имеющимся данным определить нельзя.
Модель mustozsarac/finetuned-four-epoch-multi-qa-mpnet-base-dot-v1 — дообученный разработчиком Sentence Transformer на базе sentence-transformers/multi-qa-mpnet-base-dot-v1. Она использует MPNet с пуллингом по токену CLS и содержит 136,7 млн параметров. Модель кодирует предложения и абзацы в плотные векторы размерности 768; для сравнения векторов используется скалярное произведение. Максимальная длина входной последовательности — около 512 токенов. Модель предназначена для семантического поиска и оценки сходства текстов. Её можно применять для поиска релевантных фрагментов и ответов, выявления перефразировок, кластеризации текстов и классификации на основе эмбеддингов. Базовая модель ориентирована на английские вопросы и текстовые фрагменты; README не сообщает, на каком языке собраны данные дообучения. Модель подходит для построения поисковых и аналитических конвейеров, где текст преобразуется в векторы, а релевантность определяется сравнением этих векторов. Для использования опубликованы веса в формате safetensors; библиотека модели — Sentence Transformers. Сведения о лицензии в предоставленных источниках отсутствуют.
Это дообученная модель Sentence Transformer на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, разработанная автором репозитория tikanosa. Она преобразует предложения и абзацы на входе в плотные векторы размерности 384 и предназначена для поиска и сравнения текстов по семантическому сходству. Модель использует архитектуру BERT с усредняющим pooling и косинусную функцию сходства. В README указан максимальный размер последовательности 128 токенов, тогда как метаданные каталога задают нативный контекст в 512 токенов. Для практической работы следует учитывать ограничение README в 128 токенов. Модель принимает текст и возвращает векторы; обучалась на 4 656 примерах с CosineSimilarityLoss. Данные подтверждают многоязычную основу, но не перечисляют конкретные поддерживаемые языки. Лицензия в предоставленных данных не указана.
German-RAG-BGE-M3-MERGED-x-SNOWFLAKE-ARCTIC-HESSIAN-AI — объединённая модель Sentence Transformers команды German-RAG AI. Она кодирует предложения и абзацы в плотные векторы размерности 1024 для сравнения текстов и семантического поиска. Архитектура основана на XLM-RoBERTa с pooling по CLS-токену и нормализацией; максимальная длина последовательности — 8192 токена, сходство можно измерять косинусной мерой. Модель предназначена прежде всего для немецкоязычных сценариев RAG и поиска: сопоставления запроса с документами, ранжирования контекстов по смысловой близости, поиска парафраз и тематической кластеризации. В README приведены оценки на задачах классификации, поиска и семантического сходства, включая немецкие наборы данных. Поддерживаются немецкий и английский языки. Модель объединяет German-RAG-BGE-M3-TRIPLES-MERGED-HESSIAN-AI и Snowflake/snowflake-arctic-embed-l-v2.0; указано 658,7 млн параметров. Лицензия — MIT. Показатели в README зависят от набора данных и не гарантируют превосходство на произвольных корпусах; входом служит текст, выходом — векторные представления.
Карточка модели OrcaDB/gist-large на Hugging Face совпадает с карточкой avsolatorio/GIST-large-Embedding-v0, поэтому описание составлено по ней. GIST-large-Embedding-v0 — текстовая модель эмбеддингов от avsolatorio, дообученная на базе BAAI/bge-large-en-v1.5 с использованием MEDI и обучающих данных классификации MTEB. Она кодирует текст в векторы для поиска и сравнения предложений; при построении эмбеддингов запросов инструкции не требуются. Модель основана на BERT, содержит 433,9 млн параметров, принимает текст длиной до 512 токенов и распространяется в формате safetensors через библиотеку Sentence Transformers. Модель подходит для семантического поиска, извлечения документов по запросу и оценки сходства текстов. По результатам MTEB дообучение улучшило отдельные задачи и ухудшило другие; в частности, отмечено снижение качества на TRECCOVID, поэтому результаты могут зависеть от тематического покрытия данных и целевого набора. Лицензия модели — MIT; лицензии сторонних обучающих данных могут иметь собственные условия.
Granite-Embedding-311M-Multilingual-R2 — модель эмбеддингов текста, разработанная командой Granite Embedding компании IBM. Она использует плотный bi-encoder на архитектуре ModernBERT с 311,6 млн параметров и выдаёт векторы размерностью 768 для запросов, документов, фрагментов текста и кода. Максимальная длина контекста — 32 768 токенов; эмбеддинги можно сокращать до 512, 384, 256 или 128 измерений с постепенным снижением качества. Модель предназначена для семантического поиска, сопоставления запросов и документов, поиска по длинным текстам и межъязыкового поиска. Она поддерживает более 200 языков, а для 52 языков, включая русский, и ряда языков программирования прошла дополнительное обучение на парах для поиска и межъязыкового сопоставления. Поддерживаются Python, Go, Java, JavaScript, PHP, Ruby, SQL, C и C++. Векторы можно сравнивать, например, по косинусному сходству. В README указаны контрастивное дообучение, дистилляция знаний и слияние моделей. Доступны форматы Safetensors, ONNX и OpenVINO; лицензия Apache 2.0. Качество зависит от языка: для низкоресурсных языков оно может быть ниже, чем для языков с расширенной поддержкой; длинные входы сверх лимита контекста обрезаются. Фильтрация обучающих данных и синтетические данные могут вносить смещения.
Granite Embedding 97M Multilingual R2 — текстовая модель эмбеддингов, разработанная командой Granite Embedding в IBM. Она использует архитектуру bi-encoder на базе ModernBERT и преобразует запросы, документы, фрагменты текста и код в векторы размерностью 384 для сравнения по косинусному сходству и поиска похожего содержимого. Модель предназначена для многоязычного семантического поиска, сопоставления запросов с документами и поиска по коду. Она содержит 97,4 млн параметров, 12 слоёв и поддерживает контекст до 32 768 токенов. Улучшенное обучение данными для поиска заявлено для 52 естественных языков и кода; энкодер предварительно обучен на текстах более чем 200 языков. Доступны форматы Safetensors, ONNX и OpenVINO; лицензия — Apache 2.0. Компактный размер позволяет использовать модель при меньших требованиях к ресурсам, чем у более крупной версии Granite Embedding. Компромисс — возможное снижение точности, особенно для языков с малым объёмом ресурсов; качество токенизации также может различаться между языками, а тексты длиннее контекстного окна усекаются.
Granite-embedding-small-english-r2 — англоязычная модель для создания плотных векторных представлений текста, разработанная командой Granite Embedding компании IBM. Модель предназначена для сравнения текстов, семантического поиска и информационного поиска, включая поиск по документам, кодовой базе, таблицам и многошаговым диалогам. Она преобразует запросы, фрагменты и документы в векторы фиксированной длины, пригодные для сопоставления, например с помощью косинусного сходства. Модель содержит 47 млн параметров и использует архитектуру bi-encoder на базе ModernBERT. Размер выходного embedding составляет 384, поддерживается контекст длиной до 8192 токенов. При обучении применялись retrieval-oriented pretraining, contrastive finetuning, knowledge distillation и объединение моделей; использовались датасеты пар релевантности с разрешительными лицензиями, а также наборы данных, собранные и сгенерированные IBM. Модель ориентирована только на английский язык и доступна для использования через Transformers.js, включая ONNX-вариант. К сильным сторонам относятся компактный размер, поддержка длинного контекста, высокая скорость кодирования и конкурентоспособное качество на бенчмарках поиска, длинных документов, кода, таблиц и многоходовых диалогов. Ограничения — английская языковая специализация, фиксированный размер представлений и назначение преимущественно для задач embeddings, similarity и retrieval, а не для генерации текста. Модель распространяется по лицензии Apache 2.0.
gte-multilingual-base — модель семейства GTE от Alibaba, предназначенная для создания текстовых представлений и поиска по сходству. Это энкодерный трансформер примерно на 305 млн параметров с плотными эмбеддингами размерности 768; также поддерживает разреженные векторы и эластичные по размеру плотные представления. Модель подходит для многоязычного и межъязыкового поиска, поиска по длинным текстам и оценки сходства текстов. README сообщает о поддержке более 70 языков; среди языков, перечисленных в метаданных, есть английский, китайский, французский, польский, арабский, хинди, японский и корейский. Максимальная длина входа — 8192 токена. По заявлению разработчика, энкодерная архитектура снижает требования к вычислениям и ускоряет инференс по сравнению с некоторыми более крупными моделями GTE на базе LLM. Для практического использования эмбеддинги можно получать через Transformers, sentence-transformers или сервисы инференса, включая TEI. Лицензия — Apache-2.0. Заявления о качестве основаны на оценках разработчика; результаты могут отличаться на конкретных данных и задачах.
sentence-transformers/gtr-t5-xl — модель для семантического поиска, опубликованная сообществом Sentence Transformers и основанная на работе «Large Dual Encoders Are Generalizable Retrievers». Она кодирует предложения и абзацы в плотные векторы размерностью 768, чтобы находить тексты, близкие по смыслу к запросу. Модель использует энкодер архитектуры T5; в README указано, что веса происходят от T5-3B и хранятся в формате FP16. Версия PyTorch получена преобразованием исходной TensorFlow-модели gtr-xl-1. Максимальная длина контекста по метаданным — 512 токенов. Поддерживаемый язык — английский. Для распространения указана лицензия Apache-2.0. Модель подходит для семантического поиска и сопоставления предложений через векторные представления. README предупреждает, что эмбеддинги могут немного отличаться от TensorFlow-версии, хотя результаты на упомянутых бенчмарках совпадают; подробные ограничения применения не описаны.
ThanhRise/intfloat-multilingual-e5-base-SimCSE-fine-turned-QA — модель эмбеддингов предложений на архитектуре XLM-RoBERTa, представленная в формате PyTorch и созданная на основе multilingual-e5-base. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов. Модель обучена с функцией MultipleNegativesRankingLoss и косинусным сходством. В README она описана как дообученная для задач вопросно-ответного поиска; метаданные указывают задачу sentence-similarity. Она рассчитана на многоязычные тексты, а контекст ограничен 514 токенами. Лицензия в предоставленных данных не приведена.
jina-embeddings-v2-base-de — двуязычная модель эмбеддингов текста от Jina AI. Она основана на архитектуре JinaBERT и предназначена для построения векторных представлений немецких и английских текстов, в том числе смешанных немецко-английских фрагментов. Модель содержит около 160,1 млн параметров и поддерживает последовательности до 8192 токенов. Модель подходит для семантического поиска, сопоставления предложений и документов, а также для поиска контекста в системах RAG. Для получения эмбеддинга предложения или абзаца рекомендуется усреднять выходы токенов методом mean pooling. Доступны веса в форматах PyTorch, Safetensors и ONNX; лицензия — Apache-2.0.
jinaai/jina-embeddings-v2-base-es — двуязычная модель эмбеддингов текста от Jina AI для испанского и английского языков. Она предназначена для получения векторных представлений предложений и документов в моноязычных и межъязыковых сценариях, включая поиск по смыслу, сопоставление текстов и RAG. Модель построена на архитектуре JinaBERT с 160,1 млн параметров. Симметричная двунаправленная версия ALiBi позволяет обрабатывать последовательности длиной до 8192 токенов. Для получения эмбеддингов предложений и документов README рекомендует применять mean pooling. Модель поддерживает смешанный испанско-английский ввод и подходит для поиска и сопоставления текстов между этими языками. Она принимает текст и выдаёт векторные представления. Лицензия — Apache-2.0.
Jina Reranker v2 Base Multilingual — модель Jina AI для повторного ранжирования результатов поиска. Это кросс-энкодер на базе XLM-RoBERTa, дообученный на парах «запрос — документ»: он принимает запрос и текст документа и возвращает оценку их релевантности, по которой можно переставить результаты поиска. В метаданных указано 305,2 млн параметров; модель доступна в форматах PyTorch, Safetensors и ONNX и использует библиотеку Transformers. Модель предназначена для мультиязычного поиска по документам, коду и структурированным данным, а также для отбора результатов в системах поиска с вызовом инструментов или генерацией SQL. Контекст составляет до 1026 токенов по метаданным; README указывает 1024 токена и описывает разбиение более длинных текстов на фрагменты со скользящим окном. В модели также используется Flash Attention. Карточка приводит сравнительные результаты на нескольких тестах поиска, но они не гарантируют качество для конкретного корпуса или языка. Лицензия CC-BY-NC-4.0 разрешает исследовательское и оценочное использование, но ограничивает коммерческое применение; для коммерческого использования README предлагает обратиться к сервисам Jina AI или связаться с разработчиком.
LFM2.5-Embedding-350M-4bit — 4-битная MLX-сборка мультиязычной плотной двунаправленной модели-энкодера Liquid AI. Она преобразует запросы и документы в 1024-мерные векторы; косинусное сходство между ними подходит для семантического поиска и сопоставления предложений, включая поиск между языками. Модель предназначена для локального запуска на устройствах Apple Silicon с MLX. В репозитории веса переведены из формата PyTorch/safetensors в MLX и квантованы до 4 бит с аффинной схемой и размером группы 64. В README указано, что на наборе из восьми оценённых датасетов качество поиска сохранилось близким к bf16-версии: среднее удержание NDCG@10 составило 100%, Recall@10 — 98,6%. Оценка для мультиязычных наборов проводилась на сокращённых пулах документов, поэтому абсолютные результаты нельзя напрямую сравнивать с результатами на полных корпусах. Метаданные указывают 444,6 млн параметров и контекст до 128 000 токенов. Поддерживаемые языки включают английский, испанский, немецкий, французский, итальянский, португальский, арабский, шведский, норвежский, японский и корейский. Лицензия отмечена как other; конкретные условия следует сверить с карточкой базовой модели LiquidAI/LFM2.5-Embedding-350M.
LightOn-rerank-LW-4B — мультимодальная модель-реранкер от LightOn для повышения релевантности результатов поиска. Это генеративный listwise cross-encoder на базе Qwen/Qwen3.5-4B с гибридной архитектурой линейного и полного внимания; модель содержит около 4,5 млрд параметров и опубликована в формате bfloat16 весов Safetensors. Она совместно дообучена на текстовых фрагментах и изображениях страниц документов. На вход модель принимает текстовый запрос и до четырёх кандидатов — текстовых отрывков или изображений страниц PDF, слайдов и сканов. Она генерирует порядок кандидатов; для больших наборов применяется скользящее окно размером 4 с шагом 2. Реранкер предназначен для второго этапа поискового конвейера после BM25, плотного поиска или ColPali-подобного извлечения. В описанном протоколе ViDoRe V3 модель показала nDCG@10 64,69 и превзошла указанный в карточке Qwen3-VL-Reranker-8B. Модель обучалась на английских данных; французский поддерживается благодаря переносу с многоязычной базовой модели, но качество в среднем немного ниже английского. Listwise-декодирование на версии 4B требует существенно больше времени: при переранжировании 100 кандидатов оно примерно в пять раз медленнее pointwise-модели 2B. Для запуска README указывает transformers версии 5.4.0 или новее и необходимость добавить пустой thinking-блок перед генерацией. Лицензия — Apache-2.0.
Linq-Embed-Mistral — модель текстовых эмбеддингов команды Linq Research, построенная на основе E5-mistral-7b-instruct и Mistral-7B-v0.1. Это плотная архитектура Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; модель предназначена для поиска по тексту и оценки сходства предложений. Модель дообучена для улучшения текстового поиска: команда использовала отбор и подготовку данных, синтетические наборы и подбор отрицательных примеров с помощью учительских моделей. В README сообщается о высоких результатах на бенчмарках MTEB по состоянию на 29 мая 2024 года. Модель принимает текст и выдаёт эмбеддинги для запросов и документов, которые можно использовать для семантического поиска и ранжирования кандидатов. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование; README также указывает, что проект предназначен для исследовательских целей. Условия лицензий сторонних наборов данных могут отличаться.
LinkTransformer — модель на основе sentence-transformers, разработанная исследователями Harvard для связывания и сопоставления записей. Она дообучена на multi-qa-mpnet-base-dot-v1 на данных, полученных при сопоставлении классификаций товаров статистики ООН, и рассчитана прежде всего на поиск соответствий между вариантами описаний товаров. Модель использует архитектуру MPNet с 136,7 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768. Контекст составляет до 514 токенов по метаданным; в конфигурации README указана максимальная длина последовательности 512 токенов. Основной язык — английский. В LinkTransformer модель предназначена для кластеризации, удаления дублей, связывания и агрегирования записей; её также можно применять для семантического поиска и других задач сходства предложений. Модель специализирована на сопоставлении товарных описаний и может хуже работать на текстах и предметных областях, отличных от данных обучения. Лицензия в предоставленных материалах не указана.
Lychee-embed — многоязычная модель для создания текстовых эмбеддингов, совместно разработанная командой NLP Харбинского технологического института в Шэньчжэне. Она основана на Qwen2.5-1.5B и дообучена по многоэтапной схеме с разогревом, обучением на задачах, слиянием моделей и финальным дообучением. Модель предназначена для семантического поиска, сравнения сходства текстов и других задач на основе эмбеддингов. Модель содержит 1,5 млрд параметров, принимает текст и выдаёт векторы размерностью до 1536; поддерживаются настраиваемые размерности от 32 до 1536 и инструкции, задающие контекст задачи. README заявляет поддержку более 100 языков и длину последовательности 8K, тогда как метаданные указывают нативный контекст 32768 токенов. Репозиторий распространяется в формате safetensors, лицензия — Apache-2.0. Для повышения качества поиска авторы рекомендуют подбирать инструкции под задачу; README сообщает, что их отсутствие на стороне запроса может снизить качество примерно на 1–5%.
mini1013/master_item_top_bt_flat — модель классификации текстов на основе SetFit, разработанная автором репозитория mini1013. Она предназначена для отнесения описаний товаров и связанных с ними категорий к одному из 121 классов, например для классификации товарных позиций в каталоге интернет-магазина. Модель обучена в два этапа: контрастивная настройка Sentence Transformer mini1013/master_domain и обучение классификатора LogisticRegression на полученных признаках. Основа использует архитектуру RoBERTa и содержит 137,8 млн параметров; для работы с моделью предусмотрена библиотека SetFit.
mcontriever-base-msmarco — модель для получения плотных векторных представлений предложений и абзацев, преобразованная в формат Sentence-Transformers из facebook/mcontriever-msmarco. Она основана на архитектуре BERT и содержит около 205,1 млн параметров; выход модели — векторы размерности 768. Модель предназначена для семантического поиска, сравнения текстов и кластеризации, а также может служить компонентом систем поиска информации. Модель принимает текст и выдаёт эмбеддинги. Её контекст ограничен 512 токенами. Для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. В README указана публикация «Unsupervised Dense Information Retrieval with Contrastive Learning» как связанная работа. Лицензия в предоставленных данных не указана.
MiniMind-Rerank-MoE — компактная модель-реранкер на архитектуре Mixture-of-Experts, разработанная авторами MiniMind и дообученная на базе jingyaogong/minimind-3. Она оценивает пару «запрос — документ» как релевантную или нерелевантную, используя вероятность токена «是» как оценку релевантности. Модель предназначена для повторного упорядочивания результатов поиска и отбора документов для систем поиска с дополненной генерацией. Архитектура включает четыре эксперта с маршрутизацией top-1; в README указаны 198 млн общих параметров и 64 млн активных, а метаданные указывают 63,9 млн параметров. Контекст составляет до 32 768 токенов. Модель обучалась три эпохи на 80 тысячах пар T2Reranking. На указанном тесте C-MTEB/T2Reranking она показала MAP@10 0,604 и точность классификации 88%; авторы рекомендуют Dense-версию для ранжирования, поскольку у неё MAP@10 заметно выше. Поддерживаются китайский и английский языки. Лицензия — Apache-2.0.
Это мультиязычная модель Cross-Encoder семейства XLM-RoBERTa, дообученная авторами Sentence Transformers на MMARCO — автоматически переведённой на 14 языков версии датасета MS MARCO. Модель основана на mMiniLMv2-L12-H384, содержит 124,3 млн параметров и рассчитана на последовательности длиной до 514 токенов. Модель предназначена для повторного ранжирования результатов информационного поиска: она получает запрос и отдельный найденный фрагмент текста, оценивает их релевантность, после чего фрагменты можно отсортировать по оценкам. Подходит для этапа reranking после первичного поиска, например, в поисковой системе или конвейере RAG. Карточка отмечает поддержку 14 языков и сообщает, что модель также хорошо показала себя на других языках. Доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO; для использования предусмотрена библиотека Sentence Transformers. Лицензия — Apache-2.0. Обучение на машинных переводах MS MARCO может ограничивать качество на языках и типах запросов, отличающихся от обучающих данных.
mmBERT-Embed-32K-2D-Matryoshka — мультиязычная модель эмбеддингов на архитектуре ModernBERT, разработанная llm-semantic-router и дообученная на llm-semantic-router/mmbert-32k-yarn. Модель содержит около 307 млн параметров, принимает текст длиной до 32 768 токенов и предназначена прежде всего для поиска по смыслу, семантического сходства и retrieval-сценариев, включая мультиязычный RAG и поиск по длинным документам. В карточке заявлена поддержка более 1800 языков. Поддержка 2D Matryoshka позволяет сокращать размерность эмбеддингов или извлекать их с промежуточных слоёв, выбирая баланс между качеством, скоростью и объёмом хранения. В репозитории представлены веса Safetensors и ONNX; модель работает с Sentence Transformers. Указана лицензия Apache-2.0. Ограничения: сокращение числа слоёв заметно снижает качество, а средний результат MTEB немного ниже приведённого в карточке результата BGE-M3. Модель оптимизирована для retrieval и может требовать дообучения для других задач.