I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейLFM2.5-Embedding-350M-fp16 — мультиязычная модель-энкодер Liquid AI, представленная в формате MLX для запуска на Apple Silicon. Это плотный двунаправленный би-энкодер семейства LFM2.5 с вектором CLS размерности 1024; число параметров по метаданным — 444,6 млн, веса fp16 занимают 709 МБ. Модель кодирует запросы и документы в векторы для семантического и межъязыкового поиска. Для кодирования используются префиксы «query: » и «document: », а сходство оценивается косинусной мерой. Карточка приводит результаты на английском подмножестве NanoBEIR и сообщает о высокой скорости кодирования на тестовой системе Apple M-series. Для корректной работы в MLX репозиторий включает специализированный загрузчик: обычные причинные загрузчики LFM2 дают неверные эмбеддинги для этой двунаправленной архитектуры. Базовая модель поддерживает английский, испанский, немецкий, французский, итальянский, португальский, арабский, шведский, норвежский, японский и корейский языки. Лицензия указана как other; условия следует сверять с карточкой модели и лицензией базовой модели.
osiria/minilm-l12-h384-italian-cross-encoder — италоязычная модель MiniLMv2 для переранжирования текстовых пар. Она создана на основе mmarco-mMiniLMv2-L12-H384-v1: автор адаптировал слой эмбеддингов с учётом частот документов в итальянской Википедии. В метаданных архитектура указана как XLM-RoBERTa с классификационной головой; модель содержит около 40 млн параметров по метаданным, а README указывает 33 млн. Репозиторий содержит веса PyTorch и Safetensors, библиотека — sentence-transformers. Модель принимает текстовые запросы и документы и оценивает их релевантность для ранжирования результатов поиска. Она ориентирована на итальянский язык; доступный контекст — 514 токенов. Лицензия MIT разрешает свободное использование на её условиях. README описывает её как cross-encoder, поэтому для оценки каждой пары текстов требуется совместный проход модели; это ограничивает производительность при ранжировании больших наборов кандидатов.
Карточка модели avsolatorio/MixEmbed-base-20240110153733-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.
Карточка модели avsolatorio/MixEmbed-base-20240110225225-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.
jeffwan/mmarco-mMiniLMv2-L12-H384-v1 — многоязычный cross-encoder на базе multilingual MiniLMv2, дообученный на MMARCO: машинно переведённой версии MS MARCO. Модель сопоставляет запрос с каждым найденным фрагментом текста и оценивает их релевантность, чтобы ранжировать результаты информационного поиска. Её можно применять для повторного ранжирования кандидатов, предварительно найденных поисковой системой, например Elasticsearch, и для сортировки абзацев по соответствию запросу. В карточке указано, что обучение охватывает 14 языков и что модель показала хорошие результаты также на других языках. Архитектура — XLM-RoBERTa для классификации последовательностей, размер — 124,3 млн параметров, длина контекста — 514 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Модель оценивает пары «запрос — фрагмент», поэтому для большого корпуса обычно сначала требуется отдельный этап поиска кандидатов. Обучающие данные получены машинным переводом MS MARCO; качество на других языках не гарантируется указанными экспериментами.
Это многоязычная модель-реранкер на архитектуре ModernBERT, разработанная авторами репозитория vllm-sr. Она построена на vllm-sr/mmbert-32k-yarn и оценивает релевантность пары «запрос — текст», чтобы упорядочивать результаты поиска. Модель содержит около 307 млн параметров, принимает до 32 768 токенов и поддерживает сокращение числа слоёв и размерности представления по схеме 2D Matryoshka для выбора компромисса между качеством и скоростью. Модель предназначена для многоязычного поиска, включая ранжирование длинных документов, где ответ может находиться в середине или конце текста. В карточке заявлена поддержка более 1800 языков; метаданные перечисляют английский, китайский, немецкий, французский, испанский, русский, японский, корейский, арабский и хинди. README приводит результаты тестов, но часть из них основана на синтетических длинных документах; на коротких документах специализированные конкуренты могут показывать лучшие результаты. Ограничения: обучение преимущественно проводилось на коротких фрагментах, поэтому качество на очень длинных текстах зависит также от возможностей базовой модели с расширенным контекстом. Для узкоспециализированных областей может потребоваться дообучение; сокращение числа слоёв само по себе даёт небольшой прирост скорости без механизмов раннего выхода. Лицензия — Apache-2.0.
mMiniLM-L6-v2-en-pt-msmarco-v2 — мультиязычная модель семейства MiniLM, разработанная Unicamp-DL и дообученная на двуязычной версии набора MS MARCO Passage Ranking. Набор включает исходные англоязычные passages и их переводы на португальский, выполненные Google Translate. Модель предназначена для сопоставления запросов с passages и ранжирования результатов поиска на английском и португальском языках. В метаданных указана архитектура XLM-RoBERTa с головой классификации последовательностей, 110,2 млн параметров и контекст до 514 токенов. Репозиторий содержит веса PyTorch; лицензия — MIT. Метаданные Hugging Face классифицируют модель как text-classification, поэтому для поиска в каталоге используется этот pipeline-тег. Карточка описывает обучение на двуязычных данных MS MARCO, но не приводит метрик качества. Португальская часть обучающих данных получена машинным переводом, что может влиять на качество ранжирования.
MMLW-retrieval-roberta-large-v2 — польский текстовый энкодер семейства RoBERTa, разработанный для поиска информации и оценки семантического сходства. Модель основана на polish-roberta-large-v2 и содержит 533,7 млн параметров; она преобразует запросы и фрагменты текста в векторы размерностью 1024. Контекст составляет до 514 токенов. Модель обучали в два этапа: сначала применили дистилляцию знаний от stella_en_1.5B_v5 на 20 млн польско-английских пар текстов, затем дообучили с contrastive loss на более чем 4 млн запросов. Для поиска к запросам добавляют префикс «[query]: », а для симметричного сравнения текстов — «[sts]: ». В README указана оценка NDCG@10 60,71 на польском бенчмарке PIRB. Модель предназначена для польскоязычного семантического поиска, извлечения релевантных документов и сравнения текстов; доступна в формате safetensors. Лицензия в метаданных указана как Gemma, поэтому перед применением следует учитывать её условия. Данные об обучении поддерживают польский и английский языки, но карточка характеризует модель прежде всего как польский энкодер.
robro612/modernbert_xtr_contrastive_k256 — модель PyLate семейства ColBERT, дообученная автором на базе answerdotai/ModernBERT-base на наборе msmarco-10m-triplets из 10 млн примеров. Она предназначена для поиска и ранжирования текстов: кодирует запросы и документы в последовательности 128-мерных векторов и оценивает их сходство оператором MaxSim. Архитектура включает ModernBERT и линейный слой, преобразующий размерность с 768 до 128; размер модели — 149 млн параметров. Для документов предусмотрено до 512 токенов, для запросов — до 32; метаданные указывают нативный контекст 8192 токена. Модель можно применять для семантического поиска по коллекции документов с индексом FastPLAID, а также для переранжирования результатов первичного поиска. В README приведены результаты оценки на наборах NanoBEIR и тематических задачах поиска. Обучающий набор и базовая модель англоязычные, поэтому основное применение — поиск по английским текстам. Модель принимает текст и выдаёт векторные представления и оценки релевантности. Лицензия в предоставленных данных не указана.
pinecone/mpnet-retriever-squad2 — модель Sentence Transformers на базе MPNet, разработанная Pinecone. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель подходит для поиска похожих фрагментов и извлечения релевантных текстов по смыслу. В карточке описано обучение, но не указаны языки, обучающие данные и результаты бенчмарков, поэтому качество для конкретных языков и предметных областей по этим сведениям оценить нельзя. Формат файлов — PyTorch; сведения о лицензии в предоставленных данных отсутствуют.
Карточка модели Tool-COLT/msmarco-bert-co-condensor-v1-ToolBenchG2 на Hugging Face совпадает с карточкой MassTool/contriever-base-msmarco-v1-ToolBenchG2, поэтому описание составлено по ней. MassTool/contriever-base-msmarco-v1-ToolBenchG2 — модель Sentence-Transformers на базе архитектуры BERT, преобразующая предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, семантического поиска и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления; в README также описано обучение с MultipleNegativesRankingLoss и косинусным сходством. Данных о целевых языках и специализации на конкретной предметной области нет.
Карточка модели sangmini/msmarco-cocondensor-MiniLM-L12_en-ko-ja на Hugging Face совпадает с карточкой sangmini/msmarco-cotmae-MiniLM-L12_en-ko-ja, поэтому описание составлено по ней. sangmini/msmarco-cotmae-MiniLM-L12_en-ko-ja — модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторные представления размерности 1536. Её можно применять для семантического поиска и кластеризации текстов. Модель построена на архитектуре BERT и содержит 124,3 млн параметров; максимальная длина контекста составляет 512 токенов. В карточке указано обучение с функцией потерь MSELoss. Репозиторий содержит веса в формате PyTorch. Лицензия в доступных данных не указана. Оценка на конкретных наборах или ограничения качества в карточке не описаны.
sieu-n/msmarco-distilbert-cos-v5_en-ko-ja_10epoch — модель Sentence-Transformers на архитектуре XLM-RoBERTa для получения плотных векторов предложений и абзацев размерности 768. Она предназначена для поиска семантически близких текстов и кластеризации; в README указано обучение с MSELoss. Метаданные указывают 305,2 млн параметров, контекст до 514 токенов и формат PyTorch. По названию репозитория модель ориентирована на английский, корейский и японский языки. Модель подходит для построения семантического поиска и сравнения текстов через эмбеддинги. README не приводит количественных результатов оценки, поэтому качество на конкретных данных следует проверять отдельно. Лицензия в предоставленных данных не указана.
Это англоязычный Cross Encoder на базе jhu-clsp/ettin-encoder-32m, дообученный авторами Sentence Transformers на датасете MS MARCO. Модель использует архитектуру ModernBERT, содержит 31,9 млн параметров и принимает пару текстов, чтобы оценить их релевантность; результатом служит один числовой балл. Для этой модели указано максимальное ограничение в 512 токенов на последовательность. Модель предназначена для переранжирования результатов поиска и семантического поиска: её можно применять для переоценки кандидатов, уже найденных поисковой системой, чтобы поднять наиболее подходящие документы выше. В README приведены результаты оценки на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR. Модель распространяется в формате safetensors и рассчитана на использование с библиотекой sentence-transformers. Сведения о лицензии в предоставленных материалах отсутствуют.
cross-encoder/ms-marco-TinyBERT-L2-v2 — компактный кросс-энкодер на архитектуре BERT, дообученный на задаче ранжирования отрывков MS MARCO. Модель разработана командой Sentence Transformers и предназначена для информационного поиска: она оценивает релевантность пары «запрос — отрывок», после чего найденные документы можно отсортировать по оценке. Обычно её используют как второй этап поиска после первичного отбора кандидатов, например поисковой системой ElasticSearch. Модель содержит 4,4 млн параметров, принимает текст и выдаёт оценку релевантности; максимальная длина входа — 512 токенов. Основной язык — английский. В приведённом сравнении модель показывает NDCG@10 69,84 на TREC Deep Learning 2019 и MRR@10 32,56 на тестовой выборке MS MARCO; в замерах на V100 указана скорость 9000 документов в секунду. Доступны форматы PyTorch, Safetensors, ONNX, OpenVINO и Flax. Лицензия — Apache-2.0.
cross-encoder/ms-marco-TinyBERT-L4 — компактная модель семейства BERT от Sentence Transformers, дообученная на задаче ранжирования фрагментов MS MARCO Passage. Она принимает запрос и кандидатный фрагмент текста совместно и оценивает их релевантность, чтобы упорядочить результаты поиска, например после первичного извлечения документов поисковой системой. Модель предназначена для информационного поиска и повторного ранжирования результатов; в каталоге также указана поддержка классификации текста. Модель содержит 15,6 млн параметров, имеет контекстное окно 512 токенов и рассчитана на английский язык. Доступны веса в форматах PyTorch, safetensors, ONNX, OpenVINO и Flax; для работы в README рекомендуется интерфейс CrossEncoder библиотеки Sentence Transformers. Лицензия — Apache-2.0. Ограничение контекста и обучение на MS MARCO Passage означают, что оценка релевантности может хуже подходить для длинных документов или предметных областей, отличных от поисковых пассажей.
unicamp-dl/mt5-base-mmarco-v2 — модель на архитектуре mT5, дообученная на многоязычной версии набора MS MARCO для ранжирования пассажей. Версия Multi MS MARCO включает коллекции пассажей MS MARCO на девяти языках; для версии v2 данные переведены с помощью Google Translate. Модель содержит 291,2 млн параметров и распространяется в формате PyTorch. Модель предназначена для оценки релевантности пассажей поисковому запросу в многоязычных задачах поиска информации. Её можно использовать для ранжирования найденных фрагментов текста, например, при поиске ответов в корпусе документов. В карточке указана лицензия MIT. Перевод обучающих данных машинный, поэтому качество может зависеть от языка и особенностей перевода.
multi-qa-distilbert-cos-v1 — модель Sentence-Transformers на базе DistilBERT, разработанная в рамках проекта Hugging Face по обучению моделей эмбеддингов предложений. Она кодирует вопросы, предложения и абзацы в нормализованные плотные векторы размерностью 768 для семантического поиска и сопоставления запросов с релевантными фрагментами текста. Модель обучена на 215 млн пар «вопрос — ответ» из разных источников с контрастивной функцией потерь и усреднением контекстных представлений. Модель предназначена для поиска ответов и документов по смыслу: запрос и текстовые фрагменты преобразуются в векторы, сходство которых можно оценивать косинусом или скалярным произведением. Поддерживаются английский язык и входы длиной до 512 токенов; обучение проводилось на текстах длиной до 250 токенов, поэтому качество на более длинных фрагментах может снижаться. Доступны варианты в форматах PyTorch, Safetensors, ONNX и OpenVINO. README и метаданные не сообщают лицензию модели.
Vasanth/multi-qa-MiniLM-L6-cos-v1-qa-squad2-retriever — модель встраивания предложений на базе BERT, созданная с использованием Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 25,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусной мерой сходства. Векторы подходят для семантического поиска и других задач, где нужно сопоставлять тексты по смыслу. Карточка не сообщает о специализированной поддержке языков или прикладных областях. Лицензия в предоставленных данных не указана.
mxbai-rerank-large-v1 — крупная модель-реранкер семейства mxbai-rerank от Mixedbread AI. Она оценивает релевантность пары «запрос — документ» и помогает переставить результаты поиска так, чтобы наиболее подходящие оказались выше. Модель рассчитана на улучшение информационного поиска, в том числе в сочетании с поиском по ключевым словам. Модель построена на архитектуре DeBERTa-v2 и содержит 533,8 млн параметров. Она принимает текст и выдаёт оценку релевантности; максимальная длина контекста — 512 токенов. В карточке заявлена поддержка английского языка. README рекомендует использовать актуальную версию sentence-transformers. Лицензия — Apache-2.0.
chandc/my-embedding-gemma — текстовая Sentence Transformer-модель, дообученная на базе google/embeddinggemma-300m. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска и извлечения релевантных текстов. Модель использует косинусное сходство и принимает последовательности длиной до 2048 токенов. Для дообучения указаны три примера с парами запросов и релевантных и нерелевантных текстов; применялась функция потерь MultipleNegativesRankingLoss. Примеры относятся к финансовым и страховым вопросам, но их мало, поэтому они не подтверждают надёжную специализацию или качество в этих областях. Модель работает только с текстом; лицензия в предоставленных данных не указана.
NaSE (News-adapted Sentence Encoder) — многоязычный энкодер предложений, разработанный для текстов новостной тематики. Модель основана на предварительно обученном энкодере LaBSE и адаптирована к новостному домену на корпусах Polynews и PolyNewsParallel с помощью денойзинг-автокодирования и машинного перевода в формате sequence-to-sequence. Это плотная архитектура BERT с 498,1 млн параметров и контекстом до 512 токенов. На вход модель принимает текст и формирует векторное представление его смысла. Эмбеддинги подходят для оценки сходства предложений, информационного поиска и кластеризации новостных материалов. Модель мультиязычная; карточка перечисляет языки от африкаанс и амхарского до корейского, а метаданные содержат языковые коды более чем для 50 языков. Доступны веса PyTorch, Safetensors и TensorFlow. Лицензия — Apache-2.0. Модель обучалась на одной NVIDIA A100 в течение 100 тысяч шагов. Её специализация на новостях делает её подходящей для сопоставления и поиска новостных текстов, однако качество на других доменах и для языков с малым объёмом обучающих данных может быть ниже; README сообщает, что для обучения отбирались языки и языковые пары с минимум 100 примерами.
Nemotron-3-Embed-1B-BF16-MLX — конверсия мультиязычной модели эмбеддингов NVIDIA Nemotron-3-Embed-1B-BF16, созданная независимым сообществом для запуска на Apple Silicon через MLX. Модель использует архитектуру Ministral3 с двунаправленным вниманием и выдаёт усреднённые L2-нормализованные текстовые эмбеддинги. Размер исходной модели — 1,1 млрд параметров; веса сохранены в BF16 без квантизации, формат файлов — safetensors. В метаданных указан контекст до 262 144 токенов, однако в этой реализации README задаёт max_length 4096 и отмечает, что двунаправленное внимание с квадратичной сложностью ограничивает практическую длину последовательности. Модель предназначена для семантического поиска, сопоставления запросов с документами, извлечения релевантных фрагментов и построения RAG-систем. Поддерживает множество языков, включая русский и английский; для запросов и документов требуются префиксы `query: ` и `passage: ` либо соответствующий параметр `input_type`. README сообщает о близком совпадении эмбеддингов с исходной PyTorch-реализацией, но отдельно подчёркивает, что это не измерение качества поиска. На Apple Silicon скорость обработки длинных документов может быть невысокой. Лицензия — OpenMDW-1.1; конверсия не связана с NVIDIA и не одобрена компанией.
Nemotron-3-Embed-8B-GGUF — набор GGUF-квантизаций модели Nemotron-3-Embed-8B-BF16, разработанной NVIDIA. Модель предназначена для создания текстовых эмбеддингов, семантического сходства и задач информационного поиска, включая retrieval и сценарии на базе sentence-transformers. Это текстовая embedding-модель с размером исходной модели 8B; точные сведения об архитектуре, поддерживаемых языках и длине контекста в README не указаны. Квантизация выполнена с использованием llama.cpp и публичной матрицы важности Wikitext-2. Для корректной работы к запросам требуется добавлять префикс «query: », а к документам — «passage: ». Эмбеддинги формируются посредством mean pooling и нормализуются по L2, что удобно для сравнения векторов. Сильные стороны модели — наличие GGUF-формата и ориентация на семантический поиск и сопоставление текстов. Ограничения включают необходимость соблюдать специальные префиксы и отсутствие в предоставленных данных подробностей о качестве, конкретных вариантах квантизации, языковом покрытии и контекстном окне. Модель распространяется по лицензии OpenMDW 1.1; README также указывает, что данный репозиторий не связан с NVIDIA, Mistral или другими компаниями и не одобрен ими.
Карточка модели joteqwork/new_gsev0 на Hugging Face совпадает с карточкой avsolatorio/GIST-small-Embedding-v0, поэтому описание составлено по ней. GIST-small-Embedding-v0 — англоязычная модель текстовых эмбеддингов, разработанная avsolatorio на основе BAAI/bge-small-en-v1.5 и дообученная методом GISTEmbed. Она кодирует текст в векторы для поиска и сравнения предложений; для получения эмбеддингов инструкционные подсказки не нужны, поэтому запросы можно кодировать напрямую. Модель основана на архитектуре BERT, содержит 40 млн параметров и рассчитана на контекст до 512 токенов. Для дообучения использовались набор MEDI и триплеты, полученные из обучающей части MTEB Classification; качество оценивали на MTEB. В README отмечено, что дообучение улучшило результаты на некоторых задачах, но ухудшило на других, включая поиск по TRECCOVID. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия модели — MIT; лицензии сторонних обучающих данных могут иметь дополнительные условия.
api19750904/newspainclass-opt — модель Sentence-Transformers на архитектуре RoBERTa, разработчик которой не назван в карточке. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель содержит около 151,8 млн параметров и принимает текст с контекстным окном 514 токенов. Карточка указывает, что модель обучалась с CosineSimilarityLoss. В репозитории представлены веса PyTorch; метаданные отмечают поддержку эмбеддингов. Лицензия в предоставленных данных не указана.
NLLB-LLM2Vec — мультиязычная модель для получения векторных представлений текста, разработанная как расширение LLM2Vec с помощью самосупервизируемой дистилляции. Она использует энкодер NLLB-600M и основана на LLM2Vec-Meta-Llama-31-8B-Instruct-mntp-unsup-simcse; при обучении подгонялись проекция и LoRA-адаптеры, а целевые представления получали из исходной LLM2Vec. Репозиторий распространяет вариант, который ещё не дообучали на прикладных задачах. Модель предназначена для мультиязычных задач понимания естественного языка, включая поиск по смыслу и извлечение информации; её можно дообучать для классификации последовательностей и токенов. Для неруководимого поиска авторы допускают применение без дообучения, а для других задач рекомендуют обучение на размеченных данных. При работе необходимо передавать правильный код языка NLLB в параметре src_lang. Поддерживается более 200 языков. Модель доступна под лицензией MIT.
NoInstruct-small-Embedding-v0 — компактная модель эмбеддингов avsolatorio на архитектуре BERT, предназначенная для поиска и сопоставления предложений. По заявлению автора, она улучшает качество retrieval по сравнению с avsolatorio/GIST-small-Embedding-v0 и позволяет кодировать запросы без составления специальных инструкций. Модель содержит около 40 млн параметров, принимает текст, выдаёт векторные представления и поддерживает контекст до 512 токенов. Модель подходит для семантического поиска, подбора релевантных документов и оценки сходства текстов. В метаданных также указана задача извлечения признаков. Лицензия — MIT. Автор отмечает, что технические детали будут опубликованы позднее; поддержка библиотеки Sentence Transformers заявлена как ожидаемая, поэтому доступные способы применения могут быть ограничены.
nomic-embed-text-v1-GGUF — это набор файлов модели для построения векторных представлений текста в формате GGUF, совместимом с llama.cpp. Модель разработана Nomic и основана на nomic-embed-text-v1 с архитектурой BERT. Она предназначена для извлечения признаков, сравнения семантической близости предложений, поиска и построения RAG-приложений. Поддерживается английский язык, а перед каждым текстом требуется указывать соответствующий префикс задачи, например search_query:. Модель рассчитана на работу с текстом и поставляется в вариантах квантования Q2_K–Q8_0, F16 и F32, размер которых составляет примерно от 48 до 262 МиБ. llama.cpp использует контекст длиной 2048 токенов по умолчанию; для поддержки полного контекста в 8192 токена необходимо выбрать совместимый метод расширения контекста и параметры RoPE scaling. Разные варианты квантования позволяют выбирать компромисс между размером файлов и точностью эмбеддингов; README приводит среднеквадратичную ошибку относительно реализации Sentence Transformers. Сильными сторонами являются компактные GGUF-файлы, совместимость с llama.cpp и наличие нескольких уровней квантования для запуска на устройствах с разными ресурсами. Ограничения включают необходимость использовать task-префиксы, зависимость расширенного контекста от дополнительных настроек и отсутствие заявленной мультимодальности. Модель распространяется по лицензии Apache-2.0.
Onyx-mE5-Small — дообученная и квантизированная до 4 бит модель для создания текстовых эмбеддингов на основе intfloat/multilingual-e5-small. Её подготовили для OnyxEmbed — локального эмбеддера для RAG на устройствах Onyx. Модель использует архитектуру BERT и содержит 124,3 млн параметров; веса размещены в формате safetensors. Контекст ограничен 512 токенами. Модель преобразует запросы и фрагменты документов в векторы для семантического поиска и сопоставления текстов, в том числе между языками. Для работы следует сохранять соглашения E5: применять mean pooling и добавлять к входам префиксы `query: ` или `passage: `. По README, 4-битная квантизация сокращает размер примерно с 449 до 71 МБ; автор сообщает о сохранении качества recall относительно fp32 на английском и в межъязыковых сценариях. Основа и эта версия распространяются по лицензии MIT.