I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейКарточка модели emilecornamusaz/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.
Карточка модели adamezzaim/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.
Карточка модели matyaydin/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.
mxbai-rerank-base-v1 — базовая модель семейства реранкеров от Mixedbread, предназначенная для повышения качества поиска. Она оценивает релевантность пары «запрос — документ» и упорядочивает результаты, например, после поиска по ключевым словам. Модель построена на архитектуре DeBERTa-v2 и содержит 211,6 млн параметров; для работы с ней README рекомендует актуальную версию sentence-transformers. Модель рассчитана на английский язык и принимает текст, выдавая оценки релевантности, которые можно использовать для ранжирования документов. В README приведены результаты оценки на 11 наборах BEIR и указано, что реранкер хорошо дополняет поиск по ключевым словам. Длина контекста составляет 512 токенов. Модель распространяется по лицензии Apache-2.0.
Nemotron-3-Embed-1B-BF16 — мультиязычная модель эмбеддингов текста, разработанная NVIDIA для семантического поиска, извлечения релевантных фрагментов и RAG. Она преобразует текстовые запросы и документы в плотные векторы, подходящие для сравнения по сходству; модель предназначена, в частности, для построения многоязычных систем вопросов и ответов по большим корпусам текстов. Модель основана на архитектуре Transformer и происходит от Ministral-3-3B-Instruct-2512. После структурного прореживания и дистилляции она содержит около 1,14 млрд параметров. Для каждого текста формируется вектор размерности 2048; поддерживается использование укороченных векторов с повторной L2-нормализацией. README указывает максимальную длину последовательности 32768 токенов. Метаданные описывают модель как дообучение базовой Ministral и указывают контекстное окно 262144 токена; эти значения относятся к разным заявленным характеристикам, поэтому при обработке длинных текстов следует учитывать ограничение README. Модель рассчитана на поиск и сходство текста на 34 языках, включая русский, английский, китайский, арабский и другие. NVIDIA сообщает о сильных результатах на мультиязычных бенчмарках извлечения информации. Модель выдаёт эмбеддинги, а не готовые ответы; качество поиска зависит также от подготовки корпуса, разбиения документов и настройки системы. Для коммерческого использования указана лицензия OpenMDW-1.1; базовая модель Ministral-3-3B-Instruct-2512 выпущена под Apache 2.0.
Nemotron-3-Embed-8B-BF16 — мультиязычная модель эмбеддингов текста, разработанная NVIDIA для семантического поиска, извлечения релевантных фрагментов и систем RAG. Она предназначена, в частности, для создания многоязычных вопросно-ответных приложений поверх крупных текстовых коллекций и поддерживает межъязыковой поиск. Модель основана на трансформере Ministral-3-8B-Instruct-2512, дообученном для получения эмбеддингов. Она содержит около 8 млрд параметров, кодирует текст в векторы размерности 4096 и использует двунаправленное внимание и усреднение представлений токенов. README указывает максимальную длину входа 32 768 токенов; метаданные каталога приводят для базовой модели контекст 262 144 токена. Модель принимает текст и выдаёт векторы; размер вектора можно уменьшать срезом с последующей L2-нормализацией. Заявлена поддержка 34 языков, включая русский, английский, китайский, арабский и хинди. Модель показала высокие результаты на мультиязычном бенчмарке RTEB по заявлению разработчика и предназначена для коммерческого применения. Для запуска README рекомендует Transformers 5.2.0 или новее и CUDA-совместимое окружение; также указана поддержка PyTorch и vLLM. Модель и конфигурация распространяются по лицензии OpenMDW-1.1; базовая модель выпущена под Apache 2.0. Для входов длиннее 32 768 токенов требуется разбиение на фрагменты или усечение.
Карточка модели liddlefish/privacy_embedding_rag_10k_tmp на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.
AIconjured подготовил GGUF-квантизацию текстовой модели эмбеддингов Qwen3-Embedding-0.6B, разработанной командой Qwen. Модель создаёт 1024-мерные векторы для текстов и рассчитана на задачи семантического поиска и извлечения признаков. Заявленная длина контекста — 32K токенов; используется last-token pooling. Веса упакованы в формат GGUF со смешанной точностью NVFP4, Q8_0 и F32: NVFP4 применяется к основным матричным слоям, а чувствительные к качеству компоненты оставлены в более высокой точности. Размер файла — 507 МБ. По замерам автора, среднее косинусное сходство эмбеддингов с версией F16 составило 0,97472 на выборке из 20 текстов; для сложных семантических запросов возможно снижение качества поиска. Наиболее быстрый путь NVFP4 рассчитан на GPU Blackwell, а на других GPU веса могут работать после деквантизации. Модель предназначена для построения текстового поиска и других систем, использующих эмбеддинги. Распространяется по лицензии Apache-2.0.
SFR-Embedding-2_R — модель эмбеддингов текста, разработанная Salesforce Research. Она предназначена для получения векторных представлений текста и задач сравнения предложений, включая поиск и оценку семантической близости. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В карточке указана поддержка английского языка и формата safetensors; модель доступна для использования через Transformers и Sentence Transformers. Разработчики представляют её в поддержку академической статьи и рекомендуют перед применением оценивать точность, безопасность и справедливость для конкретного сценария, особенно в задачах с высокими последствиями. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.
Карточка модели unsloth/snowflake-arctic-embed-l-v2.0 на Hugging Face совпадает с карточкой Snowflake/snowflake-arctic-embed-l-v2.0, поэтому описание составлено по ней. Snowflake Arctic Embed L v2.0 — мультиязычная модель эмбеддингов от Snowflake для семантического поиска и извлечения релевантных текстов. Она основана на архитектуре XLM-RoBERTa и использует представление текста в виде векторов; в метаданных указано 658,7 млн параметров, а контекст составляет до 8194 токенов. Модель принимает текст и выдаёт эмбеддинги, предназначенные для сравнения запросов и документов по смысловой близости. Модель рассчитана на поиск на английском и многих других языках, включая арабский, бенгальский, немецкий, испанский, французский, хинди, японский и корейский. README сообщает о поддержке векторов размерностью 1024 и Matryoshka Representation Learning для сокращения до 256 измерений; вместе с 4-битным квантованием это позволяет хранить вектор примерно в 128 байтах. Указаны результаты оценки на наборах BEIR, MIRACL и CLEF, а также возможность использовать модель как замену BAAI/bge-m3-retromae в системах вывода. Лицензия Apache 2.0 допускает свободное использование в том числе в коммерческих приложениях. Модель предназначена для многоязычного семантического поиска, извлечения документов и построения систем поиска с векторным индексом. Сокращение и квантование эмбеддингов снижают требования к хранению, но могут уменьшить качество поиска; README отмечает небольшое снижение показателей при сокращении размерности до 256. Русский язык не указан среди языков карточки и метаданных, поэтому его поддержку нельзя подтвердить.
Snowflake Arctic-embed-m-v2.0 — мультиязычная модель эмбеддингов компании Snowflake для поиска и извлечения информации по тексту. Она предназначена для построения векторного поиска, семантического сопоставления запросов и документов и retrieval-систем, включая приложения корпоративного поиска. В README сообщается о сильных результатах на англоязычных и многоязычных тестах поиска, в том числе MTEB Retrieval, MIRACL и CLEF. Модель построена на GTE multilingual base и имеет 305,3 млн параметров, из которых 113 млн не относятся к эмбеддингам. Она формирует векторы размерности 768, поддерживает контекст до 8192 токенов и методы Matryoshka Representation Learning: размерность можно сократить до 256 с умеренным снижением качества. README также описывает сжатие векторов до 128 байт с 4-битной квантизацией. В репозитории есть веса safetensors и формат ONNX. Модель рассчитана на поиск по тексту и выдаёт эмбеддинги; для оптимального качества извлечения README рекомендует использовать CLS-токен и добавлять префикс к запросам. Метаданные и карточка описывают поддержку многих языков, включая английский, арабский, болгарский, бенгальский, каталонский, чешский, немецкий, греческий, испанский, персидский, финский, французский, иврит, хинди, хорватский, венгерский, индонезийский и итальянский. Лицензия — Apache-2.0.
Zen Embedding — текстовая модель для построения плотных эмбеддингов, опубликованная zenlm как часть линейки Zen. Она перепакована из Qwen/Qwen3-Embedding-8B и не обучалась с нуля; репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой Sentence Transformers. Модель предназначена для поиска по смыслу, dense retrieval и систем RAG, где документы и запросы кодируются в векторы для поиска релевантного содержимого. Метаданные указывают 7,6 млрд параметров и контекст до 40 960 токенов; среди языков карточки отмечены английский и китайский. Лицензия — Apache-2.0. Ограничения: карточка не приводит результатов сравнительных тестов качества или подробных рекомендаций по эксплуатации.
Карточка модели avsolatorio/01-600-11-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240221220048-latest на Hugging Face совпадает с карточкой avsolatorio/01-100-31-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240207031328-best, поэтому описание составлено по ней. Это англоязычная модель для получения плотных векторных представлений текста на основе BAAI/bge-small-en-v1.5. Репозиторий размещён в пространстве имён avsolatorio; по идентификатору модели и карточке это производная версия BGE, однако карточка не описывает конкретные изменения или способ обучения этой версии. Модель предназначена для поиска семантически близких текстов и формирования эмбеддингов для систем поиска и retrieval-augmented generation (RAG). Архитектура — BERT, около 40 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Модель ориентирована на английский язык. Эмбеддинги подходят для поиска кандидатов, но README рекомендует при необходимости повышать точность выдачи с помощью отдельного reranker. Карточка также отмечает, что оценка сходства сама по себе не является калиброванной вероятностью семантической близости.
Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_240 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_560 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
Карточка модели kshitijpandey3h/bge-large-agri-fused-5 на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.
Карточка модели jiaqi-22/bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.
RishabJ/bge-m3-dim-384 — вариант мультиязычной модели эмбеддингов BGE-M3, опубликованный пользователем RishabJ. Основан на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров и рассчитан на последовательности длиной до 8194 токенов. Репозиторий содержит веса PyTorch и Safetensors; лицензия — MIT. Модель предназначена для поиска по смыслу, извлечения документов и построения RAG-систем. Семейство BGE-M3 поддерживает плотный поиск, разреженные лексические веса и многовекторное представление ColBERT, что позволяет строить гибридный поиск и обрабатывать как короткие фразы, так и длинные документы. README указывает поддержку более 100 языков; этот репозиторий имеет уменьшенную размерность эмбеддингов 384. Модель полезна для многоязычного семантического и гибридного поиска, а также для оценки сходства предложений. Для повышения точности поиска README рекомендует применять отдельный реранкер после извлечения кандидатов. Доступна по лицензии MIT.
CompendiumLabs/bge-m3-gguf — это GGUF-версия модели BGE-M3, опубликованная Compendium Labs и основанная на исходной модели BAAI/bge-m3 от Beijing Academy of Artificial Intelligence (BAAI). Это не генеративная языковая модель, а многоязычная модель текстовых представлений для семантического поиска, поиска по сходству, гибридного retrieval и RAG-систем. Модель построена на архитектуре XLM-RoBERTa, содержит около 568–569 млн параметров, формирует векторы размерности 1024 и поддерживает контекст до 8192 токенов. Она рассчитана более чем на 100 языков и объединяет три режима поиска: dense retrieval, sparse retrieval и multi-vector retrieval в стиле ColBERT. Репозиторий CompendiumLabs содержит файлы GGUF в форматах F16 и F32; размер F16-файла составляет около 1,16 ГБ, F32-файла — около 2,27 ГБ. Сильные стороны модели — многоязычность, обработка длинных документов и возможность получать несколько типов retrieval-представлений из одной модели, что удобно для гибридного поиска. Ограничение состоит в том, что модель предназначена для эмбеддингов и извлечения признаков, а не для генерации текста; для максимальной точности поиска рекомендуется дополнительно применять отдельный reranker. Качество может различаться между языками, поскольку объём и баланс обучающих данных неодинаковы. В карточке CompendiumLabs указана лицензия MIT.
BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
Карточка модели seerware/granite-embedding-30m-sparse на Hugging Face совпадает с карточкой ibm-granite/granite-embedding-30m-sparse, поэтому описание составлено по ней. Granite-Embedding-30m-Sparse — разреженная модель для построения текстовых представлений, разработанная командой Granite Embedding в IBM. Она основана на энкодерной архитектуре на базе RoBERTa, содержит 33,5 млн параметров и рассчитана на английский язык. Модель кодирует текст в словарь токенов и их весов переменной длины, включая расширения исходных токенов. Представления подходят для семантического поиска, извлечения релевантных документов и сравнения текстов. Модель обучалась с использованием предварительного обучения для задач поиска, контрастивной настройки и дистилляции; в карточке сообщается о конкурентных результатах на тестах BEIR, включая сравнение с более крупной SPLADE-моделью. Её можно применять, например, с Sentence Transformers и Milvus. Контекст ограничен 512 токенами: более длинный текст обрезается. Модель обучена только на английских текстах. Лицензия — Apache 2.0.
Это конверсия модели granite-embedding-97m-multilingual-r2 от IBM в формат GGUF F16, подготовленная ATF (Agent Taskflow) для локального запуска через llama.cpp. Модель на базе ModernBERT создаёт 384-мерные текстовые эмбеддинги и использует собственный многоязычный токенизатор на 180 000 токенов. Конверсия не меняет веса и не включает дообучение; автор README сообщает о высокой близости результатов к исходной модели при проверке на CPU и GPU. Модель предназначена для получения векторных представлений текста в локальных и периферийных сценариях, включая семантический поиск и сопоставление запросов с документами или кодом. Для запуска нужен актуальный llama.cpp с поддержкой токенизатора granite-embed-multi-97m. Модель распространяется по лицензии Apache-2.0; веса принадлежат IBM.
LFM2.5-Embedding-350M-int4 — 4-битная MLX-квантизация мультиязычного двунаправленного плотного bi-encoder LiquidAI LFM2.5-Embedding-350M для семантического поиска и поиска между языками. Модель формирует вектор размерности 1024 из CLS-токена; для кодирования запросов и документов используются префиксы «query: » и «document: », а сходство оценивается косинусной мерой. Контекст составляет до 128 000 токенов. Вариант рассчитан на запуск на компьютерах Apple Silicon через MLX. В README приведено сравнение с fp16 на подмножестве из четырёх англоязычных наборов NanoBEIR: среднее сохранение NDCG@10 после квантизации указано как 99,9%. Для корректного получения эмбеддингов в репозитории поставляется специальный загрузчик, поскольку обычная загрузка причинной LFM2-модели не учитывает двунаправленное внимание и CLS pooling. Лицензия в метаданных обозначена как other; README не уточняет дополнительные условия.
QuantFactory/Llama-3-8B-ProLong-64k-Instruct-GGUF — квантизированная версия модели Princeton NLP Llama-3-8B-ProLong-64k-Instruct, созданная с использованием llama.cpp. Модель основана на Meta-Llama-3-8B-Instruct и разработана исследователями Tianyu Gao, Alexander Wettig, Howard Yen и Danqi Chen. Это текстовая instruction-tuned модель для генерации ответов и работы с длинным контекстом объёмом до 64 000 токенов. Она предназначена для диалогов, вопросов и ответов по большим наборам документов, retrieval-augmented generation, извлечения информации, классификации в контексте, переранжирования результатов поиска, анализа и суммаризации длинных документов. Для восстановления диалоговых возможностей модель дообучалась на UltraChat. Модель имеет около 8 миллиардов параметров и поддерживает только текстовую модальность. При обучении использовалась смесь коротких и длинных данных общим объёмом 20B токенов; заявлено стабильное функционирование с контекстом до 64K токенов и высокая производительность на задачах длинного контекста среди моделей сопоставимого размера. Ограничения включают возможное влияние квантизации на качество, однако конкретный формат и уровень квантизации в представленном README не указаны. Языки, точные аппаратные требования и детальные показатели benchmark также не приведены. Лицензия указана как llama3. Условия её применения следует проверять по лицензии семейства Llama 3 и исходной карточке модели.
Llama-Karmx-Indic-Embedding-bge-m3 — модель эмбеддингов, разработанная Karmx на основе BAAI/bge-m3 и дообученная для поиска по текстам на десяти языках Индии. Она создаёт нормализованные плотные векторы размерностью 1024 для семантического поиска и систем RAG; в Sentence Transformers её можно использовать как замену bge-m3. Модель принимает текст и выдаёт векторные представления. Для неё доступны форматы safetensors и ONNX, включая вариант int8; заявлена совместимость с Sentence Transformers и ONNX Runtime. По результатам README, модель показала более высокие значения nDCG@10, чем исходная bge-m3, на наборах IndicQARetrieval и Belebele для всех десяти указанных языков. Обучение включало дистилляцию ранжирования от BAAI/bge-reranker-v2-m3 и полное дообучение bge-m3 на данных Indic-Rag-Suite и MIRACL. Лицензия — MIT. Модель предназначена для семантического поиска и извлечения релевантных фрагментов в RAG. Она поддерживает хинди, бенгальский, тамильский, телугу, маратхи, гуджарати, каннада, малаялам, пенджаби и одия. Контекст архитектуры — до 8194 токенов, однако в README указан предел 512 токенов для настройки по умолчанию и оценки.
Merino-Large-v2 — модель поиска по тексту от BAA AI (Black Sheep AI), объединяющая создание эмбеддингов и переранжирование результатов для RAG. Биэнкодер выдаёт L2-нормализованные векторы размерностью 1024; для запросов рекомендуется добавлять префикс «query: ». Кросс-энкодер оценивает релевантность пары «запрос — документ» одним числом. Обе части используют основу xlm-roberta-large и общую таблицу входных эмбеддингов, что уменьшает размер загрузки. Заявлена поддержка нескольких языков и около 872 млн параметров. Модель подходит для семантического поиска и уточнения порядка найденных фрагментов. В карточке отмечена хорошая пригодность для корпусов с тематически связанными документами; для разнородных многофактных документов рекомендуется делить текст на небольшие фрагменты с одним утверждением. Указана сертифицированная 4-битная квантизация без измеримой потери качества в описанном тесте с отвлекающими документами. Лицензия обозначена как other; конкретные условия использования в карточке не раскрыты.
Карточка модели avsolatorio/MixEmbed-base-20240110153733-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.
Карточка модели avsolatorio/MixEmbed-base-20240110225225-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.
Карточка модели avsolatorio/MixEmbedFinetune-base-20240122212744-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.
Карточка модели avsolatorio/MixEmbedFinetune-base-20240123004625-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.