I.1Поиск и навигация по информации

Thunder421/criterion-finetuned-bert — модель Sentence Transformers, дообученная на базе sentence-transformers/all-mpnet-base-v2. Архитектура MPNet использует mean pooling и нормализацию; модель кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их с помощью косинусного сходства. В метаданных указано 136,7 млн параметров и контекст до 514 токенов; карточка модели указывает максимальную длину последовательности 384 токена. Модель предназначена для семантического поиска и оценки сходства текстов, в том числе для поиска релевантных фрагментов и ранжирования кандидатов при retrieval. В README приведены результаты на наборе ats-val: Spearman по косинусному сходству 0,9258. Модель принимает и выдаёт текстовые представления; обучение проводилось на 6 790 парах предложений с оценками сходства. Языки обучающих примеров в карточке англоязычные, однако заявленная поддержка языков не указана. Лицензия в предоставленных данных не приведена.

DiTy/cross-encoder-russian-msmarco — модель ранжирования текстовых пар, разработанная на основе DeepPavlov/rubert-base-cased и дообученная на русскоязычном наборе MS-MARCO для ранжирования passages. Она принимает запрос вместе с каждым найденным фрагментом текста и оценивает их релевантность, чтобы упорядочить результаты поиска по убыванию оценки. Модель основана на BERT, содержит 205,1 млн параметров, распространяется в формате safetensors и рассчитана на контекст до 512 токенов. Использовать её можно в конвейерах информационного поиска после первичного отбора документов, например, результатов ElasticSearch. Лицензия — MIT.

Это англоязычный разреженный CSR-кодировщик текста, созданный авторами Sentence Transformers и дообученный на Natural Questions от базовой модели mixedbread-ai/mxbai-embed-large-v1. Он преобразует запросы и документы в разреженные векторы размерностью 4096 с максимум 256 активными измерениями; близость оценивается скалярным произведением. Модель предназначена для семантического поиска и разреженного информационного поиска, в том числе по коллекциям вопросов и ответов. Модель основана на архитектуре BERT, содержит около 433,9 млн параметров, принимает текст длиной до 512 токенов и работает через библиотеку Sentence Transformers. В карточке приведены оценки поиска на наборах Natural Questions, MS MARCO, NFCorpus и NanoBEIR. Лицензия — Apache-2.0.

Contextual AI ctxl-rerank-v2-instruct-multilingual-1b — мультиязычная модель-реранкер на архитектуре Qwen3 с 1 млрд параметров. Она оценивает релевантность документов запросу и следует дополнительным инструкциям, например приоритизирует свежие сведения или помогает разрешать противоречия в результатах поиска. Подходит для поиска и ответов на вопросы по найденным документам, а также для товарного поиска и рекомендаций. Модель поддерживает более 100 языков и контекст до 40 960 токенов по метаданным; в README заявлен контекст до 32K токенов. Она выдаёт оценки релевантности, где более высокое значение означает более подходящий документ. Доступны веса в формате safetensors; для работы описаны Transformers и Sentence Transformers, а для производственного использования рекомендован vLLM. Модель выпущена Contextual AI и распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. README заявляет высокие результаты на BEIR, однако конкретные показатели в карточке не приведены.

Модель kwondw/distilbert-base-uncased-msmarco-margin-mse-mnrl-502939 — англоязычная Sentence Transformer, дообученная автором на 502 939 примерах для поиска по смыслу. В основе лежит distilbert/distilbert-base-uncased; архитектура включает DistilBERT и mean pooling. Модель преобразует предложения и абзацы в плотные векторы размерности 768, а сходство оценивает скалярным произведением. Она предназначена для векторного поиска и извлечения релевантных документов по запросу, а также сравнения семантической близости текстов. В README приведены оценки на наборах NanoBEIR и задачах поиска, включая MS MARCO, Quora Retrieval и HotpotQA. Метаданные указывают контекст до 512 токенов; карточка модели задаёт максимум в 300 токенов. Лицензия — Apache-2.0.

DPR-XM — мультиязычная плотная двухбашенная bi-encoder-модель для поиска абзацев по запросам, разработанная Antoine Louis и соавторами. Она кодирует запросы и passages в отдельные векторы размерностью 768 и предназначена для семантического поиска и ранжирования найденных документов по близости векторных представлений. Модель построена на X-MOD и дообучена на английской части MS MARCO passage ranking с трудными негативными примерами; обучение проводилось на 25,6 млн троек «запрос, релевантный абзац, нерелевантный абзац». Благодаря языковым адаптерам X-MOD модель поддерживает перенос поиска на другие языки без отдельного обучения на каждом из них. Контекст модели — 514 токенов, максимальная длина запросов и абзацев при обучении составляла 128 токенов. Модель рассчитана на текстовый ввод и выдаёт векторные представления; доступны веса PyTorch и Safetensors для Sentence-Transformers и Transformers. DPR-XM подходит для мультиязычного поиска по коллекциям документов, в том числе для межъязыкового поиска. Оценка проводилась на mMARCO, включая русский язык. Лицензия и её условия в предоставленных данных не указаны.

Alibaba-NLP/E2Rank-8B — модель для текстовых эмбеддингов и ранжирования, разработанная Alibaba-NLP на базе Qwen3-8B. Это плотная архитектура Qwen3 с 7,6 млрд параметров, длиной контекста до 40 960 токенов и размерностью эмбеддингов 4096. Модель дообучена на данных для ранжирования и поддерживает настройку инструкций под задачу. E2Rank объединяет поиск по сходству эмбеддингов и списковое переранжирование: документы и запросы представляются векторами, а сходство оценивается по косинусной мере. Модель предназначена для семантического поиска, улучшения порядка результатов и построения поисковых систем с единым компонентом извлечения и переранжирования. В README заявлены высокие результаты на BEIR и конкурентные показатели на BRIGHT и MTEB; приведённые оценки относятся к экспериментам авторов. Модель принимает текст и выдаёт эмбеддинги для последующего вычисления сходства и ранжирования. В карточке не указаны языки обучения; приведённая таблица MTEB описывает английский бенчмарк и сама по себе не подтверждает поддержку только английского. Для использования эмбеддингов требуется вручную добавлять специальный завершающий токен к каждому входному тексту. Лицензия — Apache-2.0.

htdht/e5_base_finetuned_5000 — модель Sentence Transformer, дообученная на базе intfloat/multilingual-e5-base для преобразования предложений и абзацев в плотные векторы размерности 768. Она использует трансформер XLM-RoBERTa с усредняющим пуллингом и нормализацией векторов; сходство текстов оценивается косинусной мерой. Модель предназначена для семантического поиска и извлечения релевантных текстов. Обучение проведено на 3 500 парах текстов anchor-positive. Модель принимает текстовые последовательности длиной до 512 токенов по README; метаданные указывают контекст 514 токенов. Указана поддержка текста, а базовая модель многоязычная. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным описать нельзя.

htdht/e5_base_finetuned_v6 — модель Sentence Transformer на архитектуре XLM-RoBERTa, содержащая около 305,2 млн параметров. Она преобразует текстовые предложения и абзацы в нормализованные плотные векторы размерности 768 и предназначена для поиска и сопоставления текстов по косинусному сходству. Модель можно использовать для поиска подходящих документов или фрагментов по запросу и ранжирования текстов по семантической близости. В README указаны текстовый вход, ограничение до 192 токенов и обучение на 36 389 примерах с запросами, положительными и отрицательными текстами. Метаданные указывают контекст модели до 514 токенов; для практического использования ориентируйтесь на более короткое ограничение, заявленное в README. Модель работает с текстом; языковые примеры в README включают вьетнамский, но данных о полном наборе поддерживаемых языков нет. Лицензия в предоставленных источниках не указана.

Карточка модели OrcaDB/e5-large на Hugging Face совпадает с карточкой onelevelstudio/ML-E5-0.6B-Instruct, поэтому описание составлено по ней. onelevelstudio/ML-E5-0.6B-Instruct — мультиязычная модель эмбеддингов текста на архитектуре XLM-RoBERTa. Она преобразует запросы и документы в векторы для семантического поиска, ранжирования и оценки сходства. Для запросов рекомендуется добавлять краткую инструкцию на естественном языке, описывающую задачу; документам инструкции не нужны. В метаданных указано около 658,7 млн параметров, контекст до 514 токенов и лицензия MIT. Репозиторий содержит веса в форматах Safetensors и ONNX. Карточка связывает модель с Multilingual-E5-large-instruct и сообщает о поддержке 100 языков на основе XLM-RoBERTa; для языков с малым объёмом ресурсов качество может снижаться. Длинные тексты обрезаются примерно до 512 токенов.

d0rj/e5-large-en-ru — компактная версия модели intfloat/multilingual-e5-large, созданная за счёт сокращения словаря до токенов русского и английского языков. Модель основана на XLM-RoBERTa и формирует плотные текстовые представления размерностью 1024; в метаданных указаны 464,4 млн параметров и контекст до 514 токенов. Модель предназначена для поиска по смыслу и оценки сходства предложений, в том числе для извлечения релевантных документов по запросу. Для поиска README рекомендует сравнивать эмбеддинги скалярным произведением. На бенчмарке SberQUAD разработчик сообщает о результатах, сопоставимых с исходной multilingual-e5-large. Она принимает текст и выдаёт векторные представления токенов. Указаны русский и английский языки. Сокращённый словарь уменьшает размер модели относительно исходной версии, но исключает поддержку токенов других языков. Лицензия — MIT.

E5-large-v2-4096 — модель для построения векторных представлений текста на основе Local-Sparse-Global версии intfloat/e5-small-v2. Она предназначена для кодирования запросов и текстовых фрагментов, в том числе для оценки их семантического сходства и ранжирования passages по релевантности запросу. Модель имеет архитектуру BERT, содержит 433,9 млн параметров и поддерживает контекст длиной до 4096 токенов. В README приведён пример работы с данными MS MARCO для ранжирования passages; метаданные указывают английский язык и задачу sentence-similarity. Репозиторий содержит веса PyTorch и помечен лицензией, пригодной для применения: сведений о лицензии в доступных источниках нет.

Карточка модели Alignment-Lab-AI/e5-mistral-7b-instruct на Hugging Face совпадает с карточкой intfloat/e5-mistral-7b-instruct, поэтому описание составлено по ней. E5-mistral-7b-instruct — текстовая модель эмбеддингов, созданная командой авторов статьи «Improving Text Embeddings with Large Language Models». Это дообученная версия Mistral-7B-v0.1 с 32 слоями и размерностью эмбеддингов 4096; число параметров — 7,1 млрд. Модель принимает текст и преобразует его в векторы для поиска и сравнения текстов. Она поддерживает контекст до 32 768 токенов, однако авторы не рекомендуют подавать входы длиннее 4096 токенов. Модель предназначена для получения эмбеддингов с инструкциями, задающими цель поиска или сравнения. Инструкцию следует добавлять к запросу, но не к документу. Примеры сценариев — семантический поиск, ранжирование passage по запросу и оценка сходства предложений. Модель обучена на смеси многоязычных наборов данных, но ориентирована прежде всего на английский; в некоторых многоязычных сценариях она уступает multilingual-e5-large. Модель распространяется по лицензии MIT. Для воспроизводимости результатов учитывайте, что версии Transformers и PyTorch могут вызывать небольшие различия в оценках.

furiosa-ai/e5-mistral-7b-instruct — пакет модели эмбеддингов E5-Mistral-7B-Instruct, подготовленный FuriosaAI для запуска с Furiosa-LLM на ускорителях FuriosaAI RNGD. В репозитории находятся веса upstream-модели и Furiosa Executable Bundle; сама модель — дообученная плотная decoder-модель на основе Mistral-7B-v0.1 с архитектурой MistralModel и 7,1 млрд параметров. Модель преобразует текст в плотные векторы размерностью 4096 с pooling по последнему токену и L2-нормализацией. Она рассчитана на семантический поиск, сопоставление запросов с документами и оценку семантического сходства. Модель понимает инструкции для настройки задачи: к запросам рекомендуется добавлять краткое описание задачи в формате Instruct/Query, а к документам инструкцию не добавлять. Контекст составляет 32 768 токенов; хотя обучение включало многоязычные данные, upstream-карточка рекомендует модель прежде всего для английского языка. Веса не квантизированы, используются upstream-веса FP16. Для запуска на RNGD применяется tensor parallelism с размером 8, соответствующим одной карте. Также доступны Transformers и Sentence Transformers. Лицензия — MIT.

E5-mistral-7b-instruct — текстовая модель эмбеддингов, созданная командой авторов статьи «Improving Text Embeddings with Large Language Models». Это дообученная версия Mistral-7B-v0.1 с 32 слоями и размерностью эмбеддингов 4096; число параметров — 7,1 млрд. Модель принимает текст и преобразует его в векторы для поиска и сравнения текстов. Она поддерживает контекст до 32 768 токенов, однако авторы не рекомендуют подавать входы длиннее 4096 токенов. Модель предназначена для получения эмбеддингов с инструкциями, задающими цель поиска или сравнения. Инструкцию следует добавлять к запросу, но не к документу. Примеры сценариев — семантический поиск, ранжирование passage по запросу и оценка сходства предложений. Модель обучена на смеси многоязычных наборов данных, но ориентирована прежде всего на английский; в некоторых многоязычных сценариях она уступает multilingual-e5-large. Модель распространяется по лицензии MIT. Для воспроизводимости результатов учитывайте, что версии Transformers и PyTorch могут вызывать небольшие различия в оценках.

Карточка модели RedHatAI/e5-mistral-7b-instruct на Hugging Face совпадает с карточкой intfloat/e5-mistral-7b-instruct, поэтому описание составлено по ней. E5-mistral-7b-instruct — текстовая модель эмбеддингов, созданная командой авторов статьи «Improving Text Embeddings with Large Language Models». Это дообученная версия Mistral-7B-v0.1 с 32 слоями и размерностью эмбеддингов 4096; число параметров — 7,1 млрд. Модель принимает текст и преобразует его в векторы для поиска и сравнения текстов. Она поддерживает контекст до 32 768 токенов, однако авторы не рекомендуют подавать входы длиннее 4096 токенов. Модель предназначена для получения эмбеддингов с инструкциями, задающими цель поиска или сравнения. Инструкцию следует добавлять к запросу, но не к документу. Примеры сценариев — семантический поиск, ранжирование passage по запросу и оценка сходства предложений. Модель обучена на смеси многоязычных наборов данных, но ориентирована прежде всего на английский; в некоторых многоязычных сценариях она уступает multilingual-e5-large. Модель распространяется по лицензии MIT. Для воспроизводимости результатов учитывайте, что версии Transformers и PyTorch могут вызывать небольшие различия в оценках.

EmbeddingGemma — компактная модель эмбеддингов на 300 млн параметров от Google DeepMind, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, извлечения информации, оценки сходства, классификации и кластеризации. Модель подходит для поиска документов и кода, систем вопросов и ответов и проверки фактов. Модель обучена на данных более чем из 100 языков и рассчитана на запуск на устройствах с ограниченными ресурсами, включая телефоны и компьютеры. Максимальная длина входа — 2048 токенов; стандартный размер выходного вектора — 768 измерений, также доступны укороченные варианты на 512, 256 и 128 измерений с помощью Matryoshka Representation Learning. Для работы предусмотрена библиотека Sentence Transformers. Качество эмбеддингов зависит от охвата и особенностей обучающих данных; модель может хуже передавать языковые нюансы, сарказм и переносный смысл, а также наследовать смещения данных. Условия использования определяются лицензией Gemma и связанными с ней правилами Google.

Debbie89889/esci-biencoder — текстовая модель Sentence Transformers, дообученная на базе sentence-transformers/all-MiniLM-L6-v2. Энкодер BERT преобразует предложения и абзацы в плотные векторы размерности 384, усредняет токенные представления и нормализует результат. Для сравнения векторов указана косинусная близость; модель предназначена для семантического поиска и извлечения релевантных текстов. Модель обучалась на 148 465 примерах с MultipleNegativesRankingLoss. README указывает максимальную длину последовательности 128 токенов, а метаданные — контекстное окно 512 токенов. Она принимает текст и выдаёт векторы; метаданные также отмечают поддержку извлечения признаков и сравнения предложений. Лицензия в предоставленных данных не указана.

Это компактная текстовая модель Sentence Transformer, разработанная much1na и дообученная на базе capemox/ettin-encoder-17m-pretrain-50m. Энкодер ModernBERT преобразует предложения и абзацы в плотные векторы размерностью 256; для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска и извлечения релевантных документов по текстовому запросу. В README указана максимальная длина последовательности 512 токенов, а метаданные каталога сообщают нативный контекст до 7999 токенов. Модель обучалась с EmbedDistillLoss на наборе примерно из 8,39 млн примеров; в карточке также приведены результаты оценки на NanoMSMARCO. Лицензия в предоставленных данных не указана.

EVIE-4.5B — мультимодальная модель Tencent для поиска по визуальному содержимому страниц документов. Она основана на ColQwen3.5 и использует позднее взаимодействие многовекторных представлений: кодирует текстовый запрос и изображение страницы в наборы векторов, а релевантность оценивается сопоставлением токенов. Модель содержит 4,5 млрд параметров и поддерживает эластичные векторы размерностью от 64 до 2048, которую можно выбирать усечением единственной проекции. Модель предназначена для поиска документов по содержимому сложных страниц, включая таблицы, диаграммы, структуру макета и мелкий текст. Для уменьшения объёма индекса можно применять HAC — алгоритм кластеризации токенов без дополнительного обучения, сжимая представление страницы до 32 или 64 векторов. В README приведены результаты оценки на ViDoRe и JinaVDR, включая многоязычные задачи. EVIE-4.5B получена дообучением Tencent/EVIE-Preview-4.5B; в описании также говорится о дистилляции студенческой модели от модели EVIE-8B. Репозиторий использует библиотеку colpali-engine и формат safetensors. Лицензия Apache-2.0.

Granite-Embedding-107M-Multilingual — мультиязычная плотная модель эмбеддингов от команды Granite Embedding в IBM. Она кодирует текст в векторы размерности 384 для поиска, извлечения информации и оценки сходства между предложениями. Модель построена на encoder-only архитектуре на основе XLM-RoBERTa, содержит около 110,2 млн параметров и рассчитана на контекст до 514 токенов. Модель обучена контрастивной тонкой настройкой, дистилляцией знаний и слиянием моделей. Она поддерживает английский, арабский, чешский, немецкий, испанский, французский, итальянский, японский, корейский, нидерландский, португальский и китайский языки. По данным карточки, модель примерно вдвое быстрее других моделей со схожей размерностью эмбеддингов; оценки приведены для задач поиска на нескольких языках. Модель подходит для семантического поиска, извлечения релевантных документов и сравнения текстов. Тексты длиннее контекста обрезаются; обучение на 12 языках может ограничивать качество на других языках. Лицензия Apache 2.0.

Карточка модели seerware/granite-embedding-30m-sparse на Hugging Face совпадает с карточкой ibm-granite/granite-embedding-30m-sparse, поэтому описание составлено по ней. Granite-Embedding-30m-Sparse — разреженная модель для построения текстовых представлений, разработанная командой Granite Embedding в IBM. Она основана на энкодерной архитектуре на базе RoBERTa, содержит 33,5 млн параметров и рассчитана на английский язык. Модель кодирует текст в словарь токенов и их весов переменной длины, включая расширения исходных токенов. Представления подходят для семантического поиска, извлечения релевантных документов и сравнения текстов. Модель обучалась с использованием предварительного обучения для задач поиска, контрастивной настройки и дистилляции; в карточке сообщается о конкурентных результатах на тестах BEIR, включая сравнение с более крупной SPLADE-моделью. Её можно применять, например, с Sentence Transformers и Milvus. Контекст ограничен 512 токенами: более длинный текст обрезается. Модель обучена только на английских текстах. Лицензия — Apache 2.0.

Это GGUF-конверсия многоязычной модели эмбеддингов Granite Embedding 311M Multilingual R2, разработанной IBM. Модель содержит 311 млн параметров и создаёт векторы размерности 768 для семантического поиска, извлечения документов, RAG, кластеризации и сравнения текстов; поддерживает контекст до 32 тыс. токенов и совместима с llama.cpp. В репозитории доступен вариант F16, ориентированный на сохранение качества.

Granite-Embedding-97M-Multilingual-R2 — мультиязычная модель для создания плотных векторных представлений текста, разработанная командой Granite Embedding компании IBM. Представленная версия в формате ONNX автоматически преобразована и опубликована сообществом onnx-community. Модель предназначена для семантического поиска, сопоставления запросов и документов, кластеризации, оценки сходства текстов, поиска по длинным документам, многошаговым диалогам, извлечения информации и поиска по программному коду. Модель использует архитектуру bi-encoder на базе ModernBERT и содержит около 97 млн параметров. Она формирует 384-мерные эмбеддинги для запросов, passages, документов и кода, которые можно сравнивать, например, с помощью cosine similarity. Максимальная длина контекста составляет до 32 768 токенов. Поддерживается более 200 языков, при этом для 52 языков и программного кода выполнено дополнительное retrieval- и cross-lingual-обучение. Указаны варианты развертывания через ONNX и OpenVINO, а также совместимость с Transformers.js. К сильным сторонам относятся компактный размер, низкие вычислительные требования, большой контекст и высокая заявленная эффективность в мультиязычном поиске: результат 60,3 на Multilingual MTEB Retrieval, а также поддержка поиска по коду и длинным документам. Ограничение модели состоит в том, что она предназначена для построения эмбеддингов и не является генеративной языковой моделью; качество может различаться между языками, причём наиболее явно улучшены только 52 языка и программный код. Модель распространяется по лицензии Apache 2.0.

Granite-embedding-english-r2 — плотная двунаправленная модель-биэнкодер из семейства Granite Embeddings, разработанная командой Granite Embedding Team компании IBM. Она преобразует английские запросы, фрагменты и документы в векторы размером 768 для поиска, извлечения информации и сравнения текстов по косинусному сходству. Модель построена на архитектуре ModernBERT, содержит 149 млн параметров и поддерживает контекст до 8192 токенов. Модель обучалась на открытых наборах пар релевантности с разрешительными лицензиями, а также на данных, собранных и созданных IBM. В обучении использовались retrieval-ориентированное предварительное обучение, контрастивное дообучение, дистилляция и объединение моделей. В README заявлены результаты на тестах поиска по текстам, коду, длинным документам, диалогам и таблицам. Репозиторий предоставляет форматы PyTorch, Safetensors, ONNX, OpenVINO и TensorFlow. Модель предназначена для применения в системах поиска и извлечения информации, включая подбор релевантных документов и построение векторных представлений для последующего сравнения. Она рассчитана только на английский язык; тексты длиннее 8192 токенов будут усечены. Распространяется по лицензии Apache 2.0.

Granite-embedding-small-english-r2 — англоязычная модель для создания плотных векторных представлений текста, разработанная командой Granite Embedding компании IBM. Модель предназначена для сравнения текстов, семантического поиска и информационного поиска, включая поиск по документам, кодовой базе, таблицам и многошаговым диалогам. Она преобразует запросы, фрагменты и документы в векторы фиксированной длины, пригодные для сопоставления, например с помощью косинусного сходства. Модель содержит 47 млн параметров и использует архитектуру bi-encoder на базе ModernBERT. Размер выходного embedding составляет 384, поддерживается контекст длиной до 8192 токенов. При обучении применялись retrieval-oriented pretraining, contrastive finetuning, knowledge distillation и объединение моделей; использовались датасеты пар релевантности с разрешительными лицензиями, а также наборы данных, собранные и сгенерированные IBM. Модель ориентирована только на английский язык и доступна для использования через Transformers.js, включая ONNX-вариант. К сильным сторонам относятся компактный размер, поддержка длинного контекста, высокая скорость кодирования и конкурентоспособное качество на бенчмарках поиска, длинных документов, кода, таблиц и многоходовых диалогов. Ограничения — английская языковая специализация, фиксированный размер представлений и назначение преимущественно для задач embeddings, similarity и retrieval, а не для генерации текста. Модель распространяется по лицензии Apache 2.0.

GTE-ModernColBERT-v1 — англоязычная модель LightOn для много-векторного представления текстов в стиле ColBERT, дообученная на базе Alibaba-NLP/gte-modernbert-base с помощью дистилляции на датасете ms-marco-en-bge-gemma. Она кодирует предложения и абзацы в последовательности плотных векторов размерностью 128 и сравнивает запросы с документами оператором MaxSim; предназначена для семантического поиска, извлечения релевантных документов и переранжирования результатов поиска. В README указаны длины по умолчанию 32 токена для запросов и 300 для документов; метаданные сообщают о родном контексте базовой архитектуры до 8192 токенов. Модель может обрабатывать длинные документы, но обобщение за пределы обучающей длины не гарантируется и требует проверки на целевых данных. Для работы доступны форматы safetensors и ONNX, библиотека PyLate. Лицензия — Apache 2.0.

gte-multilingual-base — модель семейства GTE от Alibaba, предназначенная для создания текстовых представлений и поиска по сходству. Это энкодерный трансформер примерно на 305 млн параметров с плотными эмбеддингами размерности 768; также поддерживает разреженные векторы и эластичные по размеру плотные представления. Модель подходит для многоязычного и межъязыкового поиска, поиска по длинным текстам и оценки сходства текстов. README сообщает о поддержке более 70 языков; среди языков, перечисленных в метаданных, есть английский, китайский, французский, польский, арабский, хинди, японский и корейский. Максимальная длина входа — 8192 токена. По заявлению разработчика, энкодерная архитектура снижает требования к вычислениям и ускоряет инференс по сравнению с некоторыми более крупными моделями GTE на базе LLM. Для практического использования эмбеддинги можно получать через Transformers, sentence-transformers или сервисы инференса, включая TEI. Лицензия — Apache-2.0. Заявления о качестве основаны на оценках разработчика; результаты могут отличаться на конкретных данных и задачах.

Карточка модели Surbhipatil/gte-small на Hugging Face совпадает с карточкой thenlper/gte-small, поэтому описание составлено по ней. gte-small — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Вариант small содержит около 40 млн параметров и принимает тексты длиной до 512 токенов; для более длинных текстов вход обрезается. Модель рассчитана на английский язык. Полученные эмбеддинги подходят для семантического поиска и сравнения предложений, а также могут использоваться в конвейерах поиска информации и ранжирования текстов. Модель можно применять, например, для поиска релевантных документов или оценки смыслового сходства запросов и фрагментов текста. Лицензия — MIT.

sentence-transformers/gtr-t5-large — модель эмбеддингов на базе энкодера T5-large, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и обучена для семантического поиска. Модель подходит для построения поисковых систем по смыслу, получения кандидатов для последующей ранжировки и сравнения текстовых запросов с документами. Модель основана на gtr-large-1 и была преобразована из TensorFlow в PyTorch; используются веса FP16. В README отмечено, что эмбеддинги могут немного отличаться от TensorFlow-версии, хотя на тех же бенчмарках результаты совпадают. Репозиторий содержит 385,2 млн параметров, поддерживает английский язык и имеет контекст до 512 токенов. Лицензия — Apache-2.0.