I.12Рекомендации и персонализация
В разделе собраны самостоятельные задачи, где AI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
7 627 моделейКарточка модели Muennighoff/SGPT-5.8B-weightedmean-nli-bitfit на Hugging Face совпадает с карточкой Muennighoff/SGPT-5.8B-weightedmean-msmarco-specb-bitfit, поэтому описание составлено по ней. Muennighoff/SGPT-5.8B-weightedmean-msmarco-specb-bitfit — модель эмбеддингов предложений на архитектуре GPT-J, обученная для оценки сходства текстов. Она предназначена для поиска семантически близких предложений и документов, ранжирования результатов и построения поисковых систем. В README указано обучение с MultipleNegativesRankingLoss и косинусной мерой сходства; метаданные отмечают поддержку эмбеддингов и задачи sentence similarity. Контекст составляет 2048 токенов, формат весов — PyTorch. Модель опубликована под лицензией MIT.
Многоязычная модель Symanto на архитектуре XLM-RoBERTa-base, обученная в виде сиамской сети на наборах SNLI, MNLI, ANLI и XNLI. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для классификации текста без примеров и с небольшим числом примеров, а также для сравнения семантической близости предложений. Модель содержит 305,2 млн параметров и принимает текст с контекстом до 514 токенов. В метаданных указана поддержка арабского, болгарского, немецкого, греческого, английского, испанского, французского, русского, тайского, турецкого, урду, вьетнамского и китайского языков. Векторы можно использовать для поиска похожих предложений и классификации по смыслу. README описывает запуск через Sentence-Transformers или Transformers с подходящим pooling. Модель распространяется в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана.
cross-encoder/stsb-roberta-large — англоязычная модель ранжирования текстовых пар, дообученная на наборе STS Benchmark с помощью класса Cross-Encoder библиотеки Sentence Transformers. Она принимает два предложения и выдаёт оценку их семантического сходства от 0 до 1. Модель основана на RoBERTa large с архитектурой классификации последовательностей и содержит 454,1 млн параметров. Её используют для оценки сходства предложений и ранжирования текстов по релевантности; максимальная длина контекста составляет 514 токенов. Доступны форматы PyTorch, Safetensors, ONNX, OpenVINO и Flax. Модель предназначена прежде всего для англоязычных текстов. Как перекрёстный кодировщик, она оценивает пару текстов совместно, поэтому для массового поиска по большим коллекциям может требовать больше вычислений, чем векторный поиск с отдельными эмбеддингами. Лицензия — Apache-2.0.
Многоязычная модель Sentence Transformers на базе FacebookAI/xlm-roberta-base, дообученная на парах предложений en–es. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения семантической близости, поиска и группировки текстов. Для сопоставления векторов используется косинусное сходство; архитектура включает XLM-RoBERTa с усреднением токенных представлений. Максимальная длина последовательности в карточке — 128 токенов. Модель поддерживает английский и испанский, а также широкий набор других языков, включая русский. В README приведены результаты оценки на задачах сходства и перевода между английским и испанским; это не генеративная модель и сама по себе не переводит текст. Размер базовой архитектуры — 305,2 млн параметров, формат весов — safetensors. Лицензия в предоставленных данных не указана.
Карточка модели avsolatorio/20-100-11-1-0-1-0-0-cls_GIST_avsolatorio_BAAI_bge-base-en-v1.5_1024-20240128041505-best на Hugging Face совпадает с карточкой avsolatorio/20-100-11-1-0-1-0-0-cls_GIST_avsolatorio_BAAI_bge-base-en-v1.5_1024-20240127160829-best, поэтому описание составлено по ней. Модель avsolatorio/20-100-11-1-0-1-0-0-cls_GIST_avsolatorio_BAAI_bge-base-en-v1.5_1024-20240127160829-best — вариант BAAI/bge-base-en-v1.5, подготовленный avsolatorio: длина входной последовательности увеличена с 512 до 1024 токенов. Это модель Sentence-Transformers на архитектуре BERT с 136,7 млн параметров, которая преобразует предложения и абзацы в плотные векторы размерности 768. Её можно использовать для извлечения эмбеддингов, семантического поиска и кластеризации текста. Модель рассчитана на англоязычный текст. Хотя окно увеличено до 1024 токенов, автор отмечает, что модель не дообучалась для последовательностей длиннее 512 токенов, поэтому качество на более длинных текстах может быть ниже. В репозитории указаны веса в формате safetensors; лицензия в предоставленных источниках не приведена.
Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_2120 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
ashraq/all-MiniLM-L12-v2-distil-cos-cohere-90k — модель на базе BERT, распространяемая в формате PyTorch и предназначенная для преобразования предложений и абзацев в плотные векторы размерности 768. Она подходит для поиска семантически близких текстов и кластеризации; в обучении использовалась функция потерь CosineSimilarityLoss. Модель насчитывает около 40 млн параметров и принимает последовательности длиной до 512 токенов. Модель можно использовать с библиотекой Sentence-Transformers для построения векторного поиска и группировки текстов по смыслу. Карточка не сообщает конкретных языков обучения или специализированных областей применения. Лицензия в предоставленных данных не описана.
along26/all-MiniLM-L6-v2_multilingual_malaysian-v4 — дообученный Sentence Transformer на базе sentence-transformers/all-MiniLM-L6-v2. Модель использует энкодер BERT с mean pooling, содержит 25,9 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 384; максимальная длина последовательности — 512 токенов. Для сравнения векторов применяется косинусное сходство. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. В README приведены пары на английском и малайском языках, включая пример сопоставления вопроса на английском с переводом на малайский; это указывает на настройку для малайского, но не подтверждает полный перечень поддерживаемых языков. Веса доступны в формате safetensors, библиотека — Sentence Transformers. Лицензия в предоставленных данных не указана.
all-MiniLM-L6-v76-pairscore — англоязычный энкодер предложений KhaledReda, дообученный на sentence-transformers/all-MiniLM-L6-v2 с помощью CoSENTLoss на наборах пар текстов с оценками сходства. Модель на архитектуре BERT содержит 25,9 млн параметров и преобразует предложения и абзацы в нормализованные плотные векторы размерности 384; сходство между ними оценивают косинусной мерой. Метаданные указывают контекст до 512 токенов, а README — максимальную длину последовательности 256 токенов. Модель предназначена для оценки семантического сходства, семантического поиска и поиска перефразировок; её векторы также подходят для кластеризации и классификации текстов. Она ориентирована на английский язык и распространяется по лицензии Apache-2.0. Результаты отражают сходство векторов, поэтому для прикладных сценариев пороги и качество поиска следует проверять на собственных данных.
Это двуязычная модель Sentence Transformers на базе FacebookAI/xlm-roberta-large, дообученная для работы с арабскими и английскими предложениями. Она кодирует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для сравнения смысловой близости, семантического поиска и других задач, где нужно сопоставлять тексты. Модель поддерживает как отдельную работу с арабским и английским, так и межъязыковое сопоставление между ними. Модель поддерживает Matryoshka embeddings: векторы можно сокращать до 768, 512, 256, 128 или 64 измерений, чтобы уменьшить потребление памяти и ускорить последующую обработку. Максимальная длина последовательности — 512 токенов по README и 514 токенов в метаданных; используется библиотека sentence-transformers, веса доступны в формате safetensors. Автор сообщает об улучшении метрик MTEB по сравнению с предыдущей версией, особенно для арабско-английских задач, и рекомендует самостоятельно проверять соответствие модели конкретному сценарию. Лицензия в предоставленных данных не указана.
Карточка модели Sing0402/auslegal-embed-gte-dense на Hugging Face совпадает с карточкой Alibaba-NLP/gte-modernbert-base, поэтому описание составлено по ней. gte-modernbert-base — англоязычная модель для построения текстовых эмбеддингов, разработанная Tongyi Lab компании Alibaba. Она основана на encoder-only архитектуре ModernBERT и содержит 149 млн параметров; вектор представления имеет размерность 768, максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска, извлечения документов, сравнения предложений и подбора текстов по смыслу, в том числе как компонент систем RAG. В карточке приведены результаты оценок MTEB, BEIR, LoCo и COIR; они показывают эффективность на задачах поиска, включая поиск по длинным документам и коду. Доступны веса в форматах PyTorch, Safetensors и ONNX; для интеграции описано использование Transformers, Sentence Transformers и Text Embeddings Inference. Модель распространяется по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык, поэтому качество для других языков не подтверждено карточкой.
emersoftware/beto-mlm-bcn-mnrl-msmarco-es-v2 — модель Sentence-Transformers на архитектуре BERT с 137,1 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель обучалась с MultipleNegativesRankingLoss и косинусным сходством; в карточке также заявлена поддержка извлечения признаков и сходства предложений. Максимальный контекст — 512 токенов. Модель рассчитана на работу с испанскими текстами, о чём говорит её идентификатор, связанный с BETO и MS MARCO на испанском языке. Для использования подходят Sentence-Transformers или Transformers с соответствующей операцией pooling. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
NaqibL дообучила англоязычную модель Sentence Transformer на базе BAAI/bge-base-en-v1.5 для преобразования предложений и абзацев в плотные текстовые эмбеддинги. Модель построена на BERT, имеет 136,7 млн параметров и формирует векторы размерностью 768; для сравнения используется косинусное сходство. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и извлечения релевантных текстов, в том числе как компонент RAG. В README для оценки на Triplet указана точность по косинусному сходству 0,8338. Она принимает и обрабатывает текст на английском языке; поддержка других языков не подтверждена. Для получения эмбеддингов и поиска требуется использовать совместимый с ними индекс или систему сравнения векторов. Лицензия в предоставленных данных не указана.
BAAI/bge-large-zh-noinstruct — плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в векторы для семантического поиска, извлечения релевантных документов, кластеризации и классификации; эмбеддинги также можно использовать в векторных базах данных для систем с генерацией с дополнением по поиску. Архитектура модели основана на BERT, содержит 424,3 млн параметров и обрабатывает последовательности длиной до 512 токенов. Карточка указывает китайский язык и формат PyTorch. Модель предназначена для получения векторов текста и сравнения их относительной близости. README предупреждает, что у этой версии распределение оценок сходства менее удобно: высокий абсолютный балл сам по себе не означает, что тексты похожи. Для новых проектов авторы рекомендуют BAAI/bge-large-zh-v1.5, который улучшает распределение сходства и поиск без инструкций. Модель распространяется по лицензии MIT. Для пороговой фильтрации сходства порог следует подбирать на собственных данных; для поиска по коротким запросам и длинным документам инструкция для запроса может улучшить результат.
boboliu/bge-reranker-v2.5-gemma2-lightweight-gptq — это 4-битная GPTQ-квантизованная версия мультиязычного reranker BAAI/bge-reranker-v2.5-gemma2-lightweight, разработанного Beijing Academy of Artificial Intelligence (BAAI); вариант опубликован пользователем boboliu на Hugging Face. Модель предназначена для повторного ранжирования результатов информационного поиска: получает запрос и passage и вычисляет оценку их релевантности, поэтому подходит для retrieval-систем и RAG-сценариев. Она также может использоваться для проверки наличия ответа в тексте, определения смысловой эквивалентности запросов или выявления противоречий между высказываниями. Архитектура основана на Gemma 2 9B и поддерживает механизмы token compression и layerwise reduction, позволяющие выбирать используемые слои, коэффициент сжатия и слои сжатия для ускорения вывода и снижения вычислительных затрат. Исходная модель заявлена как multilingual и ориентирована, в частности, на английский и китайский языки; в опубликованных оценках также представлены другие языки, включая русский. Репозиторий содержит около 6,19 ГБ файлов и помечен как модель с 4-bit precision и GPTQ; размер и характеристики контекстного окна в карточке этой версии не указаны. Сильные стороны — мультиязычное ранжирование, возможность уменьшать вычисления настройкой слоёв и более низкие требования к памяти благодаря квантизации. Ограничения состоят в отсутствии подробной отдельной документации, описания обучения и лицензии для этой производной версии, а также в необходимости использовать custom code и проверять качество на собственных данных; квантизация может повлиять на точность. В карточке исходной модели указана лицензия gemma; для практического использования производной версии следует дополнительно проверить условия исходных компонентов и репозитория.
ColBERT MUVERA Small — текстовая модель NeuML, дообученная на базе bclavie/mini-base на данных MS MARCO. Она кодирует предложения и абзацы в последовательности плотных векторов размерностью 128 и оценивает семантическое соответствие с помощью MaxSim. Модель рассчитана на семантический поиск, ранжирование текстовых фрагментов и извлечение источников для RAG; её можно использовать с PyLate или txtai. Модель содержит 40 млн параметров, построена на архитектуре BERT и принимает контекст длиной до 512 токенов. Она обучена на ненормализованных оценках, что обеспечивает совместимость с фиксированным кодированием MUVERA. В README приведены результаты на подмножествах BEIR и NanoBEIR; автор отмечает конкурентные результаты при небольшом размере модели. Лицензия — Apache-2.0.
Это дообученная модель Sentence Transformers на базе distilbert/distilbert-base-multilingual-cased, предназначенная для преобразования предложений и абзацев в плотные векторы размерности 768. Архитектура включает DistilBERT и усредняющий mean pooling; максимальная длина входа составляет 512 токенов, для сравнения векторов используется косинусное сходство. Модель подходит для поиска семантически близких текстов, оценки сходства предложений, поиска перефразировок, кластеризации и использования текстовых представлений в классификаторах. В README приведены результаты оценки сходства на переведённых наборах STS для ассамского языка. Многоязычная базовая модель сохраняет регистр; доступные данные подтверждают работу с ассамским, но не позволяют перечислить остальные поддерживаемые языки по отдельности. Модель опубликована под лицензией базовой модели; сведения о лицензии в предоставленных данных отсутствуют.
srikarvar/fine_tuned_model_3 — модель Sentence Transformers на архитектуре BERT, дообученная автором на базе srikarvar/multilingual-e5-small-pairclass-contrastive. Она кодирует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Модель рассчитана на английский язык, принимает последовательности длиной до 512 токенов и выдаёт эмбеддинги. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразирований, кластеризации и классификации. В README приведена оценка на наборе e5-cogcache-small-refined: cosine_accuracy@1 — 0,5, @3 — 0,8571, @5 — 1,0; обучающая выборка содержит 246 пар. Репозиторий использует safetensors и библиотеку Sentence Transformers. Лицензия — Apache-2.0.
GeniusVoice/gv-semanticsearch-dutch-cased — модель Sentence-Transformers на базе BERT, разработанная для преобразования предложений и абзацев в плотные векторы размерностью 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,3 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт эмбеддинги. Обучение с MultipleNegativesRankingLoss и косинусным сходством направлено на получение векторов, полезных для ранжирования семантически близких текстов. По названию модель ориентирована на нидерландский язык с сохранением регистра. Её можно применять для поиска документов по смыслу, группировки похожих предложений и вычисления семантического сходства. Лицензия в предоставленных данных не указана.
jina-embeddings-v2-base-zh — двуязычная модель текстовых эмбеддингов, разработанная Jina AI. Она предназначена для получения векторных представлений текста на китайском и английском языках и рассчитана на одноязычный и межъязыковой поиск, включая поиск китайских документов по английскому запросу и наоборот. Модель использует архитектуру JinaBERT на основе BERT с двунаправленным вариантом ALiBi и поддерживает контекст до 8192 токенов. В репозитории указано около 160,1 млн параметров; модель создаёт плотные векторы, для формирования эмбеддингов рекомендуется mean pooling. Подходит для семантического поиска и сценариев RAG, где нужно находить близкие по смыслу фрагменты на китайском и английском языках. Модель распространяется по лицензии Apache-2.0. Для загрузки из Hugging Face требуется авторизация, поскольку доступ к репозиторию ограничен; при использовании через Transformers README также указывает на необходимость включить trust_remote_code.
jinaai/jina-embeddings-v5-text-nano-retrieval-mlx — порт модели эмбеддингов jina-embeddings-v5-text-nano-retrieval для библиотеки MLX, предназначенный для эффективного инференса на компьютерах Apple Silicon. Модель построена на архитектуре EuroBERT с плотным представлением и содержит 211,7 млн параметров по метаданным Hugging Face. Она принимает текст и преобразует его в векторные представления для поиска по смыслу и задач retrieval; максимальная длина последовательности составляет 8192 токена. Модель поддерживает многоязычный текст и может применяться для семантического поиска и извлечения релевантных документов. Репозиторий распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. README указывает 239 млн параметров, тогда как метаданные содержат 211,7 млн; для размера в этом описании использовано значение метаданных.
Kiwi COCO-LM base — модель-энкодер на архитектуре ModernBERT, разработанная автором репозитория на основе answerdotai/ModernBERT-base. Она продолжает предобучение исходных весов на корейских и английских корпусах с методом COCO-LM: обучение распознаванию заменённых токенов сочетается с восстановлением исходных токенов и контрастивным обучением последовательностей. Модель содержит около 159,4 млн параметров, использует словарь Byte-level BPE размером 64 000 токенов и принимает последовательности длиной до 8192 токенов. Энкодер предназначен для извлечения признаков и получения представлений текста, а также для дообучения под классификацию, распознавание именованных сущностей, ответы на вопросы и поиск. В бенчмарках авторы сообщают о результатах, сопоставимых с моделями близкого размера на корейских KLUE и английских GLUE задачах. Хотя в метаданных указан тег feature-extraction, автор предупреждает, что модель не подходит для обычного заполнения пропусков через [MASK] и не предназначена для генерации текста; для таких сценариев требуется другая модель или дообучение под задачу. Для загрузки рекомендуется Transformers версии 5 или новее. Лицензия — Apache-2.0.
LFM2.5-Embedding-350M — мультиязычная модель Liquid AI для семантического поиска и извлечения документов. Это плотный двунаправленный bi-encoder семейства LFM2: запрос и документ кодируются в отдельные векторы размерности 1024. Модель содержит около 444,6 млн параметров по метаданным и построена на базе LiquidAI/LFM2.5-350M-Base с двунаправленными изменениями; для запуска предназначена библиотека sentence-transformers. Модель рассчитана на retrieval в RAG-системах, кросс-языковой поиск, поиск по базам знаний и локальную семантическую индексацию. В README указана поддержка английского, испанского, немецкого, французского, итальянского, португальского, арабского, шведского, норвежского, японского и корейского языков. Для запросов и документов используются разные префиксы query: и document:, которые sentence-transformers применяет через prompt_name. Максимальная длина последовательности в конфигурации — 512 токенов; метаданные указывают native context 128000 токенов, но заявленный сценарий модели ограничен коротким контекстом. Модель выдаёт векторные представления, пригодные для ранжирования документов по косинусному сходству или нормализованному скалярному произведению. README приводит результаты мультиязычной оценки NanoBEIR и характеризует модель как быструю и компактную для плотного поиска. Лицензия обозначена в метаданных как other, поэтому конкретные условия следует сверить с карточкой модели. Русский язык среди заявленных языков не указан.
MiniCPM-Embedding-Light — двуязычная модель текстовых эмбеддингов для поиска, разработанная ModelBest совместно с лабораторией обработки естественного языка Университета Цинхуа (THUNLP) и группой информационного поиска Северо-Восточного университета (NEUIR). Она предназначена для семантического поиска на китайском и английском языках, а также для поиска между ними, включая сценарии RAG и длинные документы. Модель построена на архитектуре MiniCPM с двунаправленным вниманием и взвешенным усреднением токенов. В README указаны размер 440 млн параметров, размерность эмбеддинга 1024, поддержка плотных и разреженных токеновых векторов и изменяемой размерности представления Matryoshka. README заявляет поддержку до 8192 токенов, тогда как метаданные каталога указывают контекст 4096 токенов. Она обучалась в несколько этапов примерно на 260 млн примеров, включая открытые, синтетические и закрытые данные; запросы можно подавать с инструкцией или без неё. Модель подходит для поиска релевантных документов и межъязычного поиска на китайском и английском языках. Метаданные также указывают возможности чата, но README описывает её как модель эмбеддингов, а не генеративную модель, поэтому основное назначение — извлечение признаков и векторов для поиска. Лицензия в предоставленных данных не указана.
Карточка модели Oussama1209/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.
jfarray/Model_paraphrase-multilingual-mpnet-base-v2_30_Epochs — модель sentence-transformers, дообученная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения смысловой близости и кластеризации текстов. Модель основана на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает текстовые последовательности с контекстом до 514 токенов. Карточка указывает на мультиязычную основу paraphrase-multilingual-mpnet-base-v2; метаданные не перечисляют конкретные поддерживаемые языки. В README описано обучение с CosineSimilarityLoss. Для использования доступны PyTorch и интеграция с Sentence-Transformers или Transformers с подходящей операцией pooling. Векторы подходят для поиска и сравнения смысловой близости; карточка не приводит результатов оценки качества. Лицензия в предоставленных данных не указана.
Это англоязычная модель Sentence Transformers, разработанная tomaarsen и дообученная на microsoft/mpnet-base с использованием пар вопросов и ответов из набора GooAQ. Она кодирует предложения и абзацы в плотные векторы размерностью 768; сходство между ними можно оценивать косинусной близостью. Модель подходит для семантического поиска, сопоставления вопросов с ответами и поиска похожих формулировок, а полученные векторы также можно использовать для кластеризации и классификации текста. В основе лежит MPNet с усреднением токенных представлений; максимальная длина входа — 512 токенов, а в метаданных указано контекстное окно 514 токенов. Обучение проводилось на 90 тысячах примеров GooAQ с функцией потерь CachedMultipleNegativesBidirectionalRankingLoss. Модель распространяется по лицензии Apache-2.0. Она обучена на англоязычных данных, поэтому её назначение и заявленная поддержка относятся к английскому; карточка не приводит гарантий качества для других языков или областей.
sieu-n/msmarco-distilbert-cos-v5_en-ko-ja_v1.2 — модель на базе BERT, преобразующая предложения и абзацы в плотные векторы размерностью 768 для сравнения их смыслового сходства. Её можно использовать для семантического поиска и кластеризации текстов; в метаданных Hugging Face основной задачей указано сравнение предложений, а среди поддерживаемых также есть извлечение признаков. Модель содержит 124,3 млн параметров, принимает текст и формирует векторные представления. Контекст ограничен 512 токенами. В названии указаны английский, корейский и японский языки; карточка не описывает отдельные языковые ограничения или результаты оценки качества. Модель опубликована в формате PyTorch и доступна для использования через Sentence-Transformers. Условия лицензирования в предоставленных данных не указаны.
Карточка модели baseten-admin/multilingual-e5-large-instruct-cls на Hugging Face совпадает с карточкой intfloat/multilingual-e5-large-instruct, поэтому описание составлено по ней. Multilingual-E5-large-instruct — текстовая модель эмбеддингов из семейства E5, представленная авторами технического отчёта Multilingual E5 Text Embeddings. Она основана на XLM-RoBERTa-large и использует архитектуру XLM-RoBERTa с 24 слоями; размер эмбеддинга — 1024, всего 658,7 млн параметров. Модель принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Репозиторий содержит веса в форматах Safetensors и ONNX. Модель предназначена для семантического поиска, сопоставления запросов с документами и оценки сходства текстов на многих языках. Для запроса необходимо добавлять одно предложение-инструкцию, описывающее задачу; документам инструкция не нужна. Модель обучалась на смеси многоязычных наборов данных и поддерживает 100 языков XLM-RoBERTa, включая русский. Длина контекста ограничена 512 токенами: более длинный текст обрезается. На низкоресурсных языках качество может быть ниже. Абсолютные значения косинусного сходства не следует трактовать как уверенность — для задач поиска важнее относительный порядок оценок. Лицензия — MIT.
akdeniz27/multilingual-e5-large-rag-instruct-turkish — модель Sentence Transformers, дообученная автором на наборе akdeniz27/rag_instruct_turkish от intfloat/multilingual-e5-large. Она кодирует предложения и абзацы в плотные текстовые эмбеддинги размерностью 1024; архитектура включает XLM-RoBERTa, усреднение токенов и нормализацию. Модель предназначена для семантического поиска, сравнения текстов и извлечения релевантных фрагментов в системах RAG, особенно для запросов и документов на турецком языке. Эмбеддинги можно применять для поиска похожих текстов, поиска перефразирований, кластеризации и классификации текста. Для оценки поиска в карточке приведены метрики cosine_accuracy@k на сокращённых вариантах эмбеддингов. Модель принимает текст и выдаёт векторы; максимальная длина последовательности — 514 токенов по метаданным. Лицензия — Apache-2.0.