II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейGranite Embedding 97M Multilingual R2 — текстовая модель эмбеддингов, разработанная командой Granite Embedding в IBM. Она использует архитектуру bi-encoder на базе ModernBERT и преобразует запросы, документы, фрагменты текста и код в векторы размерностью 384 для сравнения по косинусному сходству и поиска похожего содержимого. Модель предназначена для многоязычного семантического поиска, сопоставления запросов с документами и поиска по коду. Она содержит 97,4 млн параметров, 12 слоёв и поддерживает контекст до 32 768 токенов. Улучшенное обучение данными для поиска заявлено для 52 естественных языков и кода; энкодер предварительно обучен на текстах более чем 200 языков. Доступны форматы Safetensors, ONNX и OpenVINO; лицензия — Apache 2.0. Компактный размер позволяет использовать модель при меньших требованиях к ресурсам, чем у более крупной версии Granite Embedding. Компромисс — возможное снижение точности, особенно для языков с малым объёмом ресурсов; качество токенизации также может различаться между языками, а тексты длиннее контекстного окна усекаются.
Granite-Embedding-97M-Multilingual-R2 — мультиязычная модель для создания плотных векторных представлений текста, разработанная командой Granite Embedding компании IBM. Представленная версия в формате ONNX автоматически преобразована и опубликована сообществом onnx-community. Модель предназначена для семантического поиска, сопоставления запросов и документов, кластеризации, оценки сходства текстов, поиска по длинным документам, многошаговым диалогам, извлечения информации и поиска по программному коду. Модель использует архитектуру bi-encoder на базе ModernBERT и содержит около 97 млн параметров. Она формирует 384-мерные эмбеддинги для запросов, passages, документов и кода, которые можно сравнивать, например, с помощью cosine similarity. Максимальная длина контекста составляет до 32 768 токенов. Поддерживается более 200 языков, при этом для 52 языков и программного кода выполнено дополнительное retrieval- и cross-lingual-обучение. Указаны варианты развертывания через ONNX и OpenVINO, а также совместимость с Transformers.js. К сильным сторонам относятся компактный размер, низкие вычислительные требования, большой контекст и высокая заявленная эффективность в мультиязычном поиске: результат 60,3 на Multilingual MTEB Retrieval, а также поддержка поиска по коду и длинным документам. Ограничение модели состоит в том, что она предназначена для построения эмбеддингов и не является генеративной языковой моделью; качество может различаться между языками, причём наиболее явно улучшены только 52 языка и программный код. Модель распространяется по лицензии Apache 2.0.
Grug v2 9B — дообученная модель ProCreations на архитектуре Qwen3.5 с 9 млрд параметров. Это полный объединённый чекпойнт, предназначенный для диалогов, рассуждений, генерации кода и работы с инструментами через XML-вызовы. README описывает исправление стиля внутренних рассуждений и сохранение навыков программирования и выбора инструментов; приведены результаты тестов HumanEval, MBPP и наборов действий с инструментами. Модель дообучена на базе ProCreations/grug-9b с использованием датасетов Grug; в описании также указаны 4 096 токенов контекста для этапа коррекции стиля. Репозиторий содержит веса safetensors и требует Transformers с поддержкой Qwen3.5. Лицензия — MIT. Хотя архитектура поддерживает обработку изображений, карточка не подтверждает соответствующий сценарий применения этой версии; метаданные указывают генерацию текста.
HarshalBhg/gte-large-finetuned-ep10-test2 — модель эмбеддингов на архитектуре BERT, опубликованная пользователем HarshalBhg. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения текстов и кластеризации. Модель обучалась с использованием BatchAllTripletLoss на датасете embedding-data/sentence-compression; заявленный контекст составляет 512 токенов, число параметров — около 433,9 млн. Модель подходит для построения поисковых индексов и группировки текстов по смыслу. Репозиторий содержит веса в формате safetensors и предназначен для использования через Sentence Transformers. Карточка не указывает лицензию или поддерживаемые естественные языки; качество и ограничения для конкретных языков и предметных областей по имеющимся сведениям оценить нельзя.
GURU-model — модель Sentence Transformers, дообученная автором saraleivam на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она использует архитектуру XLM-RoBERTa с усреднением токенных представлений и преобразует предложения и абзацы в плотные векторы размерности 768. Модель предназначена для семантического сравнения текстов, поиска и ранжирования похожих фрагментов, поиска перефразировок, кластеризации и классификации текста. Модель обучалась на парах запросов, положительных и отрицательных примеров с использованием MultipleNegativesRankingLoss и косинусного сходства. README указывает максимальную длину последовательности 128 токенов; метаданные каталога приводят длину контекста 514 токенов. Основной язык карточки — английский, при этом унаследованная базовая модель многоязычная. Лицензия в предоставленных данных не указана.
Hercules-Qwen1.5-14B — разговорная языковая модель, разработанная M4-ai и дообученная на 700 тысячах примеров Hercules-v4 от Qwen1.5-14B. Она предназначена для работы в роли универсального ассистента: отвечает на вопросы, помогает с математикой и программированием, поддерживает вызов функций и ролевые диалоги. Архитектура — плотная Qwen2ForCausalLM с 13,4 млрд параметров; модель рассчитана на контекст до 32 768 токенов и распространяется в формате safetensors. В карточке заявлена поддержка английского и, возможно, китайского языков. Обучение проводилось в bf16 с длиной последовательности 1024; оценка качества в карточке не приведена. Лицензия указана как tongyi-qianwen license, а метаданные классифицируют лицензию как other. Разработчик предупреждает о рисках, смещениях и ограничениях модели.
Locutusque разработала Hyperion-3.0-Mistral-7B-alpha — языковую модель на архитектуре Mistral с 7,1 млрд параметров, дообученную на 200 тысячах примеров набора Hyperion-v3.0 на базе mistralai/Mistral-7B-v0.1. Модель генерирует текст и предназначена для диалогов, ответов на сложные вопросы и рассуждений в научных и технических областях. Её можно применять для генерации и анализа кода, математических и логических задач, обучения по естественным наукам и медицине, а также для понимания медицинских текстов. Карточка указывает английский язык; максимальная длина контекста составляет 32 768 токенов. Модель распространяется по лицензии Apache-2.0. Качество ответов может быть непоследовательным из-за различий в форматировании и качестве разметки обучающих данных. Модель склонна выполнять любые запросы; для корпоративного применения автор рекомендует дополнительное обучение с DPO.
Infinity-Instruct-3M-0625-Llama3-8B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), созданная дообучением Llama 3 методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная авторегрессионная модель семейства Llama примерно с 7,5 млрд параметров, предназначенная для диалогов и следования инструкциям. Она принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Модель не обучалась с использованием обучения с подкреплением по обратной связи от людей (RLHF), а разработчики сообщают о хороших результатах на AlpacaEval 2.0 и MT-Bench. Модель подходит для многошаговых диалогов, ответов на вопросы, повседневных текстовых задач, а также задач по коду и математике. Карточка указывает англоязычный контекст, поэтому основной подтверждённый язык — английский. Репозиторий распространяется в формате safetensors. В README указана лицензия Apache-2.0 в метаданных, однако там же ресурсы проекта, включая веса, ограничены академическими исследованиями и запрещены для коммерческого использования; это расхождение следует учитывать при применении. Разработчики также предупреждают, что точность ответов не гарантируется.
Карточка модели IQuestLab/IQuest-Coder-V1-14B-Base-Stage1 на Hugging Face совпадает с карточкой IQuestLab/IQuest-Coder-V1-7B-Instruct, поэтому описание составлено по ней. IQuest-Coder-V1-7B-Instruct — модель генерации кода из семейства IQuest-Coder-V1, разработанного IQuestLab для помощи в программировании и анализа кода. Версия Instruct предназначена для выполнения инструкций и повседневных задач кодирования; модель также рассчитана на работу с инструментами и CLI-агентами. Модель имеет плотную авторегрессионную архитектуру IQuestCoderForCausalLM и содержит 7,2 млрд параметров. Вариант 7B использует 14 слоёв и Grouped Query Attention; заявленная длина контекста — 128 тыс. токенов. Модель принимает текст и генерирует текст, включая код; карточка описывает поддержку интерфейса вызова инструментов, а также предварительную генерацию HTML и SVG. В README сообщается о специализированном обучении на эволюции репозиториев и о результатах на бенчмарках кодирования, но также отмечаются ограничения следования инструкциям, управления длинным контекстом и многошаговыми вызовами инструментов. Сгенерированный код модель не исполняет, а точность может снижаться на специализированных и проприетарных фреймворках. Лицензия указана как other, поэтому конкретные условия использования следует проверять в репозитории модели.
Карточка модели IQuestLab/IQuest-Coder-V1-14B-Instruct на Hugging Face совпадает с карточкой IQuestLab/IQuest-Coder-V1-7B-Instruct, поэтому описание составлено по ней. IQuest-Coder-V1-7B-Instruct — модель генерации кода из семейства IQuest-Coder-V1, разработанного IQuestLab для помощи в программировании и анализа кода. Версия Instruct предназначена для выполнения инструкций и повседневных задач кодирования; модель также рассчитана на работу с инструментами и CLI-агентами. Модель имеет плотную авторегрессионную архитектуру IQuestCoderForCausalLM и содержит 7,2 млрд параметров. Вариант 7B использует 14 слоёв и Grouped Query Attention; заявленная длина контекста — 128 тыс. токенов. Модель принимает текст и генерирует текст, включая код; карточка описывает поддержку интерфейса вызова инструментов, а также предварительную генерацию HTML и SVG. В README сообщается о специализированном обучении на эволюции репозиториев и о результатах на бенчмарках кодирования, но также отмечаются ограничения следования инструкциям, управления длинным контекстом и многошаговыми вызовами инструментов. Сгенерированный код модель не исполняет, а точность может снижаться на специализированных и проприетарных фреймворках. Лицензия указана как other, поэтому конкретные условия использования следует проверять в репозитории модели.
IQuest-Coder-V1-7B-Instruct — модель генерации кода из семейства IQuest-Coder-V1, разработанного IQuestLab для помощи в программировании и анализа кода. Версия Instruct предназначена для выполнения инструкций и повседневных задач кодирования; модель также рассчитана на работу с инструментами и CLI-агентами. Модель имеет плотную авторегрессионную архитектуру IQuestCoderForCausalLM и содержит 7,2 млрд параметров. Вариант 7B использует 14 слоёв и Grouped Query Attention; заявленная длина контекста — 128 тыс. токенов. Модель принимает текст и генерирует текст, включая код; карточка описывает поддержку интерфейса вызова инструментов, а также предварительную генерацию HTML и SVG. В README сообщается о специализированном обучении на эволюции репозиториев и о результатах на бенчмарках кодирования, но также отмечаются ограничения следования инструкциям, управления длинным контекстом и многошаговыми вызовами инструментов. Сгенерированный код модель не исполняет, а точность может снижаться на специализированных и проприетарных фреймворках. Лицензия указана как other, поэтому конкретные условия использования следует проверять в репозитории модели.
Карточка модели hyuksoo1009/klue-roberta-base-klue-sts на Hugging Face совпадает с карточкой dyryu/klue_roberta-base-klue-sts, поэтому описание составлено по ней. dyryu/klue_roberta-base-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa, разработчик которой не уточнён в карточке. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 137,8 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Для работы доступны веса в формате safetensors и библиотека sentence-transformers. При обучении использовалась функция потерь CosineSimilarityLoss. Метаданные указывают задачи sentence-similarity и feature-extraction; основное назначение для пользователя — поиск семантически похожих предложений. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя.
Карточка модели JoonBo/klue-roberta-base-klue-sts на Hugging Face совпадает с карточкой dyryu/klue_roberta-base-klue-sts, поэтому описание составлено по ней. dyryu/klue_roberta-base-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa, разработчик которой не уточнён в карточке. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 137,8 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Для работы доступны веса в формате safetensors и библиотека sentence-transformers. При обучении использовалась функция потерь CosineSimilarityLoss. Метаданные указывают задачи sentence-similarity и feature-extraction; основное назначение для пользователя — поиск семантически похожих предложений. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя.
danfeg/LaBSE_Finetuned-AR-1500 — модель эмбеддингов предложений на базе архитектуры BERT, дообученная для сопоставления семантически близких текстов. Она преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска и кластеризации. Модель содержит 498,1 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Модель можно применять для поиска похожих фраз, группировки текстов по смыслу и оценки семантического сходства. В README указано обучение с CosineSimilarityLoss. Лицензия и конкретный набор поддерживаемых естественных языков в предоставленных данных не описаны.
Ling-lite-1.5-2506 — обновлённая разговорная языковая модель от inclusionAI для рассуждений, решения сложных задач, программирования и отладки кода. Она построена на архитектуре Bailing MoE и поддерживает генерацию текста в формате чата. В README указаны 16,8 млрд параметров, из которых активируются 2,75 млрд; метаданные Hugging Face указывают 794,8 млн параметров. В карточке также заявлена длина контекста 128K, тогда как метаданные сообщают 32 768 токенов. README описывает улучшения относительно Ling-lite-1.5 и приводит результаты на GPQA Diamond и LiveCodeBench 2408–2501. Модель принимает текст и генерирует текст. Опубликованные веса доступны в формате safetensors, библиотека для работы — Transformers. Лицензия — MIT. Языки в доступных сведениях не перечислены.
Llama-3-11.5B-Instruct-Coder-v2-GGUF — это текстовая instruction-модель для генерации кода и выполнения запросов в формате диалога. Исходная модель опубликована rombodawg; в качестве базовой указана Replete-AI/Llama-3-11.5B-Instruct-V2. GGUF-квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации, дополнения и объяснения программного кода, а также для общих текстовых задач в сценариях, где требуется локальный запуск через llama.cpp или совместимые инструменты. Доступны варианты квантизации от Q8_0 до Q2 и IQ2–IQ4, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми в README названы Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4. Модель имеет около 11,5 млрд параметров, работает с текстом и использует формат диалога Llama 3 с системными и пользовательскими сообщениями. Заявлен английский язык; сведения о поддерживаемом контексте, мультимодальности и точных архитектурных деталях не приведены. При сильном сжатии качество снижается, особенно у низкобитных вариантов, поэтому выбор квантизации является компромиссом между потреблением памяти и точностью. Указана лицензия Apache-2.0.
Mellum2-12B-A2.5B-Thinking-GGUF — GGUF-квантизированная версия модели Mellum2-12B-A2.5B-Thinking, разработанной JetBrains. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, решения задач с пошаговым рассуждением, программирования, математического анализа и работы с инструментами. В README указано, что поддерживается английский язык. Модель имеет обозначение 12B-A2.5B-Thinking; точная архитектура, длина контекста и распределение параметров в README не раскрыты. Доступны варианты от BF16 до различных уровней квантизации GGUF, включая Q8_0, Q6_K, Q5_K и Q4_K; размеры файлов составляют примерно от 8 до 24 ГБ для перечисленных вариантов. Для запуска поддерживаются llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Используется специальный chat-шаблон с маркерами im_start и im_end. Среди сильных сторон заявлены высокие результаты на задачах программирования, математики, общих знаний и следования инструкциям: например, 69,9% pass@1 на LiveCodeBench v6, 87,0% exact match на GSM-Plus и 86,2% accuracy на MMLU-Redux. Эти результаты помечены как непроверенные. Ограничения включают зависимость качества и требований к памяти от выбранной квантизации, неизвестную длину контекста и отсутствие данных о мультимодальности; README описывает модель как текстовую. Лицензия — Apache-2.0.
Карточка модели Viva00007363/MiMo-V2.6-Pro-RL на Hugging Face совпадает с карточкой shaikat2007/MiMo-V2.6-Pro, поэтому описание составлено по ней. MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6, разработанная Xiaomi и обученная с масштабированием обучения с подкреплением для агентных сценариев и самоулучшения. Она предназначена для генерации текста, программирования, работы с инструментами и задач, где агент взаимодействует со средой и оценивает результаты своих действий. Модель построена на разреженной архитектуре Mixture of Experts. В README указаны 1,02 трлн общих и 42 млрд активируемых параметров; метаданные репозитория указывают 27,7 млрд параметров и класс MiMoV2ForCausalLM. Контекст составляет до 1 млн токенов. Модель поддерживает текст, изображения, видео и аудио, а также интерфейс вызова инструментов. В карточке заявлены английский и китайский языки. Модель подходит для длительных агентных запусков, анализа визуальных и аудиовизуальных материалов, программирования и работы с длинными документами или репозиториями. README приводит результаты бенчмарков, но они не гарантируют качество на конкретных задачах; развёртывание рассчитано на специализированные средства инференса и мощное оборудование. Лицензия репозитория — MIT.
Карточка модели ariancort/MiniCPM5-2B на Hugging Face совпадает с карточкой developerjeremylive/MiniCPM5-2B-etheroi, поэтому описание составлено по ней. MiniCPM5-2B-etheroi — компактная языковая модель из серии MiniCPM5, представленная в карточке MiniCPM5-2B. Это плотная причинная Transformer-модель с архитектурой LlamaForCausalLM и примерно 2,2 млрд параметров. Она предназначена для локальных помощников, программных агентов и сценариев, где важны небольшие требования к ресурсам и длинный контекст. Модель генерирует текст и поддерживает контекст до 131 072 токенов. В карточке отмечены навыки программирования, математики, понимания длинного контекста, следования инструкциям и работы с инструментами; метаданные также указывают разговорный сценарий. Модель рассчитана на английский и китайский языки и доступна в формате safetensors для Transformers; README описывает локальный запуск на GPU и CPU и серверный запуск через vLLM и SGLang. Модель выпущена под лицензией Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными; выводы по медицине, финансам, праву и политике не проверены экспертами и не являются профессиональной консультацией. README не указывает отдельную базовую модель для этой версии.
avsolatorio/MixEmbedMean-base-20240116005519-best — компактная модель эмбеддингов предложений на архитектуре BERT, распространяемая в формате safetensors. Она преобразует предложения и абзацы в плотные векторы размерностью 384 для семантического поиска и кластеризации. Модель дистиллирована из BAAI/bge-small-en-v1.5; в ней примерно 18,8 млн параметров, а контекст ограничен 512 токенами. Модель предназначена для создания векторного представления текста и поиска смыслово близких фрагментов. В README заявлено, что при примерно половине числа параметров all-MiniLM-L6-v2 она показывает сопоставимое качество; отдельные результаты оценки в карточке не приведены. Ориентирована на английский язык. Лицензия в предоставленных данных не указана.
Карточка модели OmarIDK/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой thenlper/gte-small, поэтому описание составлено по ней. gte-small — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Вариант small содержит около 40 млн параметров и принимает тексты длиной до 512 токенов; для более длинных текстов вход обрезается. Модель рассчитана на английский язык. Полученные эмбеддинги подходят для семантического поиска и сравнения предложений, а также могут использоваться в конвейерах поиска информации и ранжирования текстов. Модель можно применять, например, для поиска релевантных документов или оценки смыслового сходства запросов и фрагментов текста. Лицензия — MIT.
Карточка модели Ruthvikkk/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой thenlper/gte-small, поэтому описание составлено по ней. gte-small — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Вариант small содержит около 40 млн параметров и принимает тексты длиной до 512 токенов; для более длинных текстов вход обрезается. Модель рассчитана на английский язык. Полученные эмбеддинги подходят для семантического поиска и сравнения предложений, а также могут использоваться в конвейерах поиска информации и ранжирования текстов. Модель можно применять, например, для поиска релевантных документов или оценки смыслового сходства запросов и фрагментов текста. Лицензия — MIT.
jfarray/Model_paraphrase-multilingual-mpnet-base-v2_30_Epochs — модель sentence-transformers, дообученная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения смысловой близости и кластеризации текстов. Модель основана на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает текстовые последовательности с контекстом до 514 токенов. Карточка указывает на мультиязычную основу paraphrase-multilingual-mpnet-base-v2; метаданные не перечисляют конкретные поддерживаемые языки. В README описано обучение с CosineSimilarityLoss. Для использования доступны PyTorch и интеграция с Sentence-Transformers или Transformers с подходящей операцией pooling. Векторы подходят для поиска и сравнения смысловой близости; карточка не приводит результатов оценки качества. Лицензия в предоставленных данных не указана.
schaitanya/modernbert-embed-base-transcript-documents-v1 — англоязычная модель Sentence Transformers, дообученная на парах запросов и релевантных документов, включая транскрипты. Она кодирует предложения и абзацы в нормализованные плотные векторы размерностью 768 для семантического поиска, сравнения текстов и извлечения релевантных документов; сходство оценивается косинусной мерой. В основе лежит ModernBERT с архитектурой среднего пулинга токенов и контекстом до 8192 токенов по метаданным; карточка модели указывает максимальную длину последовательности 1024 токена. Модель содержит 149 млн параметров и распространяется в формате safetensors. Модель подходит для поиска по транскриптам и документам, сопоставления коротких запросов с длинными текстами, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В обучающей выборке — 6116 пар «запрос — положительный документ»; приведённые в карточке метрики поиска показывают cosine_accuracy@1 0,5191, @3 0,7441 и @5 0,8. Поддерживается английский язык. Лицензия — Apache-2.0.
hotchpotch/ModernBERT-embedding-CMNBRL — англоязычная модель Sentence Transformers, дообученная разработчиком на базе answerdotai/ModernBERT-base для получения плотных эмбеддингов предложений и абзацев. Она кодирует текст в векторы размерностью 768 и использует среднее pooling по токенам; сходство векторов можно оценивать по косинусной мере. Модель предназначена для семантического поиска, оценки сходства текстов, поиска перефразирований, кластеризации и классификации текста. Модель имеет архитектуру ModernBERT encoder и около 149 млн параметров. README указывает максимальную длину последовательности 512 токенов, тогда как метаданные сообщают нативный контекст в 8192 токена; на практике следует учитывать ограничение конфигурации Sentence Transformers. Для обучения использовались MS MARCO, Natural Questions, GooAQ, CCNews и HotpotQA. В README приведены результаты оценки на наборах NanoBEIR и отдельных задачах поиска. Модель принимает текст и возвращает векторы, поэтому для поиска по большим коллекциям обычно требуется отдельный индекс эмбеддингов. Она ориентирована на английский язык, а её качество на других языках не подтверждено приведёнными данными. Лицензия — Apache-2.0.
Xavarary/mpnet-base-all-medium-triplet — англоязычная модель Sentence Transformers, дообученная разработчиком на базе sentence-transformers/all-distilroberta-v1 на датасете all-nli. Архитектура включает энкодер RoBERTa, усреднение токенных представлений и нормализацию; модель содержит 95,2 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768. Максимальная длина входа — 514 токенов по метаданным; в карточке указано ограничение в 512 токенов. Модель предназначена для семантического сравнения текстов, поиска, поиска перефразировок, кластеризации и извлечения признаков для классификации. Её можно использовать для построения векторного поиска и оценки близости английских фраз. Обучение на парах и тройках all-nli и нормализованные эмбеддинги поддерживают сравнение векторных представлений. Модель распространяется по лицензии Apache-2.0. Карточка приводит результаты TripletEvaluator на all-nli-dev, однако значения cosine_accuracy заметно ниже dot_accuracy, поэтому способ сравнения векторов следует выбирать по результатам собственной проверки; опубликованные показатели ограничены указанным датасетом.
jamescalam/mpnet-nli-sts — модель на базе MPNet, разработанная James Calam для получения эмбеддингов предложений и абзацев. Она отображает текст в плотное векторное пространство размерности 768 и подходит для семантического поиска, сравнения сходства и кластеризации текстов. Модель дообучена на наборе STSb, используя jamescalam/mpnet-snli-negatives как исходную модель; в карточке сообщается о корреляции Пирсона около 0,9 по косинусному сходству на тестовой части STSb. Модель содержит 136,7 млн параметров, принимает английский текст, а её контекст ограничен 514 токенами. Распространяется в формате PyTorch по лицензии MIT.
Это компактная многоязычная модель эмбеддингов multilingual-e5-small в формате GGUF F16, преобразованная из весов intfloat/multilingual-e5-small для работы с llama.cpp и llama-server. В основе — энкодер XLM-RoBERTa семейства BERT; модель создаёт векторы размерности 384 и поддерживает контекст до 512 токенов. Для индексируемых документов и поисковых запросов требуются префиксы «passage: » и «query: » соответственно; README рекомендует mean pooling и L2-нормализацию, после которой можно сравнивать векторы по cosine similarity. Модель предназначена для семантического поиска, сравнения предложений и многоязычного подбора текстов, включая поиск по документам на разных языках. В README приведено сравнение F16-эмбеддингов с результатами sentence-transformers на небольшом многоязычном наборе: близость по cosine similarity составила не менее 0,9976, а средний top-1 результат сохранился. Это наблюдение относится только к указанной выборке; токенизация SentencePiece может давать небольшие отличия. Лицензия — MIT, унаследованная от базовой модели.
Это дообученная модель Sentence Transformer на базе intfloat/multilingual-e5-small, разработанная автором репозитория srikarvar. Она преобразует предложения и абзацы в плотные текстовые векторы размерности 384 для сравнения семантической близости, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура включает BERT-трансформер, усреднение токеновых представлений и нормализацию; сходство векторов оценивается косинусной мерой. Максимальная длина последовательности — 512 токенов. Модель предназначена для многоязычных сценариев работы с текстами. В README приведены результаты бинарной классификации пар предложений: точность 0,93 и F1 0,9238 на указанных наборах pair-class-dev и pair-class-test. Веса опубликованы в формате safetensors; лицензия в доступных данных не приведена.
Карточка модели lewtun/my-awesome-setfit-model-2 на Hugging Face совпадает с карточкой lewtun/my-awesome-setfit-model, поэтому описание составлено по ней. lewtun/my-awesome-setfit-model — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения смысловой близости текстов. Модель подходит для семантического поиска и кластеризации текстов, а также для получения эмбеддингов, используемых в других системах. В README указано обучение с функцией потерь CosineSimilarityLoss. Для применения описана работа через Sentence-Transformers или Transformers с подходящей операцией pooling. Максимальная длина контекста — 514 токенов. Модель принимает текст и выдаёт векторы. В карточке нет сведений о лицензии или целевых языках, поэтому определить условия использования и языковую специализацию по доступным данным нельзя.