II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейКарточка модели luganoquants/Hermes-4.3-36B на Hugging Face совпадает с карточкой NousResearch/Hermes-4.3-36B, поэтому описание составлено по ней. Hermes 4.3 36B — языковая модель для диалогов и следования инструкциям, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Это плотная архитектура Seed OSS с 31,7 млрд параметров и контекстом до 524 288 токенов; модель распространяется в формате safetensors и рассчитана прежде всего на английский язык. Модель предназначена для рассуждений и ответов общего назначения, включая задачи по математике, программированию, STEM, логике и творческому письму. Она поддерживает гибридный режим рассуждений, вызов инструментов, а также формирование структурированных ответов и JSON по заданной схеме. Для диалогов используется шаблон чата Hermes на основе формата Llama 3. По описанию разработчика, при дообучении использовался корпус примерно из 5 млн примеров и 60 млрд токенов, с акцентом на проверяемые цепочки рассуждений и точное соблюдение формата. Модель выпущена под лицензией Apache-2.0. Для запуска на сервере с несколькими GPU разработчик рекомендует движки инференса вроде SGLang или vLLM; качество и скорость зависят от настроек и аппаратного обеспечения.
Hy4 preview — крупная языковая модель нового поколения, разработанная командой Tencent Hy. Это текстовая генеративная модель с архитектурой Mixture-of-Experts (MoE), предназначенная для решения сложных задач программной инженерии, анализа документов и данных, подготовки документов, таблиц и презентаций, разработки игр, научных исследований и многошаговых рабочих процессов. Модель содержит 770 млрд параметров, из которых 49 млрд активируются для каждого токена. Архитектура включает 78 слоёв, 256 маршрутизируемых экспертов и одного общего эксперта; для каждого токена выбираются 8 маршрутизируемых экспертов. Используются Gated DeepSeek Sparse Attention, механизм повторного использования разреженных индексов IndexCache и четыре residual-потока iHC. Контекстное окно составляет 1 млн токенов, размер словаря — 120 832 токена. В модель также встроен слой MTP для speculative decoding. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны Hy4 preview — высокая вычислительная ёмкость, большой контекст и специализация на длительных задачах, включая разработку ПО, анализ разрозненной информации, создание игровых прототипов и научное рассуждение. Ограничения связаны со статусом ранней preview-версии: авторы отмечают наличие нерешённых проблем, включая склонность тратить больше времени, чем необходимо, на сложные задачи и чрезмерно перепроверять результаты. Модель распространяется по лицензии Apache 2.0.
jina-embeddings-v3 — мультиязычная многозадачная модель текстовых эмбеддингов, разработанная Jina AI на основе архитектуры Jina-XLM-RoBERTa. Она преобразует текст в векторы для поиска, сопоставления и анализа сходства. Модель содержит пять LoRA-адаптеров для разных типов задач и поддерживает входные последовательности длиной до 8192 токенов благодаря Rotary Position Embeddings. Размер эмбеддинга можно выбирать из вариантов от 32 до 1024 измерений. Модель предназначена для векторизации запросов и документов в поисковых системах, кластеризации, классификации и оценки сходства текстов. Для асимметричного поиска предусмотрены отдельные режимы для запросов и документов; другие режимы ориентированы на разделение текстов, классификацию и сопоставление. Настройка модели охватывает 30 языков, включая русский, а базовая модель поддерживает 100 языков. Для получения векторов на уровне предложения или абзаца при прямой интеграции требуется усреднение представлений токенов. Модель доступна в форматах PyTorch, Safetensors и ONNX; для использования через Transformers указана библиотека Transformers. Лицензия CC-BY-NC-4.0 ограничивает коммерческое применение. В README также отмечено, что исправлена ошибка предыдущей версии кода, при которой усечение Matryoshka-векторов после нормализации давало ненормализованные векторы.
jina-embeddings-v5-text-small — мультиязычная плотная модель эмбеддингов пятого поколения от Jina AI, предназначенная для преобразования текста в векторы. Она дообучена на базе Qwen/Qwen3-0.6B-Base с дистилляцией эмбеддингов Qwen3-Embedding-4B и контрастивным обучением для отдельных задач. В README указано 677 млн параметров, а в метаданных — 507,9 млн; максимальная длина последовательности составляет 32 768 токенов. Модель подходит для семантического поиска и извлечения документов, сопоставления текстов, кластеризации и классификации. По карточке она поддерживает более 119 языков, а в бенчмарках показывает 71,7 на MTEB English v2 и 67,7 на MMTEB. Эмбеддинги рассчитаны на устойчивую работу при усечении текста и бинарном квантовании. Для ускорения инференса рекомендуется flash-attention, но она не обязательна; доступно использование через Transformers, Sentence Transformers и Elastic Inference Service. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
jina-embeddings-v5-text-small-text-matching — компактная модель векторных представлений текста от Jina AI, предназначенная для сопоставления текстов и оценки их семантической близости. Модель является квантизированной версией jinaai/jina-embeddings-v5-text-small и обучалась с использованием дистилляции и специализированных контрастивных функций потерь. Модель содержит 677 млн параметров, поддерживает многоязычные тексты и обрабатывает последовательности длиной до 32 768 токенов. Она формирует эмбеддинги размерностью 1024 с использованием pooling по последнему токену. Поддерживаются уменьшенные Matryoshka-размерности: 32, 64, 128, 256, 512 и 768, что позволяет выбирать компромисс между качеством и затратами на хранение и поиск. Модель подходит для семантического поиска, дедупликации, кластеризации, ранжирования и других задач сопоставления текстов. К сильным сторонам относятся компактность, высокая производительность для своего размера, многоязычность, длинный контекст и возможность гибко сокращать размер эмбеддинга. Ограничение модели — специализация на text-matching: README не заявляет её оптимизацию для генерации текста или иных задач. Для использования требуется совместимое программное окружение, включая transformers, PyTorch и, в зависимости от способа запуска, vLLM, sentence-transformers или Text Embeddings Inference. Лицензия — CC BY-NC 4.0, допускающая использование с ограничениями, включая некоммерческий характер применения.
unsloth/Llama-3.1-Nemotron-Nano-8B-v1-GGUF — GGUF-версия модели Llama-3.1-Nemotron-Nano-8B-v1, разработанной NVIDIA и подготовленной Unsloth. Это языковая reasoning-модель на базе Meta Llama 3.1 8B Instruct, предназначенная для диалогов, следования инструкциям, генерации кода, математических и логических задач, RAG-систем, tool calling и AI-агентов. Модель рассчитана прежде всего на английский язык и языки программирования, также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель представляет собой плотный decoder-only Transformer с архитектурой Llama 3.1 и примерно 8 млрд параметров. Она поддерживает текстовый ввод и вывод, контекст до 131 072 токенов, а также режимы с рассуждением и без него, переключаемые системным промптом. Постобучение включало supervised fine-tuning для математики, кода, рассуждений и tool calling, а также этапы reinforcement learning и оптимизации предпочтений. GGUF-формат и заявленная эффективность позволяют использовать модель локально, в том числе на одной RTX GPU; рекомендуемые аппаратные платформы исходной модели — NVIDIA Hopper и Ampere. Сильными сторонами являются сочетание качества рассуждений, чат-возможностей и вычислительной эффективности, а также поддержка длинного контекста и агентских сценариев. Ограничения включают преимущественную ориентацию на английский язык и языки программирования, зависимость поведения от корректной настройки режима рассуждения и устаревание части знаний: дата среза предобучающих данных Meta Llama 3.1 указана как 2023 год. Использование регулируется NVIDIA Open Model License; дополнительно указано соглашение Meta Llama 3.1 Community License Agreement. Модель заявлена как пригодная для коммерческого использования.
MiniMax-M1-80k-hf — открытая модель весов от MiniMax для генерации текста и пошагового рассуждения. Это вариант MiniMax-M1 с бюджетом рассуждения до 80K токенов; репозиторий предназначен прежде всего для Transformers. Архитектура сочетает Mixture-of-Experts и гибридное внимание с механизмом lightning attention. В карточке указано 21,6 млрд параметров, а заявленный нативный контекст составляет 10 240 000 токенов; README описывает семейство M1 как модель с контекстом до 1 млн токенов и обучением с подкреплением на математических задачах, программировании и задачах с инструментами. Модель рассчитана на сложные задачи с длинными входами и развёрнутым рассуждением: решение математических задач, программную инженерию, генерацию и анализ кода, ответы на вопросы по большому контексту и сценарии с вызовом функций. README отмечает результаты на бенчмарках математики, кодирования, агентного использования инструментов и длинного контекста. Модель принимает текст и генерирует текст; интерфейс вызова инструментов поддерживается в структурированном формате. Лицензия — Apache-2.0. Веса в репозитории представлены в формате safetensors. Указанное в метаданных значение контекста расходится с описанием семейства в README, поэтому фактический предел может зависеть от конкретной конфигурации и программного окружения. Заявленные оценки получены на отдельных бенчмарках и не гарантируют качество на произвольных задачах.
Карточка модели vectoriseai/multilingual-e5-large на Hugging Face совпадает с карточкой goldenrooster/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — мультиязычная модель текстовых эмбеддингов, основанная на XLM-RoBERTa-large и обученная контрастивным методом на смеси мультиязычных данных. В карточке перечислены авторы Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder и Furu Wei. Модель имеет 24 слоя, размер эмбеддинга 1024 и около 658,7 млн параметров. Она предназначена для поиска по текстам, семантического сходства, поиска парафраз и межъязыкового сопоставления текстов, а также для получения признаков для классификации и кластеризации. Для поиска нужно добавлять к запросу префикс «query:», а к документу — «passage:»; для симметричных задач и получения признаков используется префикс «query:». Поддерживается 100 языков семейства XLM-RoBERTa, включая русский, однако качество может снижаться на языках с малым объёмом обучающих данных. Модель принимает текст и выдаёт векторные представления. Контекст ограничен 512 токенами: более длинные тексты обрезаются. Лицензия — MIT.
Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.
paraphrase-MiniLM-L12-v2 — модель sentence-transformers, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска семантически близких текстов, кластеризации и сравнения сходства. Модель основана на архитектуре BERT и содержит около 40 млн параметров; максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, группировки похожих текстов и поиска парафразов. Она принимает текст и выдаёт векторные представления, которые можно сравнивать по близости. Доступны варианты форматов PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO; для работы используются библиотека sentence-transformers или Transformers с подходящей операцией pooling. Модель опубликована под лицензией Apache-2.0. README не приводит отдельной оценки качества или специальных ограничений; при использовании для семантического поиска точность зависит от данных и выбранного способа сравнения векторов.
Craig/paraphrase-MiniLM-L6-v2 — копия модели sentence-transformers/paraphrase-MiniLM-L6-v2, обученной командой Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель основана на BERT, содержит 25,9 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Метаданные feature-extraction позволяют получать векторные представления через Transformers; для корректной обработки выходов без Sentence-Transformers требуется подходящий pooling. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
paraphrase-MiniLM-L6-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она кодирует предложения и абзацы в плотные векторы размерностью 384 для поиска по смыслу, сравнения текстов и кластеризации. Архитектура основана на BERT; модель содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Доступны реализации в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель подходит для семантического поиска и сопоставления текстов по смыслу, в том числе как компонент поисковых и кластеризационных систем. Лицензия Apache-2.0 разрешает свободное использование на её условиях. В карточке не заявлены языки обучения или гарантии качества для конкретных языков; качество может зависеть от языка и предметной области.
DataikuNLP/paraphrase-multilingual-MiniLM-L12-v2 — копия модели Sentence-Transformers, обученной командой sentence-transformers. Это плотная модель на архитектуре BERT с 124,3 млн параметров: она преобразует предложения и абзацы в векторы размерностью 384 для сравнения смысловой близости. Модель подходит для семантического поиска и кластеризации текстов, а также для других задач, опирающихся на эмбеддинги предложений. Модель принимает текст и выдаёт векторные представления. Она рассчитана на работу с несколькими языками; идентификаторы языков в метаданных отсутствуют. Максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Копия перенесена из репозитория sentence-transformers с конкретного коммита.
Карточка модели fanie123/Qwen2.5-Coder-14B на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-14B, поэтому описание составлено по ней. Qwen2.5-Coder-14B — плотная причинная языковая модель для кода, разработанная командой Qwen. Это базовый чекпойнт серии Qwen2.5-Coder на 14,7 млрд параметров (13,1 млрд без эмбеддингов), полученный дообучением Qwen2.5-14B на данных с исходным кодом, текстово-кодовым соответствием и синтетическими примерами. Архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV; модель содержит 48 слоёв и поддерживает генерацию текста через Transformers. Модель предназначена для генерации, анализа и исправления кода, а также для задач с заполнением пропусков в коде и создания кодовых агентов. Она сохраняет способности к математике и общим языковым задачам. Контекст конфигурации составляет 32 768 токенов; с YaRN модель можно настроить на обработку контекста до 131 072 токенов. Разработчики не рекомендуют использовать базовую версию для диалогов без дополнительного постобучения. Для длинных запросов масштабирование YaRN может повлиять на качество обработки коротких текстов. Лицензия — Apache-2.0.
Карточка модели xieloser/Qwen2.5-Coder-14B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-14B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-14B-Instruct — инструкция-ориентированная языковая модель для программирования от команды Qwen. Это плотная причинная Transformer-модель семейства Qwen2 с 14 млрд параметров по метаданным; карточка указывает архитектурные компоненты RoPE, SwiGLU и RMSNorm, 48 слоёв и grouped-query attention. Модель дообучена на базе Qwen/Qwen2.5-Coder-14B и предназначена для генерации и анализа кода в диалоговом формате. Модель помогает создавать код, рассуждать о нём и исправлять ошибки, а также подходит для разработки кодовых агентов и сохраняет общие способности, включая математику. Карточка описывает контекст до 131 072 токенов с применением YaRN для обработки входов длиннее 32 768 токенов; метаданные указывают нативный контекст 32 768 токенов. Для загрузки рекомендуется актуальная версия Transformers, для развёртывания — vLLM. Лицензия Apache 2.0. Среди ограничений: при включении статического YaRN масштабирования в vLLM производительность на коротких текстах может снизиться. Подробные результаты оценки и требования к памяти в предоставленной карточке не приведены.
QuantFactory/Qwen2.5-Coder-7B-GGUF — квантизированная версия языковой модели Qwen2.5-Coder-7B, созданная QuantFactory с использованием llama.cpp на базе Qwen/Qwen2.5-7B. Модель предназначена для генерации, анализа и исправления программного кода, задач code reasoning, заполнения кода и построения приложений, включая code agents. Она также сохраняет возможности для математики и общих текстовых задач, однако базовая, не дообученная версия не рекомендуется для диалогового использования. Это каузальная языковая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещений QKV в механизме внимания. Модель содержит 7,61 млрд параметров, из них 6,53 млрд — без учёта embedding-слоя, имеет 28 слоёв и групповое разделение запросов и ключей/значений: 28 голов Q и 4 головы KV. Заявлена поддержка контекста до 131 072 токенов; для входов свыше 32 768 токенов требуется настройка YaRN, при этом статическое масштабирование может снижать качество на коротких текстах. В README указан английский язык и текстовая модальность. К сильным сторонам относятся специализация на программировании, улучшения генерации, рассуждения и исправления кода, а также возможность работы с длинным контекстом. Ограничения включают необходимость корректной настройки YaRN для очень длинных входов, потенциальное влияние этой настройки на короткие тексты и отсутствие рекомендаций использовать базовую модель для обычных разговоров. Модель распространяется по лицензии Apache-2.0.
Карточка модели Rasputin312/qwen3-8B-finetune на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.
Viper-Coder-v1.7-Vsm6 — дообученная PrithivMLmods языковая модель семейства Qwen2 с 14 млрд параметров для генерации кода и решения технических задач. Она предназначена для разработчиков и учащихся: помогает писать, рефакторить и отлаживать программы, решать математические и алгоритмические задачи, объяснять технические концепции и формировать структурированные данные. Модель работает с текстом и поддерживает диалоговый режим. В README заявлена поддержка контекста до 128 тысяч токенов и генерации до 8 тысяч токенов, тогда как метаданные указывают native context в 1 010 000 токенов. Эти сведения расходятся, поэтому фактическую длину контекста следует проверять для используемой конфигурации. Карточка описывает оптимизацию использования памяти и сокращение лишнего текста; языком модели в метаданных указан английский. Лицензия — Apache-2.0. Модель может ошибаться в коде и объяснениях, чувствительна к формулировке запроса и не располагает актуальной информацией о событиях после обучающих данных. Для работы с большим числом параметров и длинным контекстом нужны значительные вычислительные ресурсы; качество на творческих и нетехнических запросах может быть непостоянным.
Карточка модели falloutxvats/Aero-Qwen2.5-Coder-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.
Карточка модели akio9899/all-MiniLM-L12-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L12-v2, поэтому описание составлено по ней. all-MiniLM-L12-v2 — модель Sentence Transformers, разработанная в рамках проекта Hugging Face по обучению моделей эмбеддингов предложений на больших наборах парных данных. Это дообученная версия microsoft/MiniLM-L12-H384-uncased: компактная BERT-архитектура примерно с 40 млн параметров, которая кодирует предложения и короткие абзацы в плотные векторы размерности 384. Модель предназначена для поиска по смыслу, оценки сходства предложений и кластеризации текстов. Её можно применять для получения векторных представлений документов и запросов; для текстов длиннее 256 WordPiece-токенов вход усекается. Данные обучения охватывают широкий спектр текстовых пар, но карточка описывает модель как англоязычную. Доступны веса и конвертированные варианты в форматах PyTorch, Safetensors, ONNX и OpenVINO. Лицензия — Apache-2.0. Это текстовый энкодер: он выдаёт эмбеддинги, а не готовые ответы или сгенерированный текст.
all-mpnet-base-v2 — модель эмбеддингов предложений семейства MPNet, разработанная командой Sentence Transformers в рамках проекта Hugging Face Community Week. Она дообучена на базе microsoft/mpnet-base с контрастивной целью на более чем миллиарде пар предложений. Модель кодирует предложения и короткие абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель принимает текст и выдаёт векторное представление. Входы длиннее 512 токенов WordPiece обрезаются; при использовании через Transformers требуется применить подходящий pooling к контекстным представлениям. В карточке указана лицензия Apache-2.0.
all-mpnet-base-v2 — модель Sentence-Transformers, основанная на архитектуре MPNet; разработана в рамках проекта Hugging Face Community Week. Это дообученная версия microsoft/mpnet-base с 136,7 млн параметров, обученная контрастивным методом на более чем миллиарде пар предложений. Модель преобразует предложения и короткие абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель принимает текст и выдаёт эмбеддинги. Подходит для поиска документов по смыслу, группировки похожих текстов и оценки семантической близости предложений. Контекст составляет до 514 токенов по метаданным; README указывает, что входы длиннее 384 word pieces обрезаются. Основной язык карточки — английский. Распространяется по лицензии Apache-2.0.
b1ade-embed-kd — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем w601sxs. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для семантического поиска, кластеризации и оценки сходства текстов. Модель обучена дистилляцией с использованием MSELoss; в README отмечено согласие результатов с моделью-учителем на задаче семантического сходства. Модель доступна в формате safetensors и интегрируется с библиотекой Sentence-Transformers. Контекст ограничен 512 токенами. Лицензия в предоставленных данных не указана.
khoa-klaytn/bge-base-en-v1.5-angle — текстовая модель эмбеддингов на основе BERT из семейства BGE, созданного BAAI; этот репозиторий распространяет англоязычную версию base-размера. Модель преобразует текст в плотные векторы для семантического поиска, извлечения документов, сравнения предложений, классификации и кластеризации, в том числе для поиска контекста в системах с векторными базами данных и RAG. Модель содержит 136,7 млн параметров, принимает текстовые входы длиной до 512 токенов и выдаёт эмбеддинги. Версия BGE v1.5 улучшает работу при поиске без инструкций к запросам; для коротких запросов, используемых для поиска длинных документов, инструкция может улучшить результат. Оценки сходства следует трактовать относительно друг друга: абсолютный порог нужно подбирать на собственных данных. Лицензия — MIT.
altaidevorg/bge-m3-distill-8l — модель эмбеддингов на основе Sentence Transformers, созданная командой Altaidevorg дистилляцией BAAI/bge-m3. В ней 8 слоёв XLM-RoBERTa и около 390 млн параметров; она принимает текст и выдаёт нормализованные векторы размерностью 1024 для сравнения по косинусному сходству. Максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска, оценки сходства предложений и формирования векторных представлений для RAG. По данным авторов, дистилляция сохранила качество на тестах сходства и дала примерно 2,5-кратный прирост пропускной способности относительно исходной BAAI/bge-m3 на GPU T4. Обучение включало преимущественно турецкие тексты; авторы также сообщают о сохранении качества на английском. Лицензия в предоставленных данных не указана.
Ductratra/BGE_M3_v2 — модель Sentence Transformer на архитектуре XLM-RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; сходство между текстами можно оценивать косинусной мерой. Модель рассчитана на последовательности длиной до 8192 токенов. Её можно применять для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В репозитории указаны веса safetensors и библиотека sentence-transformers. Лицензия и конкретные обучающие данные в предоставленных сведениях не описаны.
barisaydin/bge-small-en — англоязычная модель эмбеддингов семейства BGE, основанная на архитектуре BERT и содержащая около 40 млн параметров. Она преобразует текст в плотные векторы для поиска, сравнения и других задач, где нужно оценивать смысловую близость текстов. Модель принимает текст и выдаёт векторные представления; максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска документов по запросу, кластеризации и классификации текста, а также для использования в векторных базах данных и RAG-системах. В задачах поиска README рекомендует добавлять к короткому запросу инструкцию «Represent this sentence for searching relevant passages:», но не добавлять её к документам. README рекомендует перейти на BAAI/bge-small-en-v1.5: в исходной версии распределение сходства менее удобно, поэтому абсолютный порог косинусного сходства не следует трактовать как универсальный критерий. Для фильтрации похожих текстов порог нужно подбирать на своих данных. Лицензия модели — MIT.
BidirLM-1.7B-Embedding — многоязычная модель для получения текстовых эмбеддингов, разработанная авторами семейства BidirLM. Это плотный двунаправленный энкодер BidirLMModel на 1,7 млрд параметров, дообученный на основе BidirLM/BidirLM-1.7B-Base контрастивным обучением. Модель использует mean pooling, поддерживает контекст до 32 768 токенов и предназначена для семантического поиска и других задач сопоставления текстов. Модель подходит для поиска и извлечения документов, оценки семантического сходства, кластеризации, классификации текстов, парной классификации, переранжирования и поиска параллельных текстов. Также её можно дообучать для классификации последовательностей и токенов, включая NER и POS-разметку. В карточке заявлена поддержка более 119 языков; метаданные подтверждают многоязычность и перечисляют языковые коды, включая английский, арабский, китайский и хинди. В карточке отмечены результаты на бенчмарках MTEB и LongEmbed, а также возможность применять одну модель и для эмбеддингов, и для последующего дообучения под прикладные задачи. Для загрузки требуется trust_remote_code=True и совместимые версии Transformers и Sentence Transformers. Модель распространяется по лицензии Apache-2.0.
calme-2.2-qwen2.5-72b — плотная языковая модель MaziyarPanahi, дообученная на основе Qwen2.5-72B-Instruct. Она предназначена для диалогов и генерации текста: ответов на вопросы, работы виртуальных помощников, создания и суммаризации текстов, генерации и анализа кода, а также решения сложных задач. Модель содержит 71,5 млрд параметров, использует архитектуру Qwen2ForCausalLM и формат весов safetensors; для общения применяется шаблон ChatML. Контекст составляет до 32 768 токенов. В метаданных указан английский язык; README описывает широкие языковые сценарии, но не подтверждает поддержку конкретных дополнительных языков. README приводит результаты Open LLM Leaderboard, в том числе 84,77 по IFEval и 61,80 по BBH; оценки относятся к указанным настройкам тестирования и не гарантируют качество в конкретном применении. Известные ограничения — возможные предвзятость и ошибки, поэтому при внедрении важны проверка ответов и человеческий контроль. Лицензия обозначена как other, без уточнения конкретных условий в предоставленных данных.
calme-2.3-llama3.1-70b — языковая модель MaziyarPanahi, дообученная на базе Meta Llama 3.1 70B Instruct с использованием датасета truthy-dpo-v0.1-axolotl. Это плотная авторегрессионная архитектура LlamaForCausalLM на 69,5 млрд параметров; модель предназначена для генерации текста в формате чата ChatML и поддерживает контекст до 131 072 токенов. Модель подходит для ответов на вопросы, чат-ботов и виртуальных помощников, создания и суммаризации текстов, генерации и анализа кода, а также решения сложных задач и поддержки принятия решений. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но они не гарантируют качество в конкретном приложении. Возможны смещения и ошибки; при использовании следует предусмотреть проверки человеком. Доступна в формате safetensors через Transformers. Лицензия в предоставленных данных не указана.