/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
16 801–16 830 из 23 488
avsolatorio
30-000-11-1-2-2-0-0-mean-normed-384-512_GIST_st_all-MiniLM-L6-v2-20240218195818-best

Карточка модели avsolatorio/30-000-11-1-2-2-0-0-mean-normed-384-512_GIST_st_all-MiniLM-L6-v2-20240218195818-best на Hugging Face совпадает с карточкой yosuaw/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers на базе MiniLM, разработанная в рамках проекта Hugging Face Community Week. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384, отражающие семантическое содержание. Модель обучена контрастивным дообучением предварительно обученной nreimers/MiniLM-L6-H384-uncased на наборе более чем из миллиарда пар предложений. Модель предназначена для семантического поиска, извлечения информации, сравнения сходства предложений и кластеризации текстов. Архитектура — BERT-подобный MiniLM с 25,9 млн параметров; максимальная длина контекста — 512 токенов, а по умолчанию входы длиннее 256 WordPiece-токенов обрезаются. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0.

1120февр. 2024ctx512
textembeddingapache-2.0hugging-face
sheldonrobinson
all-MiniLM-L6-v2

Карточка модели sheldonrobinson/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой yosuaw/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers на базе MiniLM, разработанная в рамках проекта Hugging Face Community Week. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384, отражающие семантическое содержание. Модель обучена контрастивным дообучением предварительно обученной nreimers/MiniLM-L6-H384-uncased на наборе более чем из миллиарда пар предложений. Модель предназначена для семантического поиска, извлечения информации, сравнения сходства предложений и кластеризации текстов. Архитектура — BERT-подобный MiniLM с 25,9 млн параметров; максимальная длина контекста — 512 токенов, а по умолчанию входы длиннее 256 WordPiece-токенов обрезаются. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0.

1230нояб. 2024ctx512
textembeddingapache-2.0hugging-face
tomaarsen
all-MiniLM-L6-v2-backends

Карточка модели tomaarsen/all-MiniLM-L6-v2-backends на Hugging Face совпадает с карточкой yosuaw/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers на базе MiniLM, разработанная в рамках проекта Hugging Face Community Week. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384, отражающие семантическое содержание. Модель обучена контрастивным дообучением предварительно обученной nreimers/MiniLM-L6-H384-uncased на наборе более чем из миллиарда пар предложений. Модель предназначена для семантического поиска, извлечения информации, сравнения сходства предложений и кластеризации текстов. Архитектура — BERT-подобный MiniLM с 25,9 млн параметров; максимальная длина контекста — 512 токенов, а по умолчанию входы длиннее 256 WordPiece-токенов обрезаются. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0.

1150окт. 2024ctx512
textembeddingapache-2.0hugging-face
skt
A.X-K1

A.X K1 — большая языковая модель SKT, обученная с нуля без инициализации от существующей предварительно обученной модели. Это декодерный Transformer с разреженной архитектурой Mixture-of-Experts: в README указано 519 млрд параметров всего, из которых активны 33 млрд на токен; метаданные Hugging Face сообщают 37,9 млрд параметров. Архитектура включает 192 эксперта и один общий эксперт, механизм Multi-Latent Attention и контекст длиной 131 072 токена. Модель предназначена для диалоговой генерации текста, следования инструкциям и рассуждений. Режим Think позволяет получать развёрнутые ответы с промежуточными шагами, а Non-Think — более краткие ответы с меньшей задержкой. Токенизатор оптимизирован для английского, корейского, китайского, японского и испанского языков, а также исходного кода и структурированного текста. Метаданные карточки подтверждают английский и корейский; модель опубликована в формате safetensors и поддерживает чат. Модель подходит для задач, требующих высокой ёмкости и работы с длинным контекстом; разреженная архитектура рассчитана на более эффективное использование вычислений, чем плотная модель сопоставимой общей ёмкости. README предупреждает, что ответы могут быть неверными или вводящими в заблуждение, объяснения в режиме Think не следует считать достоверным отражением внутренних процессов модели, а качество может различаться по предметным областям и языкам. Лицензия — Apache-2.0.

8.2K295дек. 2025ctx131.1K
textapache-2.0hugging-face
MaziyarPanahi
calme-2.1-phi3.5-4b

calme-2.1-phi3.5-4b — дообученная Maziyar Panahi языковая модель на архитектуре Phi-3.5 для диалогов и генерации текста. Она предназначена для систем ответов на вопросы, чат-ботов и виртуальных помощников, а также для создания и суммаризации текстов, генерации и анализа кода и решения задач. Модель дообучена на microsoft/Phi-3.5-mini-instruct с использованием набора данных MaziyarPanahi/truthy-dpo-v0.1-axolotl; содержит 3,7 млрд параметров и поддерживает контекст до 4096 токенов. Для диалога применяется шаблон ChatML. Репозиторий содержит веса в формате Safetensors; отдельно упомянута квантованная версия GGUF. Карточка приводит результаты отдельных оценок IFEval и BBH, но не даёт полной таблицы бенчмарков. Модель может наследовать смещения и ограничения базовой языковой модели, поэтому для важных решений нужны проверка ответов и человеческий контроль. Лицензия — MIT.

694авг. 2024ctx131.1K
textmithugging-face
anthropic
claude-sonnet-4.6

Claude Sonnet 4.6 — модель семейства Sonnet, разработанная Anthropic. По карточке модели она предназначена для программирования, работы с агентами и профессиональных задач; заявлены сильные результаты в итеративной разработке, навигации по сложным кодовым базам и управлении проектами от начала до конца.

00февр. 2026ctx1Mprice$0.00 / $0.00/ 1M
textimageopenrouter
peculiar-ragdoll
Dagger-Qwen3.6-27B-GGUF-MTP

Dagger-Qwen3.6-27B-GGUF-MTP — модель от peculiar-ragdoll, основанная на ThinkingCap-Qwen3.6-27B от bottlecapai, который, в свою очередь, является вариантом Qwen3.6-27B. Это GGUF-сборка для запуска через llama.cpp и совместимые среды, ориентированная на рассуждения, агентное программирование, генерацию кода и длительные многошаговые диалоги. В карточке также заявлена поддержка сценариев image-text-to-text и тег vision, однако подробности мультимодальной реализации не указаны. Модель имеет плотную архитектуру размером 27B параметров, заявленный нативный контекст — 262 144 токена, поддерживаемые языки — английский и китайский. Отличительная особенность этой версии — сохранённая MTP-голова nextn для speculative decoding: при поддержке со стороны runtime она может ускорять генерацию без изменения точности. Для vLLM и SGLang заявлено ускорение примерно в 1,5–2 раза, тогда как в llama.cpp требуются свежая сборка и специальный режим; актуальные релизные версии могут не поддерживать MTP. Сильные стороны модели — компактные ответы без лишнего текста, высокая эффективность рассуждений, способность сохранять связность в длинных агентных сессиях и эффективное использование контекстного окна. Главные ограничения — высокие требования к оперативной памяти из-за плотной архитектуры и дорогого KV-кэша; полный контекст 262 144 токена требует около 31,1 ГБ при 8-битном KV-кэше или 38,6 ГБ при 16-битном. Реальное ускорение MTP зависит от среды запуска. Лицензия — Apache-2.0.

58222авг. 2026
textimageapache-2.0hugging-face
unsloth
DeepSeek-R1-Distill-Qwen-32B

Карточка модели unsloth/DeepSeek-R1-Distill-Qwen-32B на Hugging Face совпадает с карточкой unsloth/DeepSeek-R1-Distill-Qwen-7B, поэтому описание составлено по ней. Это версия DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на дистиллированной модели DeepSeek. В карточке указано, что веса представлены в формате safetensors, архитектура — плотная Qwen2, размер — 7,1 млрд параметров, библиотека для работы — Transformers, а лицензия — Apache-2.0. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями, в том числе для решения математических задач и задач программирования. Она обучена на примерах рассуждений, созданных DeepSeek-R1; в README для семейства дистиллированных моделей указан контекст до 128K токенов. Метаданные карточки также указывают контекст 131072 токена. Модель принимает текст и выдаёт текст. Карточка указывает английский язык; README не уточняет перечень поддерживаемых языков. Как и другие языковые модели, она может ошибаться в рассуждениях и ответах. Для использования применяется лицензия Apache-2.0.

24111янв. 2025ctx131.1K
textapache-2.0hugging-face
dphn
dolphin-2.6-mistral-7b-dpo-laser

Dolphin 2.6 Mistral 7B DPO LASER — разговорная языковая модель, созданная Eric Hartford и Fernando Fernandes на основе Mistral-7B. Это специальный выпуск Dolphin-DPO: авторы применили к весам метод LASER со снижением ранга отдельных слоёв и дополнительным шумоподавлением на основе SVD. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов по метаданным. Она принимает текст в формате ChatML и генерирует текст. Модель предназначена для диалогов, ответов на вопросы, помощи с кодом и выполнения инструкций. В обучении использовались наборы Dolphin, Airoboros, OpenHermes, Magicoder и Capybara. Карточка заявляет улучшение оценок относительно Dolphin 2.6 и 2.6-DPO и более устойчивые ответы, но пример вывода не приведён. Авторы характеризуют модель как uncensored и предупреждают о высокой готовности отвечать на любые запросы; перед использованием в сервисе рекомендуют добавить собственный слой выравнивания. Лицензия — Apache-2.0.

280121янв. 2024ctx32.8K
textapache-2.0hugging-face
bartowski
dolphin-2.9-llama3-8b-GGUF

bartowski/dolphin-2.9-llama3-8b-GGUF — это набор GGUF-квантизаций модели dolphin-2.9-llama3-8b, разработанной cognitivecomputations и подготовленной для локального запуска. Модель предназначена для генерации текста в диалоговых и инструкционных сценариях, включая ответы на вопросы, программирование, решение математических задач, function calling и агентские задачи. Обучение опиралось на наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие датасеты. Это текстовая модель на архитектуре Llama 3 с размером 8 млрд параметров. Репозиторий содержит версии от F16 до различных вариантов Q8, Q6, Q5, Q4, Q3 и IQ-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизации выполнены с использованием llama.cpp и метода imatrix; для взаимодействия указан шаблон промпта ChatML. Поддержка мультимодальности, конкретные языки и размер контекстного окна в README не указаны. Сильной стороной модели является широкий набор обучающих данных и наличие множества вариантов для локального инференса, включая версии, оптимизированные для ARM. Более сильные квантизации обеспечивают лучшее качество, но требуют больше памяти, тогда как Q3-версии экономичнее, но заметнее теряют в качестве. Для запуска рекомендуется использовать совместимый инференс-движок, например llama.cpp или LM Studio. Лицензия обозначена как other, однако её точные условия в README не приведены.

19K19май 2024
textotherhugging-face
intfloat
e5-large

E5-large — англоязычная модель текстовых эмбеддингов, разработанная авторами проекта E5 и обученная методом слабоконтролируемого контрастивного предобучения. Она построена на архитектуре BERT, содержит 24 слоя и 433,9 млн параметров; размер эмбеддинга — 1024. Модель принимает текст и выдаёт векторные представления для сравнения смысловой близости и поиска. Модель подходит для семантического поиска, извлечения фрагментов по запросу, оценки сходства предложений, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для асимметричного поиска рекомендуется добавлять к запросу префикс «query: », а к документу — «passage: »; для симметричных задач используется «query: » перед обоими текстами. Максимальная длина входа — 512 токенов. Модель работает только с английскими текстами. Тексты длиннее лимита обрезаются, а для более высокой точности авторы рекомендуют перейти на e5-large-v2. Лицензия — MIT.

138K83дек. 2022ctx512
textembeddingmithugging-face
idanylenko
e5-large-v2-ctx1024

idanylenko/e5-large-v2-ctx1024 — созданная автором на основе intfloat/e5-large-v2 англоязычная модель BERT для получения текстовых эмбеддингов и семантического поиска. Расширение контекста выполнено без дообучения параметров: изменены позиционные эмбеддинги методом нелинейной интерполяции, благодаря чему модель принимает последовательности длиной до 1024 токенов — вдвое больше базовой версии. Модель предназначена для поиска релевантных документов и фрагментов по длинным запросам или текстам, а также для семантического сравнения и кластеризации. В README приведены результаты оценки на четырёх задачах поиска LongEmbed; по указанной метрике NDCG@10 результаты превысили базовую e5-large-v2. Это англоязычная модель с 433,9 млн параметров, доступная в формате safetensors и совместимая с библиотекой sentence-transformers. Лицензия — MIT.

1001апр. 2025ctx1K
textembeddingmithugging-face
lmstudio-community
EXAONE-3.5-7.8B-Instruct-GGUF

EXAONE-3.5-7.8B-Instruct-GGUF — языковая модель для генерации текста и выполнения инструкций. Оригинальная модель разработана LGAI-EXAONE, а данная версия представляет собой GGUF-квантизацию, подготовленную bartowski на основе llama.cpp. Модель рассчитана на работу с английским и корейским языками. Модель имеет размер 7,8 млрд параметров и поддерживает контекст до 32 000 токенов. Она предназначена для диалоговых и прикладных сценариев, требующих следования инструкциям, решения математических задач и генерации или анализа программного кода. Формат GGUF делает её подходящей для локального запуска в совместимых инструментах, включая LM Studio и llama.cpp. К сильным сторонам относятся заявленные высокие результаты среди моделей с сопоставимой длиной контекста, хорошее следование инструкциям, математические и программные способности. Ограничения включают зависимость качества и скорости работы от выбранного уровня квантизации и оборудования, а также типичные для языковых моделей риски неточных, вредных или неподходящих ответов. Модель распространяется по лицензии EXAONE; README не содержит подробных условий лицензии, поэтому перед использованием следует ознакомиться с файлом LICENSE.

3.0K2дек. 2024
textotherhugging-face
ai-sage
Giga-Retrieval-instruct

Giga-Retrieval-instruct — русскоязычная модель эмбеддингов семейства GigaREmbed от ai-sage, созданная на базе прореженной decoder-only LLM GigaChat-3b. Она преобразует тексты в векторы размерностью 2048 с помощью pooling на основе latent attention и предназначена прежде всего для семантического поиска и извлечения релевантных фрагментов. Для retrieval рекомендуется добавлять краткую инструкцию перед запросом, но не перед документом; модель также можно настраивать инструкциями для разных задач эмбеддингов. Модель поддерживает русский и английский языки, однако разработчики рекомендуют использовать её прежде всего для русского. Вход ограничен 4096 токенами. Лицензия — MIT.

296май 2025
textembeddingmithugging-face
ibm-granite
granite-3.3-2b-base

Granite-3.3-2B-Base — базовая языковая модель, разработанная командой Granite компании IBM. Это плотный decoder-only трансформер с 2,5 млрд параметров и контекстом до 131 072 токенов. Архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Поддержка Fill-in-the-Middle позволяет генерировать фрагмент текста с учётом контекста до и после него, в том числе для автодополнения кода. Модель предназначена для генерации текста, суммаризации, классификации и извлечения информации, ответов на вопросы и работы с длинным контекстом. Она обучена на данных из веба, кода, академических источников, книг и математики, а также на многоязычных, инструкционных и синтетических длинноконтекстных данных. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель выпущена под лицензией Apache 2.0. Она не прошла safety-выравнивание, поэтому может генерировать проблемный контент; возможны предвзятость, недостоверные ответы и дословное воспроизведение обучающих данных.

3.5K23апр. 2025ctx131.1K
textapache-2.0hugging-face
NousResearch
Hermes-3-Llama-3.2-3B

Hermes 3 Llama 3.2 3B — это языковая модель Nous Research, дообученная на полной совокупности параметров базовой Meta Llama 3.2 3B. Она предназначена для диалогов общего назначения и следования инструкциям; карточка отмечает улучшения в многоходовом общении, рассуждении, ролевых сценариях, связности на длинном контексте, генерации кода, вызове функций и структурированном выводе. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель использует формат диалога ChatML и шаблон чата Transformers. Её можно применять для создания разговорных помощников, генерации кода и ответов в заданной JSON-схеме. Вызовы функций модель формирует как текст, который приложение должно разобрать и передать инструменту; сама по себе она не выполняет внешние вызовы. В метаданных указан английский язык. Лицензия — Llama 3 Community License (llama3).

5.2K186дек. 2024ctx131.1K
textllama3hugging-face
ModelCloud
Kimi-K2-Thinking-BF16

ModelCloud/Kimi-K2-Thinking-BF16 — версия Kimi K2 Thinking, подготовленная ModelCloud и обозначенная в карточке как BF16-модель, деквантизированная с помощью GPT-QModel. Это разговорная модель для генерации текста с архитектурой семейства Kimi K2; каталог указывает класс DeepseekV3ForCausalLM, 37,9 млрд параметров и контекст до 262 144 токенов. README описывает исходную Kimi K2 Thinking как MoE-модель с 1 трлн общих и 32 млрд активных параметров, обученную для пошаговых рассуждений и работы с инструментами. Модель предназначена для диалогов, сложных многошаговых задач, исследований в интернете, программирования и написания текстов с подключёнными инструментами. В карточке описана способность поддерживать длинные цепочки вызовов инструментов, однако это характеристика исходной модели, а независимое подтверждение для данного BF16-репозитория отсутствует. Указанное в README окно контекста составляет 256 тыс. токенов; метаданные каталога указывают 262 144 токена. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия NonCommercial-ModelCloud разрешает только некоммерческое использование; для коммерческого применения README требует разрешения @qubitium. Метаданные не подтверждают список поддерживаемых естественных языков.

972нояб. 2025ctx262.1K
textotherhugging-face
waris-gill
langcache-embed-v2

waris-gill/langcache-embed-v2 — модель Sentence Transformers, дообученная автором на триплетном наборе данных от базовой модели redis/langcache-embed-v1. Она использует архитектуру ModernBERT с 149 млн параметров и преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения текстов по косинусному сходству. Максимальная длина последовательности составляет 8192 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Её можно применять для поиска похожих запросов и семантического кэширования. Обучение описано как дообучение на триплетах; репозиторий использует Sentence Transformers и формат Safetensors. Язык лицензии в предоставленных данных не указан, поэтому условия использования по ним определить нельзя.

1170май 2025ctx8.2K
textembeddinghugging-face
Saxo
Linkbricks-Horizon-AI-Avengers-V1-32B

Saxo (Джи Юнсон), специалист по данным и руководитель Linkbricks Horizon-AI, дообучил эту плотную языковую модель на основе Qwen2.5-32B-Instruct. Модель содержит 32 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; для работы с ней используется библиотека Transformers. В обучении применялись этапы CPT, SFT, DPO и ORPO, а также данные из многоязычных новостных и wiki-корпусов и наборы для отдельных задач. Модель предназначена для диалога и генерации текста, в том числе для анализа отзывов и публикаций в социальных сетях, написания текстов и кода, математических и логических задач, а также вызова функций и инструментов. В README заявлена работа с корейским, английским, японским и китайским языками; датасеты также включают перевод и суммаризацию. Репозиторий содержит веса в формате safetensors. Лицензия Apache 2.0.

5310дек. 2024ctx32.8K
textapache-2.0hugging-face
QuantFactory
Llama3-8B-Instruct-Replete-Adapted-GGUF

QuantFactory/Llama3-8B-Instruct-Replete-Adapted-GGUF — квантизированная версия модели Replete-AI/Llama3-8B-Instruct-Replete-Adapted, созданная с использованием llama.cpp. В её основе лежит Meta-Llama-3-8B-Instruct с адаптером Replete-AI/Replete-Coder-Llama3-8B. Модель дообучена Rombodawg и распространяется в формате GGUF для запуска средствами, совместимыми с llama.cpp. Модель предназначена прежде всего для генерации и анализа кода, перевода между языками программирования, задач, связанных с безопасностью и поиском уязвимостей, математических рассуждений и function calling. Согласно README, она также рассчитана на общее текстовое использование и поддерживает более 100 языков программирования. Обучающие данные включали примерно 25% общих инструкций и 75% инструкций по программированию; общий объём заявлен как около 3,9 млн строк, 1 млрд токенов или 7,27 ГБ данных. К сильным сторонам относятся специализация на программировании, широкий охват языков, возможности перевода кода, математические и общие инструкционные сценарии, а также возможность запуска на относительно ограниченных аппаратных ресурсах благодаря размеру базовой модели и квантизации. При этом README не указывает точный вариант квантизации, размер контекста, поддерживаемые естественные языки, конкретные требования к памяти и результаты большинства заявленных тестов; известный показатель HumanEval pass@1 составляет 0,6468. Модель описана как uncensored. Указана лицензия llama-3 с дополнительным типом license: other; применимые условия следует уточнять по лицензии Meta Llama 3.

7582июль 2024
textotherhugging-face
avsolatorio
MixEmbedFinetune-base-20240122220746-best

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122220746-best на Hugging Face совпадает с карточкой avsolatorio/MixEmbedFinetune-base-20240122220725-best, поэтому описание составлено по ней. avsolatorio/MixEmbedFinetune-base-20240122220725-best — модель текстовых эмбеддингов на базе BERT, представленная в карточке как gte-small. Семейство GTE разработано Alibaba DAMO Academy и обучалось на большом наборе пар текстов с оценками релевантности; конкретный репозиторий содержит дообученную модель размером около 40 млн параметров. Модель предназначена для получения векторных представлений английских текстов и их сравнения по смыслу. Её можно применять для семантического поиска, оценки сходства предложений, поиска релевантных документов и ранжирования текстов. Максимальная длина последовательности — 512 токенов; более длинный ввод обрезается. Лицензия — MIT.

1550янв. 2024ctx512
textembeddingmithugging-face
Hiveurban
multilingual-e5-large-pooled

Карточка модели Hiveurban/multilingual-e5-large-pooled на Hugging Face совпадает с карточкой intfloat/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — многоязычная модель эмбеддингов текста, опубликованная intfloat; её технический отчёт подготовили Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei. Модель основана на XLM-RoBERTa-large и имеет 24 слоя с размерностью эмбеддинга 1024. Она принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Модель предназначена для межъязыкового и многоязычного поиска, ранжирования passage по запросу, оценки семантического сходства, поиска перефразировок и использования эмбеддингов в кластеризации или классификации. При обучении текстовые роли задаются префиксами `query:` и `passage:`; их следует выбирать в соответствии со сценарием, иначе качество может снизиться. Поддерживаются 100 языков XLM-RoBERTa, включая русский, однако для языков с небольшим объёмом ресурсов качество может быть ниже. Вход ограничен 512 токенами, а более длинный текст обрезается. Лицензия — MIT.

1562сент. 2024ctx514
textembeddingmithugging-face
intfloat
multilingual-e5-small

Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.

9.5M466июнь 2023ctx512
textembeddingmithugging-face
mikelalda
multilingual-e5-small

Карточка модели mikelalda/multilingual-e5-small на Hugging Face совпадает с карточкой intfloat/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.

2360июнь 2026ctx512
textembeddingmithugging-face
nleeson
multilingual-e5-small

Карточка модели nleeson/multilingual-e5-small на Hugging Face совпадает с карточкой intfloat/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.

2250июль 2026ctx512
textembeddingmithugging-face
RedHatAI
Muse-Glimmer-30B

Muse Glimmer-30B — мультимодальная модель Meta Superintelligence Lab с плотным каузальным трансформером и отдельным энкодером восприятия, дистиллированная из Muse Spark. В README указано около 29,6 млрд параметров; модель работает с текстом и изображениями и распространяется в формате safetensors под лицензией Apache 2.0. Модель предназначена для локальных агентных сценариев: планирования последовательности действий, вызова инструментов, восстановления после ошибок и выполнения многошаговых задач. Её также предлагают использовать для написания и отладки кода, анализа скриншотов, диаграмм, документов и изображений, генерации синтетических данных и оценки ответов других моделей. В карточке заявлена оптимизация для работы на потребительском оборудовании без облачной инфраструктуры. Ограничения включают возможные ошибки, предвзятые или нежелательные ответы и сбои в многошаговом рассуждении, особенно в новых сценариях. Модель не оптимизирована для видео, аудио на входе и выходе не поддерживается; качество может снижаться на языках, которые недостаточно оценивались. Для агентных развёртываний разработчикам рекомендуется проводить собственные проверки безопасности и учитывать подтверждение необратимых действий.

5480авг. 2026ctx131.1K
textimageapache-2.0hugging-face
skripsiskripsi
myskripsisbert

skripsiskripsi/myskripsisbert — дообученная модель Sentence Transformer на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она кодирует предложения и абзацы на естественном языке в плотные векторы размерности 384; сходство векторов оценивается косинусной мерой. Модель предназначена для семантического поиска, извлечения релевантных текстов и сравнения сходства предложений. Архитектура состоит из BERT-трансформера и слоя усредняющего pooling. В README указана максимальная длина последовательности 128 токенов; метаданные каталога указывают контекст до 512 токенов. В обучении использовались 358 пар предложений с оценками сходства, а для проверки приведён Spearman cosine 0,9021. Базовая модель многоязычная, а примеры обучающих данных написаны на индонезийском языке. Модель принимает текст и возвращает векторы, поэтому её можно подключать к системам поиска и ранжирования документов. Она выпущена в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

630июнь 2026ctx512
textembeddinghugging-face
good-ai-club
NBB

good-ai-club/NBB — модель Sentence-Transformers на архитектуре BERT, разработчик которой указан в идентификаторе репозитория как good-ai-club. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель подходит для построения текстового поиска по смыслу, ранжирования или группировки похожих фрагментов. В README указан обучающий лосс CosineSimilarityLoss. Сведения о лицензии и конкретном языке обучения не приведены; качество зависит от соответствия входных данных обучающим данным модели.

990июнь 2022ctx512
textembeddinghugging-face
teknium
OpenHermes-2.5-Mistral-7B

OpenHermes 2.5 Mistral 7B — языковая модель Teknium, дообученная на базе Mistral-7B-v0.1 для диалогов и следования инструкциям. Она содержит около 7,1 млрд параметров, использует плотную архитектуру Mistral и формат диалога ChatML; заявленная длина контекста — 32 768 токенов. Модель обучалась на наборе примерно из миллиона примеров, преимущественно сгенерированных GPT-4, включая дополнительные данные по программированию. Модель предназначена для многошагового общения, ответов на вопросы, выполнения инструкций и помощи с программированием. В карточке приводится результат HumanEval 50,7% при Pass@1, а также сообщается об улучшении ряда общих бенчмарков по сравнению с предыдущей версией; это результаты авторов, не гарантия качества в конкретных сценариях. Указанный в метаданных язык — английский. Модель принимает текстовые запросы и генерирует текст. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Как и другие генеративные языковые модели, она может выдавать неверные сведения или код с ошибками; результаты следует проверять.

4.9K919окт. 2023ctx32.8K
textapache-2.0hugging-face
QuantFactory
Phi-3-mini-128k-instruct-GGUF

QuantFactory/Phi-3-mini-128k-instruct-GGUF — это квантизированная версия языковой модели microsoft/Phi-3-mini-128k-instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров, поддерживает контекст до 128 тысяч токенов и предназначена для генерации текста в формате инструкций. Она обучалась на синтетических и отфильтрованных общедоступных данных с акцентом на качество и рассуждения, а после базового обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель ориентирована на англоязычные коммерческие и исследовательские сценарии, включая работу в условиях ограниченных ресурсов и требований к задержке, а также задачи, связанные с рассуждениями, программированием, математикой, логикой и обработкой длинного контекста. К сильным сторонам относятся компактный размер, высокая производительность среди моделей с менее чем 13 млрд параметров и большой контекст. Ограничения включают поддержку английского языка в заявленных сценариях, возможные ошибки и необходимость отдельно проверять точность, безопасность, справедливость и соответствие требованиям законодательства, особенно в чувствительных и высокорисковых применениях. Модель распространяется по лицензии MIT.

4.3K40апр. 2024
textmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей