/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
8 431–8 460 из 23 488
maximalists
BRAG-Qwen2-7b-v0.1

BRAG-Qwen2-7b-v0.1 — языковая модель серии BRAG, разработанная Pratik Bhavasar и Ravi Theja и дообученная для генерации ответов по найденному контексту. Она предназначена для RAG по текстам и таблицам, а также для диалогового поиска и ответов на вопросы. Модель основана на плотной архитектуре Qwen2ForCausalLM, содержит 7,1 млрд параметров и принимает текст; заявленная в метаданных длина контекста — 32 768 токенов. README указывает, что модель обучалась и оценивалась на английском языке. Модель рассчитана на сценарии, где ответ должен опираться на предоставленный контекст и сообщать, если нужной информации в нём нет. Для снижения риска галлюцинаций рекомендуется использовать системную инструкцию из карточки. Модель дообучена на англоязычных данных для коротких контекстов, поэтому качество на длинных контекстах и других языках может быть ниже. Доступна по лицензии Apache-2.0.

168июль 2024ctx32.8K
textapache-2.0hugging-face
antoinelouis
camembert-L2

CamemBERT-L2 — компактная версия предварительно обученной модели CamemBERT, опубликованная Antoine Louis. Она получена удалением верхних слоёв исходного чекпойнта; в репозитории указано 43,5 млн параметров. Модель относится к семейству CamemBERT и предназначена для извлечения признаков из текста. Контекст составляет до 514 токенов, основным языком является французский. Модель можно дообучать для задач, в которых решение зависит от всего предложения: классификации текста, извлечения ответов на вопросы и семантического поиска. Также она поддерживает маскированное языковое моделирование. Для генерации текста автор рекомендует использовать авторегрессионные модели. Модель распространяется по лицензии MIT.

1160окт. 2023ctx514
textembeddingmithugging-face
AmberYifan
capsd-marin-8b-base-code_ppl_b10000_s0

AmberYifan/capsd-marin-8b-base-code_ppl_b10000_s0 — дообученная плотная Llama-модель на базе marin-community/marin-8b-base. Она предназначена для генерации и продолжения текста; название модели и обучающего набора указывают на настройку на примерах кода, однако README не описывает конкретные сценарии или результаты оценки. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекст длиной 4096 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории.

110авг. 2026ctx4.1K
textotherhugging-face
Geonmo
CLIP-Giga-config-fixed

Geonmo/CLIP-Giga-config-fixed — временная копия конфигурации CLIP от LAION, созданная для использования, пока не будет исправлена конфигурация laion/CLIP-ViT-bigG-14-laion2B-39B-b160k. Модель относится к архитектуре CLIPModel и предназначена для классификации изображений по текстовым описаниям без предварительного обучения на заданных классах. Модель принимает изображения и текстовые метки классов и сопоставляет их, чтобы выбрать подходящую метку. Репозиторий содержит веса в формате PyTorch; карточка указывает лицензию MIT. Это временное исправление конфигурации, поэтому пригодность и качество следует оценивать с учётом зависимости от исходной модели LAION.

2261июнь 2023
textimagemithugging-face
tomaarsen
csr-mxbai-embed-large-v1-nq-cos-sim-scale-50-gamma-0.1-detach-2

Это англоязычный разреженный CSR-энкодер tomaarsen, дообученный на базе mixedbread-ai/mxbai-embed-large-v1 на наборе Natural Questions с помощью библиотеки Sentence Transformers. Модель преобразует запросы и фрагменты текста в разреженные векторы размерности 4096; предусмотрено до 256 активных измерений. Максимальная длина входа — 512 токенов, сходство оценивается косинусной мерой. Модель предназначена для семантического поиска и разреженного поиска по запросам и документам, в частности для сценариев вопросов и ответов, похожих на Natural Questions. В README приведены результаты оценки поиска при разных ограничениях на число активных измерений; метрики относятся к указанным наборам nq_eval и не гарантируют аналогичное качество на других данных. Лицензия — Apache-2.0.

1460июнь 2025ctx512
textembeddingapache-2.0hugging-face
mrm8488
deberta-v3-small-finetuned-sst2

mrm8488/deberta-v3-small-finetuned-sst2 — модель классификации текста на основе DeBERTa v3 Small, дообученная на наборе SST2 из бенчмарка GLUE. Она предназначена для определения тональности англоязычных текстов, в частности положительной или отрицательной оценки отзывов и коротких высказываний. Модель содержит 155 млн параметров, использует архитектуру DebertaV2ForSequenceClassification и принимает последовательности длиной до 512 токенов. В оценке на тестовой выборке SST2 модель показала точность 0,9404 и loss 0,2134. Подходит для классификации коротких англоязычных текстов в экспериментах и прикладных прототипах; эти показатели относятся к указанному набору данных и не гарантируют такое же качество на других типах текстов. Лицензия — MIT.

1023март 2022ctx512
textmithugging-face
Mapika
decider-0.8b

decider-0.8b — дообученная модель Mapika на базе Qwen/Qwen3.5-0.8B-Base, предназначенная для классификации и принятия решений по заданному состоянию. Она принимает текст или значение JSON и набор типизированных вопросов, а за один проход возвращает вероятности вариантов Choice, уровней Score или ответа «да/нет» Noul. Модель не генерирует свободный текст и не требует декодирования или разбора ответа; заявленный контекст составляет 262144 токена, число параметров — 581,4 млн. Модель рассчитана на маршрутизацию запросов, классификацию, оценочные суждения и поиск по JSON-данным. На коротких состояниях её результаты по маршрутизации и простым суждениям близки к более крупной версии decider-2b, но она слабее на задачах, требующих широких знаний, тонких различий между метками или многошагового рассуждения. Обучение выполнено в один этап на смеси из 1,47 млн примеров; обучающие данные, составленные учителем Qwen3.5-27B, могут переносить его смещения. Модель предназначена для английского языка и распространяется по лицензии Apache-2.0.

16K7сент. 2026ctx262.1K
textapache-2.0hugging-face
g-assismoraes
DeltaP2S-Qwen2.5-14B-P2S-QwenCoder-Code-S13-QV

Это объединённый чекпойнт семейства Qwen2.5 размером 14 млрд параметров, созданный в рамках эксперимента Delta-P2S с использованием Qwen-aware пакета. Модель построена на базе Qwen2.5 и предназначена для генерации текста в диалоговом режиме; имя репозитория указывает на специализацию на программировании, но README не описывает конкретные задачи или результаты для кода. Модель использует плотную архитектуру Qwen2 с классом Qwen2ForCausalLM и поддерживает контекст до 131 072 токенов. Доступный формат весов — safetensors. В метаданных нет сведений о поддерживаемых естественных языках или лицензии.

180сент. 2026ctx131.1K
texthugging-face
sentence-transformers
distilbert-base-nli-mean-tokens

sentence-transformers/distilbert-base-nli-mean-tokens — модель Sentence-Transformers на архитектуре DistilBERT, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения сходства и кластеризации текстов. Модель принимает текст и выдаёт эмбеддинги; максимальная длина контекста составляет 512 токенов. Доступны веса в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель выпущена под лицензией Apache-2.0. В карточке она помечена как устаревшая: авторы предупреждают о низком качестве эмбеддингов и рекомендуют выбрать более новые модели для получения качественных результатов.

85K13март 2022ctx512
textembeddingapache-2.0hugging-face
desert-ant-labs
ear

Ear — модель для определения языка устной речи в аудиозаписи, созданная desert-ant-labs на основе openai/whisper-tiny. Она выбирает три наиболее похожих на речь 30-секундных фрагмента и классифицирует язык; для записей короче 30 секунд использует один фрагмент. Модель принимает аудио, а SDK возвращают код наиболее вероятного языка, оценку уверенности, ранжированный список кандидатов и признак надёжности результата. Модель рассчитана на локальный запуск на мобильных и настольных устройствах, в браузере и Node.js. Доступны форматы Core ML для устройств Apple и LiteRT/TFLite для других платформ. README указывает поддержку 99 языков и обработку окон длительностью 30 секунд; классификация выполняется примерно за 250 мс. Метаданные перечисляют часть языков, но не все заявленные в README. По описанным разработчиком испытаниям, уверенные ответы в двух небольших наборах записей были верны; это не заменяет широкую независимую оценку качества. Модель хуже определяет речь, смешанную с громкой музыкой, не различает надёжно норвежский, шведский и датский, а в многоязычной записи сообщает язык выбранных фрагментов. Она определяет язык, но не транскрибирует речь. Лицензия в метаданных обозначена как other; README сообщает, что исходные веса Whisper Tiny имеют лицензию MIT, но не уточняет условия лицензии самой Ear.

5989авг. 2026
audiootherhugging-face
cstr
ecapa-lid-107-GGUF

Это преобразованная в формат GGUF модель ECAPA-TDNN для определения языка устной речи, основанная на speechbrain/lang-id-voxlingua107-ecapa и подготовленная для использования с CrispASR. Архитектура ECAPA-TDNN сочетает SE-Res2Net и attentive statistical pooling; в модели около 21 млн параметров, веса доступны в формате F16 размером около 43 МБ. Модель определяет язык речи среди 107 языков VoxLingua107 и может работать как предварительный этап перед распознаванием речи в разных ASR-бэкендах. Исходная модель обучена SpeechBrain на VoxLingua107, включающем 6 628 часов речи с YouTube. В репозитории указаны результаты небольшого теста на 12 языках; они не гарантируют аналогичную точность на других записях и условиях. Репозиторий содержит конверсию весов без дообучения и сохраняет лицензию Apache 2.0 исходной модели. Возможности и ограничения распознавания унаследованы от исходной модели; конверсия в GGUF сама по себе их не меняет.

1.1K0апр. 2026
audioapache-2.0hugging-face
Parveshiiii
Embedding

Parveshiiii/Embedding — конвертированная модель на архитектуре XLM-RoBERTa large с объединением представления CLS для получения эмбеддингов текста. В README указано, что модель ещё не обучена; её можно дообучить для задач векторного представления текста. Модель основана на FacebookAI/xlm-roberta-large и содержит 658,7 млн параметров. Она принимает текст и формирует векторные представления, которые могут использоваться для поиска похожих предложений и извлечения признаков. Базовая XLM-RoBERTa рассчитана на 100 языков; у самой модели нет подтверждённых результатов обучения эмбеддингов. Репозиторий использует Sentence Transformers и формат safetensors, лицензия — Apache-2.0.

1250янв. 2026ctx8.2K
textembeddingapache-2.0hugging-face
stillerman
fdt-disfluency-distilbert-66m-v5

stillerman/fdt-disfluency-distilbert-66m-v5 — модель-разметчик для удаления речевых дисфлуентностей из транскриптов живой речи. Она помечает каждое слово тегом KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE, после чего короткая процедура реконструкции собирает очищенный текст. Модель основана на DistilBERT с архитектурой DistilBertForTokenClassification и содержит 65,2 млн параметров; контекст — 512 токенов. Версия v5 сохраняет слова like, когда они вводят цитату или сравнение, и удаляет их как заполнитель в соответствующем контексте. Модель предназначена для очистки разговорных транскриптов, в том числе в браузере через int8 ONNX и transformers.js; автор сообщает о времени обработки порядка 10–50 мс на высказывание и метриках exact match 0,9745 и DELETE-F1 0,9916. Архив модели также содержит веса safetensors. Она удаляет или корректирует только помеченные токены и не перефразирует текст. Лицензия репозитория — Apache-2.0, однако обучение частично использовало DailyDialog с лицензией CC BY-NC-SA, поэтому автор рекомендует считать модель исследовательским артефактом и не применять её для коммерческого развертывания без дополнительной проверки условий.

1230авг. 2026ctx512
textapache-2.0hugging-face
meetkai
functionary-medium-v3.0

Functionary Medium v3.0 — языковая модель семейства Llama, разработанная meetkai для диалога и вызова функций или плагинов. Она принимает определения инструментов в формате JSON Schema и может решать, когда вызвать их, запускать вызовы последовательно или параллельно, интерпретировать результаты и формировать ответы с опорой на полученные данные. Если инструмент не нужен, модель отвечает обычным сообщением; также заявлена поддержка code interpreter. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и работает с контекстом до 8192 токенов. Для запуска авторы рекомендуют OpenAI-совместимый сервер vLLM; карточка также описывает шаблон диалога и код для разбора ответов с вызовами инструментов. Репозиторий содержит веса PyTorch, лицензия — MIT. Модель предназначена для построения разговорных приложений с вызовом внешних инструментов. Для работы с инструментами требуется передавать их определения в ожидаемом формате и корректно обрабатывать структуру вызовов. README не приводит количественных оценок качества; заявленная в карточке сравнительная характеристика с GPT-4 не подкреплена результатами тестирования.

1.4K6июнь 2024ctx8.2K
textmithugging-face
meetkai
functionary-small-v2.4

meetkai/functionary-small-v2.4 — языковая модель MeetKai для диалогов с вызовом функций и плагинов. Она построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель выбирает, когда вызывать инструменты, извлекает имена функций и аргументы из их JSON Schema-описаний, может запускать вызовы последовательно или параллельно и формировать ответы с учётом результатов. Она также поддерживает обычные ответы без вызова инструментов и сценарии с интерпретатором кода. В README приведён результат 83,07% точности вызова функций на наборе SGD для версии small-v2.4. Для форматирования диалога предусмотрен шаблон v2PromptTemplate; в карточке рекомендуется запуск через OpenAI-совместимый сервер vLLM. Доступный репозиторий использует формат safetensors. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

1.3K19апр. 2024ctx32.8K
texthugging-face
ehristoforu
Gemma2-2b-it-codealpaca

Gemma2-2b-it-codealpaca — дообученная модель ehristoforu для генерации текста в формате диалога и работы с запросами, связанными с кодом. Она основана на unsloth/gemma-2-2b-it-bnb-4bit, имеет плотную архитектуру Gemma 2 с 2,7 млрд параметров и контекст до 8192 токенов. В карточке указано обучение с использованием Unsloth и библиотеки TRL. Модель подходит для ответов на вопросы о программировании, генерации фрагментов кода и диалогового помощника по коду на английском языке. Репозиторий содержит веса PyTorch; лицензия — Apache 2.0. Карточка не приводит результатов оценки качества или подробностей о наборе данных и конкретных языках программирования, поэтому качество ответов для отдельных задач не подтверждено.

130авг. 2024ctx8.2K
textapache-2.0hugging-face
TIGER-Lab
General-Reasoner-Qwen3-4B

General-Reasoner-Qwen3-4B — плотная языковая модель семейства Qwen3 с 3,7 млрд параметров, дообученная TIGER-Lab на базе Qwen/Qwen3-4B-Base. Модель предназначена для ответов на вопросы и генерации текста с улучшенными рассуждениями в разных областях; обучение использовало более 230 тысяч проверяемых вопросов из веб-источников и модельный верификатор. В README описан подход без промежуточного этапа обучения с учителем перед RL. Модель подходит для многошаговых ответов и решения задач по математике, программированию, физике, химии, финансам и гуманитарным темам. Контекст составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Карточка не уточняет языковой охват и конкретные ограничения качества, поэтому не следует считать заявленные результаты гарантией для каждой предметной области.

1174май 2025ctx32.8K
textapache-2.0hugging-face
waveletdeboshir
gigaam-ctc-with-lm

Это неофициальная обёртка для Transformers модели GigaAM-v2-CTC, первоначально выпущенной SberDevices. Она предназначена для распознавания русской речи из аудио с декодированием beam search и повторным ранжированием гипотез внешней n-граммной языковой моделью. Обёртка поддерживает извлечение временных меток слов; для этой реализации указан шаг 40 мс. Модель использует архитектуру Conformer с CTC-декодированием и доступна через интерфейс библиотеки Transformers. Модель подходит для транскрибации русской речи, в том числе с получением временных границ слов. Для работы требуются PyTorch, torchaudio и Transformers; в карточке приведены версии 2.7.1, 2.7.1 и 4.49.0 соответственно. Репозиторий распространяется по лицензии MIT. Качество распознавания может зависеть от акустических условий и соответствия речи обучающим данным; количественные оценки качества в карточке не приведены.

469май 2025ctx1K
textaudiomithugging-face
funnel-transformer
large

Funnel Transformer large — предварительно обученная модель семейства Funnel Transformer, выпущенная командой разработчиков Funnel Transformer и представленная в исследовательской работе. Это англоязычная uncased-модель с архитектурой Funnel и декодером, обученная на корпусах BookCorpus, английской Википедии, ClueWeb, GigaWord и Common Crawl. Обучение проводилось без разметки: модель училась определять, какие токены исходного текста были заменены. Модель извлекает контекстные представления текста и предназначена прежде всего для последующего дообучения под задачи классификации последовательностей и токенов, а также ответы на вопросы. Она не предназначена для генерации текста. Контекст составляет до 512 токенов. Репозиторий содержит веса PyTorch, SafeTensors и TensorFlow. Лицензия — Apache-2.0.

2242март 2022ctx512
textembeddingapache-2.0hugging-face
philschmid
MiniLM-L6-H384-uncased-sst2

philschmid/MiniLM-L6-H384-uncased-sst2 — модель классификации текста, опубликованная пользователем philschmid на Hugging Face. Она предназначена для определения тональности текста по схеме SST-2: классификации высказываний как положительных или отрицательных. Карточка Hugging Face указывает архитектуру BERT для классификации последовательностей, 25,9 млн параметров и максимальную длину контекста 512 токенов; модель загружается через Transformers как text-classification. Это дообученная версия англоязычной MiniLM-L6-H384-uncased: компактного шестислойного трансформера с 384-мерным скрытым состоянием, основанного на архитектуре BERT. Карточка модели не содержит сведений о лицензии; надёжно определить условия использования по доступным источникам нельзя. Модель рассчитана на текст и выдаёт метку класса с оценкой.

4.6K1март 2022ctx512
texthugging-face
benjamintli
modernbert-code-v2

benjamintli/modernbert-code-v2 — модель Sentence Transformers, дообученная разработчиком на наборе code-retrieval-combined-v2 на базе answerdotai/ModernBERT-base. Она кодирует запросы и фрагменты текста в плотные векторы размерности 768 и предназначена прежде всего для семантического поиска по коду и сопоставления запросов с подходящими описаниями или фрагментами кода. Также её можно применять для оценки семантического сходства, поиска перефразировок, кластеризации и классификации текста. Модель использует encoder-архитектуру ModernBERT с усреднением токенных представлений; метаданные указывают контекст до 8192 токенов. В README заявлено ограничение в 1024 токена для Sentence Transformers, поэтому фактическую длину входа следует сверять с используемой конфигурацией. Обучение проводилось на 283 621 парах запросов и положительных примеров; для оценки сходства указана косинусная мера. Основной язык и примеры набора данных — английский, поэтому качество на других языках не установлено. Для применения нужны текстовые запросы и документы или фрагменты кода; на выходе модель выдаёт векторы, а не готовые ответы или сгенерированный код. Лицензия в предоставленных данных не указана.

980март 2026ctx8.2K
textembeddinghugging-face
falloutxvats
ms-marco-minilm-l6-v2

Карточка модели falloutxvats/ms-marco-minilm-l6-v2 на Hugging Face совпадает с карточкой cross-encoder/ms-marco-MiniLM-L6-v2, поэтому описание составлено по ней. cross-encoder/ms-marco-MiniLM-L6-v2 — англоязычный ранжировщик на основе архитектуры BERT, предназначенный для переранжирования результатов поиска. Модель обучена на задаче MS MARCO Passage Ranking и оценивает релевантность пары «запрос — фрагмент текста», после чего найденные документы можно сортировать по оценке. Модель содержит 25,9 млн параметров, принимает пары текстов и поддерживает контекст до 512 токенов. Она рассчитана на этап reranking в системах информационного поиска, например после получения кандидатов из ElasticSearch. Доступны форматы PyTorch, SafeTensors, ONNX, OpenVINO и Flax. Модель распространяется по лицензии Apache 2.0. Описанные данные указывают на англоязычное обучение и назначение; качество для других языков не подтверждено. README приводит оценки на наборах TREC Deep Learning 2019 и MS MARCO, но не содержит чисел для этой версии MiniLM-L6-v2.

90сент. 2026ctx512
textapache-2.0hugging-face
cservan
multilingual-albert-base-cased-128k

cservan/multilingual-albert-base-cased-128k — предварительно обученная многоязычная модель ALBERT с архитектурой AlbertForMaskedLM, предназначенная для восстановления замаскированных токенов и получения контекстных представлений текста. Разработчик карточки описывает её как вторую версию базовой модели mALBERT; обучение проводилось на многоязычной Википедии с задачами masked language modeling и предсказания порядка предложений. Модель различает регистр букв и имеет словарь SentencePiece размером 128 тысяч токенов. В метаданных указаны 211,6 млн параметров и контекст до 512 токенов. Модель рассчитана прежде всего на дообучение для классификации последовательностей и токенов, заполнения пропусков и ответов на вопросы, а также на извлечение признаков для таких задач. Метаданные перечисляют поддержку множества языков, включая русский, английский, французский, немецкий, испанский и китайский; карточка подчёркивает многоязычную предобученность. ALBERT использует общие веса повторяющихся слоёв, что снижает объём параметров относительно обычного BERT-подобного стека, хотя вычислительная нагрузка остаётся сопоставимой. Модель распространяется по лицензии Apache-2.0. Она не предназначена для свободной генерации связного текста; для прикладных задач обычно требуется дообучение.

1883дек. 2023ctx512
textapache-2.0hugging-face
tabularisai
multilingual-emotion-classification

Многоязычная модель Tabularis AI для многометочной классификации эмоций в тексте. Она дообучена на FacebookAI/xlm-roberta-base и использует архитектуру XLM-RoBERTa с 305,2 млн параметров; для входного текста выдаёт оценки по 11 классам: гнев, презрение, отвращение, страх, фрустрация, благодарность, радость, любовь, нейтральность, грусть и удивление. Каждая метка оценивается независимо, поэтому текст может получить несколько эмоциональных меток или ни одной при пороге 0,5. Модель предназначена для анализа эмоций в публикациях соцсетей, отзывах о товарах и клиентских обращениях, мониторинга бренда, маркетинговых исследований и отслеживания эмоциональной окраски диалогов. Заявлена поддержка 23 языков; карточка перечисляет 22 языковых кода, включая русский, английский, китайский, испанский и хинди. Контекст — до 514 токенов. В README приведены результаты на отложенной многоязычной выборке из 11 500 примеров: micro F1 0,840, macro F1 0,839 и sample Jaccard 0,794. Обучение проводилось на синтетических многоязычных данных, поэтому качество на реальных текстах и культурно обусловленных выражениях эмоций следует проверять отдельно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1.9K27апр. 2026ctx514
textcc-by-nc-4.0hugging-face
nanovdr
NanoVDR-Q-DistilBERT-Qwen3VL8B-4096-ML

NanoVDR-Q-DistilBERT-Qwen3VL8B-4096-ML — 70-миллионный текстовый энкодер запросов, разработанный для поиска по визуальным документам. Это модель на основе DistilBERT, дообученная методом дистилляции: она учится воспроизводить 4096-мерные эмбеддинги запросов замороженной Qwen3-VL-Embedding-8B по косинусному сходству. Эмбеддинги нормализуются по L2-норме и совместимы с пространством эмбеддингов модели-учителя и документных башен NanoVDR. Модель предназначена для кодирования текстовых запросов при поиске по индексированным документам. Её можно использовать вместе с документными энкодерами NanoVDR, чтобы строить конвейер поиска без запуска модели-учителя на этапе запроса; энкодирование занимает 2,07 мс на запрос при batch size 1 на H200, включая токенизацию. Контекст ограничен 512 токенами. Модель обучена на английских запросах и переводах на пять европейских языков с латинской письменностью. Ограничения: поддержка ограничена английским и пятью указанными языками; языки с нелатинской письменностью не проверялись. Модель принимает только текстовые запросы и не предназначена для запросов, обусловленных изображениями; качество ограничено моделью-учителем. Лицензия — MIT.

491авг. 2026ctx512
textembeddingmithugging-face
opensearch-project
opensearch-neural-sparse-encoding-doc-v3-distill

opensearch-project/opensearch-neural-sparse-encoding-doc-v3-distill — модель разреженного поиска OpenSearch Contributors. Она преобразует документы в разреженные векторы размерности 30 522, где индексы соответствуют токенам словаря, а веса отражают их важность. Для запросов используются токенизатор и таблица весов; релевантность оценивается скалярным произведением векторов. Модель предназначена для поиска документов, включая работу с инвертированным индексом OpenSearch. Модель основана на DistilBERT и распространяется в формате safetensors; её можно использовать через Sentence Transformers или в кластере OpenSearch. Контекст ограничен 512 токенами. Карточка описывает обучение на наборах данных для поиска и ранжирования, а также сравнение серии v3 с предыдущими версиями на подмножестве BEIR. Репозиторий содержит Apache-2.0 лицензию.

40K10март 2025ctx512
textembeddingapache-2.0hugging-face
opensearch-project
opensearch-neural-sparse-encoding-v1

OpenSearch Contributors разработали opensearch-neural-sparse-encoding-v1 — модель на базе BERT для извлечения обучаемых разреженных представлений запросов и документов. Она кодирует текст в разреженные векторы размерности 30 522: индексы соответствуют токенам словаря, а значения отражают их важность. Модель содержит 136,7 млн параметров, принимает текст длиной до 512 токенов и распространяется в форматах PyTorch и Safetensors; для работы используется библиотека Sentence Transformers. Модель предназначена для поиска по документам и запросам, включая семантический поиск и расширение запросов или документов. Она обучена на MS MARCO и может применяться в OpenSearch с инвертированным индексом Lucene. В сравнении на подмножестве BEIR для версии v1 указано среднее значение NDCG@10 0,524; релевантность и эффективность зависят от набора данных. Лицензия — Apache-2.0.

1.6K15март 2024ctx512
textembeddingapache-2.0hugging-face
pand4kingg
phi4mini-bash-powershell

pand4kingg/phi4mini-bash-powershell — дообученная языковая модель pand4kingg на базе unsloth/phi-4-mini-instruct-unsloth-bnb-4bit. Это плотная причинная модель семейства Phi-3 с 3,8 млрд параметров, предназначенная для генерации текста в диалоговом формате; заявленная тематика — Bash и PowerShell. Модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 4096 токенов. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0. Карточка не описывает состав обучающих данных, точность для конкретных типов команд или результаты оценки качества.

180авг. 2026ctx131.1K
textapache-2.0hugging-face
Etherll
Qwen2.5-Coder-1.5B-CodeFIM

Etherll/Qwen2.5-Coder-1.5B-CodeFIM — дообученная модель семейства Qwen2.5-Coder для генерации кода в формате Fill-in-the-Middle (FIM): она дополняет код, вставляя фрагмент между заданным префиксом и суффиксом. README рекомендует использовать её с Continue и передавать имя файла, префикс и суффикс в формате {{{filename}}}{{{prefix}}}{{{suffix}}}. Модель построена на архитектуре Qwen2ForCausalLM, содержит 1,5 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Репозиторий содержит веса Safetensors и предназначен для генерации текста, в частности кода. Лицензия в предоставленных данных не указана.

734окт. 2024ctx32.8K
texthugging-face
TeichAI
Qwen3-4B-Thinking-2507-Gemini-3-Flash-VIBE

TeichAI/Qwen3-4B-Thinking-2507-Gemini-3-Flash-VIBE — дообученная плотная языковая модель семейства Qwen3 с 3,7 млрд параметров, созданная на базе unsloth/Qwen3-4B-Thinking-2507. Модель обучена на 200 примерах агентного программирования, сгенерированных Gemini 3 Flash Preview, и предназначена для генерации текста в диалоге и решения задач, связанных с программированием и агентными сценариями. Модель принимает текст и выдаёт текст, поддерживает контекст до 262 144 токенов и имеет интерфейс для вызова инструментов. Для обучения использовались Unsloth и библиотека Hugging Face TRL; веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Набор из 200 обучающих примеров ограничен по объёму, поэтому качество на широком спектре задач не следует считать подтверждённым.

515янв. 2026ctx262.1K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей