/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
4 201–4 230 из 23 488
JetBrains
Mellum-4b-base

Mellum-4b-base — базовая языковая модель для кода, разработанная JetBrains и опубликованная с открытыми весами. Она использует плотную архитектуру в стиле LLaMA с 3,7 млрд параметров и предназначена прежде всего для автодополнения кода, включая продолжение и заполнение пропусков. Модель обучалась на корпусах The Stack, The Stack v2, StarCoder Training Dataset и CommitPack, а также на англоязычной Википедии; обучение охватило около 4,2 трлн токенов. Контекст составляет 8192 токена. Публичные веса представлены в формате safetensors с точностью bf16. Модель рассчитана на интеграцию в IDE и помощники разработчика, а также на локальный или серверный запуск и дальнейшую адаптацию через дообучение. Она работает с кодом на нескольких языках программирования; отдельная версия Mellum-4b-sft-python в карточке приведена для сравнения и не является этой базовой моделью. Для прикладных задач модель не настроена из коробки. Сгенерированный код может отражать стилистику обучающих открытых репозиториев и содержать уязвимости, поэтому предложения следует проверять. Лицензия — Apache-2.0.

2.5K456апр. 2025ctx8.2K
textapache-2.0hugging-face
JetBrains
Mellum-4b-sft-python

Mellum-4b-sft-python — дообученная JetBrains модель для генерации и автодополнения кода на Python. Она основана на Mellum-4b-base и предназначена для подсказок в IDE, работы в помощниках программиста, а также экспериментов с генерацией и пониманием кода. Модель использует плотную архитектуру LLaMA с 3,7 млрд параметров и контекстом 8192 токена. Версия на Hugging Face опубликована в формате bf16; для запуска и интеграции подходят инструменты экосистемы Transformers и среды инференса, упомянутые в карточке. Модель ориентирована на код, особенно на завершение фрагментов Python, и может быть полезна в обучении программированию и экспериментах с дообучением. Она может наследовать стилистические особенности открытых кодовых баз, а сгенерированный код необходимо проверять на ошибки и уязвимости. Лицензия — Apache-2.0.

21256апр. 2025ctx8.2K
textapache-2.0hugging-face
facebook
metaclip-2-mt5-worldwide-b32

facebook/metaclip-2-mt5-worldwide-b32 — мультиязычная модель MetaCLIP 2, разработанная Meta и представленная в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Это чекпойнт ViT-B/32 с токенизатором mT5, соответствующий варианту «ViT-B-32-mT5-worldwide» оригинальной реализации. Модель предназначена для классификации изображений по текстовым описаниям без специального обучения на заданных классах: пользователь передаёт изображение и варианты меток или описаний, а модель сопоставляет их. Модель использует архитектуру MetaClip2Model и распространяется в формате safetensors для Transformers. Карточка указывает мультиязычную направленность, но конкретные поддерживаемые языки, число параметров и размер контекста не приводит. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

1048нояб. 2025ctx64
textimagecc-by-nc-4.0hugging-face
cirimus
modernbert-base-go-emotions

cirimus/modernbert-base-go-emotions — англоязычная модель классификации эмоций, созданная дообучением ModernBERT-base на наборе GoEmotions. Она относит текст к одному или нескольким из 28 эмоциональных классов и подходит для анализа комментариев в социальных сетях, отзывов клиентов и исследовательских задач, связанных с поведением и эмоциями. Модель построена на архитектуре ModernBERT, содержит 149 млн параметров и поддерживает контекст до 8192 токенов. Для инференса указана библиотека Transformers; веса опубликованы в формате safetensors. На тестовой части GoEmotions при пороге 0,5 модель получила macro F1 0,500 и micro F1 0,607. README сообщает, что модель заменена более новой cirimus/ultrabert-380M-go-emotions. Обучающие данные основаны на комментариях Reddit, поэтому результаты могут хуже переноситься на другие жанры и культурные контексты; редкие классы представлены слабо, а неоднозначность разметки может влиять на предсказания. Лицензия — MIT.

2.6K13янв. 2025ctx8.2K
textmithugging-face
argilla
ModernBERT-domain-classifier

argilla/ModernBERT-domain-classifier — англоязычный классификатор текста, разработанный Argilla и дообученный на базе answerdotai/ModernBERT-base. Он предназначен для отнесения текстов к доменным категориям; конкретные классы и подробные сценарии применения в карточке не описаны. Модель использует архитектуру ModernBERT для классификации последовательностей, содержит 149 млн параметров и принимает контекст длиной до 8192 токенов. На указанном в README наборе оценки приведены F1 0,8914 и loss 0,3927. Доступна в формате Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка не уточняет набор меток, состав обучающих данных и ограничения качества за пределами указанных метрик.

44410дек. 2024ctx8.2K
textapache-2.0hugging-face
infly
OpenCoder-1.5B-Base

OpenCoder-1.5B-Base — базовая языковая модель для кода из семейства OpenCoder, разработанного как открытый и воспроизводимый проект. Модель с архитектурой Llama содержит 1,7 млрд параметров и принимает последовательности длиной до 4096 токенов. Она обучена с нуля на 2,5 трлн токенов, преимущественно на исходном коде, и предназначена для генерации кода и дальнейшей адаптации под задачи программирования. Модель поддерживает английский и китайский языки. В карточке OpenCoder приведены результаты на HumanEval(+), MBPP(+) и BigCodeBench; проект также публикует обучающие данные, конвейер их обработки и материалы об экспериментах. Репозиторий содержит веса PyTorch и Safetensors. Лицензия указана как other, поэтому перед использованием следует проверить её условия в карточке модели.

30125нояб. 2024ctx4.1K
textotherhugging-face
rh-rad-ai-roadshow
parasol-merlanite-trained-GGUF

Parasol Merlanite Trained — модель для классификации текста, опубликованная в пространстве rh-rad-ai-roadshow на Hugging Face. Модель предназначена для отнесения текстовых входов к заранее определённым классам и может применяться в сценариях разговорной обработки текста благодаря соответствующему conversational-тегу. Модель распространяется в формате GGUF и связана с библиотекой adapter-transformers; в метаданных также указан тег adapter-transformers. Доступна по лицензии Apache-2.0, допускающей использование, модификацию и распространение с соблюдением её условий. В карточке отсутствуют сведения об архитектуре базовой модели, количестве параметров, поддерживаемых языках, длине контекста, наборе классов и качестве на тестовых данных. Поэтому перед применением необходимо проверить формат входов, схему меток и совместимость с конкретным классификационным пайплайном.

3940июль 2024
textapache-2.0hugging-face
tangminhanh
pd_tg

pdtg — дообученная модель классификации последовательностей на базе microsoft/deberta-v3-small, разработанная tangminhanh. В метаданных указаны архитектура DeBERTa V2, 155 млн параметров и контекст до 512 токенов. Модель принимает текст и выдаёт метки классификации. В README приведены результаты на оценочном наборе: accuracy 0,8976, F1 0,9033, precision 0,8986 и recall 0,9079. Назначение классов, область применения, обучающий набор данных и поддерживаемые языки карточка не раскрывает. Лицензия — MIT.

90июль 2024ctx512
textmithugging-face
gojiberries
piedomains-text

piedomains-text — многоязычный классификатор веб-сайтов, разработанный авторами проекта piedomains. Он определяет категории сайта по тексту его главной страницы и предназначен для автоматической классификации доменов по 44 категориям; результат может включать несколько категорий, если вероятности превышают заданный порог. Модель основана на ModernBERT, дообучена на jhu-clsp/mmBERT-base, содержит 306,9 млн параметров и принимает контекст до 8192 токенов. На отложенной выборке из 4382 документов точность составила 0,818, а macro-F1 — 0,758; температурная калибровка снизила ECE с 0,0490 до 0,0168. Модель намеренно допускает пересечение категорий, например, сайт автодилера может относиться и к покупкам, и к автомобилям. Известен существенный дефект: метка drugs часто ошибочно присваивается обычным интернет-магазинам; авторы также отмечают слабые результаты для категорий urlshortener, library, socialnet и shopping. Лицензия — MIT.

760июль 2026ctx8.2K
textmithugging-face
mbakgun
Qwen2.5-Coder-14B-n8n-Workflow-Generator

Qwen2.5-Coder-14B-n8n-Workflow-Generator — дообученная модель автора mbakgun на базе Qwen/Qwen2.5-Coder-14B-Instruct от команды Qwen. Она предназначена для генерации JSON-конфигураций рабочих процессов n8n по описанию на естественном языке, например для автоматизации интеграций, мониторинга RSS-лент, отправки уведомлений в Discord или Slack и обработки событий из GitHub. Модель обучена методом QLoRA с 4-битным квантованием, LoRA rank 32 и LoRA alpha 64. Для дообучения использован датасет mbakgun/n8nbuilder-n8n-workflows-dataset, содержащий более 2304 шаблонов рабочих процессов из публичной галереи n8n. Максимальная длина последовательности при обучении составляет 8192 токена; заявленный язык — английский. Доступны варианты для Transformers и MLX, включая квантованную сборку для Apple Silicon. Сильная сторона модели — специализация на структуре и шаблонах n8n, что может ускорять создание автоматизаций из текстовых требований. При этом сгенерированные процессы требуют ручной проверки и валидации, длинные рабочие процессы свыше 8192 токенов могут быть усечены, а обучение только на публичных шаблонах ограничивает охват сценариев. Модель распространяется по лицензии Apache 2.0.

2.4K23дек. 2025ctx32.8K
textapache-2.0hugging-face
mlx-community
Qwen2.5-Coder-1.5B-Instruct-8bit

mlx-community/Qwen2.5-Coder-1.5B-Instruct-8bit — конвертированная в формат MLX 8-битная версия Qwen2.5-Coder-1.5B-Instruct от сообщества mlx-community. Это плотная авторегрессионная модель семейства Qwen2, предназначенная для генерации кода в диалоговом формате и доступная для запуска через mlx-lm. Модель содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Карточка указывает английский язык; метаданные также отмечают возможности работы с кодом и интерфейс вызова инструментов. Репозиторий создан 18 сентября 2024 года. Модель подходит для генерации и продолжения кода, помощи в программировании и диалоговых сценариев с кодом. Её компактный размер удобен для локального запуска на оборудовании Apple Silicon через MLX, однако карточка не приводит результатов бенчмарков или более подробных гарантий качества. Лицензия — Apache-2.0.

3661сент. 2024ctx32.8K
textapache-2.0hugging-face
Qwen
Qwen3-ForcedAligner-0.6B-hf

Qwen3-ForcedAligner-0.6B-hf — модель принудительного выравнивания речи от команды Qwen. Она принимает аудио и готовую расшифровку, а затем предсказывает временные метки для её единиц; распознавать речь для получения текста может отдельная ASR-модель. Модель поддерживает китайский, английский, кантонский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки и выравнивает аудио длительностью до пяти минут. Модель относится к семейству Qwen3-ASR и использует архитектуру Qwen3ASRForTokenClassification. Нерегрессионный режим выполнения делает её подходящей для пакетной обработки аудио; в README также описано ускорение с помощью torch.compile. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия — Apache-2.0. Для работы требуется аудио и текстовая транскрипция, полученная заранее, например, с помощью Qwen3-ASR или другой системы распознавания речи. Модель предназначена для разметки времени произнесённых слов или других единиц, а не для самостоятельного распознавания речи; в README также не заявлена поддержка иных типов аудио, кроме речи.

76K48июнь 2026ctx131.1K
textapache-2.0hugging-face
sapienzanlp
relik-reader-deberta-v3-base-aida

Это веса компонента ReLiK Reader из системы Retrieve, Read and LinK, разработанной Sapienza NLP. Модель предназначена для извлечения информации: связывания упомянутых в тексте сущностей с элементами базы знаний и извлечения отношений между сущностями. Reader работает в составе ReLiK вместе с retriever-компонентом, который находит релевантные документы; в этом репозитории размещены именно веса reader для варианта AIDA. Архитектура указана как RelikReaderSpanModel семейства ReLiK Reader; файлы представлены в формате PyTorch. Карточка приводит оценку базовой версии ReLiK на наборе AIDA и других тестах entity linking, включая результаты InKB Micro F1 и скорость обработки. Модель ориентирована на англоязычные данные. Лицензия и размер весов в предоставленных источниках не описаны.

1830июнь 2024
textembeddinghugging-face
stevenbucaille
rf-detr-seg-medium

RF-DETR Seg Medium — модель сегментации отдельных объектов семейства RF-DETR, представленная Steven Bucaille и интегрированная в Transformers. Она обрабатывает изображение и для каждого обнаруженного объекта выдаёт маску, ограничивающую рамку и оценку класса; подходит для анализа изображений и подсчёта или локализации объектов. Модель использует Vision Transformer в стиле DINOv2 with registers с чередованием оконного и полноформатного внимания, многоуровневый проектор признаков и декодер Deformable DETR с головой сегментации. Чекпойнт обучен для 80 категорий объектов COCO 2017. Распространяется по лицензии Apache 2.0.

2.2K0янв. 2026
imageapache-2.0hugging-face
Tommert25
RobBERTBestModelOct11

Модель robbert0410lrate7.5b16 — дообученная для классификации токенов версия нидерландской RobBERT-v2 Dutch Base от разработчика pdelobelle. Она предназначена для задач разметки последовательностей, где требуется присвоить метку каждому токену. Модель содержит 144 млн параметров, использует архитектуру RoBERTa и принимает текст; длина контекста составляет 514 токенов. Репозиторий содержит веса в формате PyTorch. На оценочном наборе автор сообщает F1 0,8307, точность 0,8523, полноту 0,8173 и accuracy 0,9209. Датасет неизвестен из доступных сведений, поэтому показатели нельзя уверенно переносить на другие задачи или данные. Базовая модель рассчитана на нидерландский язык; лицензия модели — MIT.

200окт. 2023ctx514
textmithugging-face
projecte-aina
roberta-base-ca-v2-cased-ner

roberta-base-ca-v2-cased-ner — модель распознавания именованных сущностей в каталонском тексте, разработанная подразделением Text Mining Unit центра Barcelona Supercomputing Center в рамках Projecte AINA. Это модель RoBERTa с 151,8 млн параметров, дообученная на основе projecte-aina/roberta-base-ca-v2; она принимает текст и присваивает метки его токенам, выделяя именованные сущности. Контекст модели составляет 514 токенов. Модель предназначена для извлечения именованных сущностей из каталонских текстов. Она обучалась и оценивалась на наборе AnCora-Ca-NER, где достигла F1 89,29. Результаты могут ухудшаться на текстах и сценариях, отличающихся от обучающих данных; создатели также отмечают, что возможны смещения, связанные с источниками обучающих корпусов. Модель распространяется по лицензии Apache 2.0.

2672июнь 2022ctx514
textapache-2.0hugging-face
tensorlake
segmentation-3.0

tensorlake/segmentation-3.0 — модель сегментации речи по говорящим, обученная Séverin Baroudi с использованием pyannote.audio 3.0. Она принимает 10-секундные фрагменты монофонического аудио с частотой 16 кГц и выдаёт матрицу классов по кадрам: неречевой звук, три отдельных говорящих и три возможные пары одновременно говорящих. Модель поддерживает обнаружение речевой активности, сегментацию говорящих и перекрывающуюся речь. Модель предназначена для обработки коротких фрагментов и может служить компонентом конвейера диаризации. Для диаризации полной записи README рекомендует использовать её вместе с дополнительной моделью эмбеддингов говорящих и конвейером pyannote/speaker-diarization-3.0. Обучение выполнено на объединении наборов AISHELL, AliMeeting, AMI, AVA-AVD, DIHARD, Ego4D, MSDWild, REPERE и VoxConverse. Лицензия — MIT; для загрузки базовой модели pyannote/segmentation-3.0 требуется принять условия использования Hugging Face. README предупреждает, что для производственного применения pyannoteAI может предложить более быстрые варианты.

1.1K1июль 2024
audiomithugging-face
Kxck
Self_Correction_v1

SelfCorrectionv1 — дообученная разработчиком Kxck диалоговая языковая модель на базе Qwen2.5-7B-Instruct. Она предназначена для генерации исправленных ответов в задачах по математике и программированию: модель получает неудачную попытку и обратную связь проверяющей системы, а затем формирует проверенный исправленный ответ. Модель построена на архитектуре Qwen2 и содержит 7,1 млрд параметров. Она принимает текст и поддерживает контекст до 32 768 токенов; веса BF16 сохранены в формате safetensors, модель можно загружать напрямую через vLLM. Лицензия в предоставленных данных не указана.

1160сент. 2026ctx32.8K
texthugging-face
apple
SimpleSD-4B-instruct

SimpleSD-4B-instruct — языковая модель Apple для генерации кода, созданная методом Simple Self-Distillation: модель дообучали на собственных сгенерированных примерах без учителя, функции вознаграждения, верификаторов и обучения с подкреплением. В качестве исходной модели использована Qwen/Qwen3-4B-Instruct-2507. Модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 3,7 млрд параметров и принимает текстовый ввод, выдавая текст. Заявленная длина контекста — до 262 144 токенов. В метаданных отмечена поддержка чата; карточка описывает обучение и оценивание на примерах генерации кода. Это исследовательский чекпойнт для воспроизводимости экспериментов, не оптимизированный выпуск Qwen. Лицензия — Apple AMLR.

3299март 2026ctx262.1K
textapple-amlrhugging-face
bartowski
SLIMER-PARALLEL-LLaMA3-GGUF

SLIMER-PARALLEL-LLaMA3-GGUF — это набор квантизированных версий языковой модели SLIMER-PARALLEL-LLaMA3, разработанной expertai и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и задач zero-shot выделения именованных сущностей (NER), включая работу с набором данных Universal-NER/Pile-NER-type. Модель ориентирована на английский язык. В репозитории доступны варианты от исходных весов F16 размером 16,07 ГБ до более компактных форматов Q2–Q8 размером примерно от 3,7 до 8,5 ГБ, что позволяет выбирать компромисс между качеством и требованиями к памяти. Указанная архитектурная основа — LLaMA 3; точное число параметров, размер контекста и перечень поддерживаемых модальностей в README не приведены. Для работы рекомендуются llama.cpp и LM Studio, при этом отдельные варианты оптимизированы для ARM-процессоров. Сильной стороной модели является специализация на извлечении сущностей без дополнительного обучения и наличие большого выбора уровней квантизации, включая варианты, ориентированные на высокое качество или ограниченный объём оперативной памяти. Ограничения включают англоязычную направленность, возможное снижение качества в более сильных вариантах квантизации и отсутствие в README подробных результатов оценки. Лицензия указана как llama3.1; условия её применения следует проверять отдельно в документации исходной модели и соответствующей лицензии.

9820нояб. 2024
textllama3.1hugging-face
bigcode
starcoderbase-1b

StarCoderBase-1B — авторегрессионная языковая модель для генерации программного кода, разработанная проектом BigCode. Это версия семейства StarCoderBase с 1 млрд параметров, основанная на архитектуре GPT-2 с Multi-Query Attention. Модель обучалась на корпусе The Stack v1.2, содержащем код более чем на 80 языках программирования, с целью Fill-in-the-Middle на 1 трлн токенов. Контекстное окно составляет 8192 токена. Модель предназначена для продолжения кода по заданному фрагменту и заполнения пропусков между частями кода. Она не является моделью, настроенной на выполнение инструкций: запросы на естественном языке вроде просьбы написать функцию могут работать хуже, чем подсказки с контекстом кода. Генерации могут содержать ошибки, быть неэффективными или уязвимыми. Код может дословно воспроизводить фрагменты из обучающих данных, поэтому следует проверять его происхождение и соблюдать применимые условия лицензии. Лицензия модели — BigCode OpenRAIL-M.

8.3K115июль 2023
textbigcode-openrail-mhugging-face
michelecafagna26
t5-base-finetuned-sst2-sentiment

Модель michelecafagna26/t5-base-finetuned-sst2-sentiment — версия T5-base от Google, дообученная автором репозитория для анализа тональности на датасете SST-2. Она классифицирует английский текст как положительный или отрицательный; подходит, например, для определения тональности отзывов и коротких пользовательских сообщений. Модель построена на архитектуре T5 с 123,8 млн параметров и принимает текст длиной до 512 токенов. Для формата классификации указана задача text-classification; веса доступны в форматах PyTorch и Safetensors. В README приведены метрики на валидационной выборке SST-2: F1 составляет 0,95 для отрицательного и положительного классов. Эти результаты относятся к указанному набору данных и не гарантируют такую же точность на других типах текста. Модель распространяется по лицензии Apache-2.0.

733дек. 2022ctx512
textapache-2.0hugging-face
AdarshSingh7647
TabRankNaive

TabRankNaive — модель AdarshSingh7647 на базе Qwen3-8B, дообученная для спискового переранжирования таблиц по релевантности вопросу. Она принимает вопрос и список таблиц в одном сообщении и за одну генерацию возвращает полный порядок кандидатов в JSON; вариант Answer-Only выдаёт ранжирование без цепочки рассуждений. Модель имеет плотную архитектуру Qwen3ForCausalLM с 7,6 млрд параметров, рассчитана на контекст до 40 960 токенов и распространяется в формате safetensors. Модель предназначена для поиска нужных таблиц среди кандидатов, например при подготовке контекста для вопросно-ответных систем по табличным данным. Обучение выполнено с LoRA rank 16 с последующим слиянием адаптера с базовыми весами; использованы NQ Tables и MultiTabQA. Карточка не приводит проверенных результатов оценки именно для варианта Answer-Only, поэтому качество на целевых наборах данных по ней оценить нельзя. Лицензия — Apache-2.0.

1080июль 2026ctx41K
textapache-2.0hugging-face
mihailgribov
typecastlm-qwen3.5-3.8b

TypeCastLM-Qwen3.5-3.8B — разработанная Mihail Gribov модель классификации с открытыми весами, предназначенная для принятия решений по заданному материалу и вопросу. Это дообученная плотная текстовая модель Qwen3.5 с классификационной головой; в метаданных указано 3,1 млрд параметров, контекст — 262 144 токена. Модель работает в четырёх режимах: бинарный ответ «да/нет», распределение «да/нет/не уверен», выбор одного из вариантов и оценка по порядковой шкале. Каждый режим требует одного прохода модели и возвращает вероятности вместо текста. Модель рассчитана на классификацию утверждений по материалу, проверку фактов, ответы на вопросы с вариантами и оценивание по рубрикам; отдельный выход «не уверен» можно использовать для отказа от решения или передачи задачи человеку. README приводит результаты на BoolQ, RTE и FEVER, а также ограничения точности при большом числе вариантов или уровней шкалы. Для бинарного режима температура настроена на более решительные ответы, поэтому его вероятности могут быть недостаточно калиброваны. Указана лицензия Apache-2.0.

2.4K2сент. 2026ctx262.1K
textapache-2.0hugging-face
anton-l
wav2vec2-large-xlsr-53-mongolian

anton-l/wav2vec2-large-xlsr-53-mongolian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на монгольском языке. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио, записанное с частотой дискретизации 16 кГц, и преобразует речь в текст; для распознавания можно использовать её напрямую, без языковой модели. Модель обучалась на обучающей и валидационной частях Common Voice. В README приведён результат 38,53% на тестовых данных Common Voice для монгольского языка; метрика не уточнена. Модель распространяется по лицензии Apache-2.0. Хотя в репозитории представлены варианты PyTorch и Flax, заявленная задача — распознавание монгольской речи.

66K0март 2022
textaudioapache-2.0hugging-face
aiola
whisper-ner-v1

Whisper-NER — модель семейства Whisper, представленная авторами работы «WhisperNER: Unified Open Named Entity and Speech Recognition». Она совместно преобразует речь в текст и распознаёт в нём именованные сущности открытого типа, то есть может выделять разные типы сущностей, заданные во время использования. Модель предназначена как базовая для последующей настройки под конкретные наборы данных и сценарии распознавания речи с извлечением сущностей. Модель содержит около 905,2 млн параметров, принимает аудио и выдаёт транскрипцию с распознанными сущностями. В метаданных указан английский язык, а лицензия репозитория — MIT. Карточка не приводит метрики качества и подробностей о поддерживаемых аудиоформатах; для повышения качества на прикладных данных авторы рекомендуют дообучение.

14224сент. 2024ctx1K
textaudiomithugging-face
igorsterner
xlmr-multilingual-sentence-segmentation

xlmr-multilingual-sentence-segmentation — модель Igor Sterner для автоматического разделения текста на предложения. Это дообученная XLM-RoBERTa-base с классификационной головой для разметки токенов; она обучалась на искажённой версии датасетов Universal Dependencies. Модель содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется под лицензией MIT. Модель предназначена для определения границ предложений во многих языках, в том числе при сегментации текстов и машинных переводов. В README приведены результаты на Opus100 и Universal Dependencies; для первой оценки указаны precision 0,9664, recall 0,9677 и F1 0,9670 на также искажённом наборе. Автор предупреждает, что модель больше не поддерживается и рекомендует обновлённую версию. Результаты на искажённых данных следует интерпретировать с осторожностью.

355март 2024ctx514
textmithugging-face
DeepPavlov
bert-base-cased-conversational

DeepPavlov/bert-base-cased-conversational — англоязычная разговорная модель BERT, разработанная DeepPavlov на основе английского BERT-base с сохранением регистра. Она обучалась на англоязычных сообщениях Twitter и Reddit, диалогах DailyDialogues, субтитрах OpenSubtitles, дебатах, блогах и комментариях к новостям Facebook. Модель предназначена для извлечения контекстных признаков из текста; карточка также сообщает о загрузке версии с MLM- и NSP-головами. Архитектура — BERT-base: 12 слоёв, скрытый размер 768 и 12 голов внимания. В README указано 110 млн параметров, а в метаданных — 135,5 млн; контекст составляет до 512 токенов. В метаданных отмечены английский язык и форматы PyTorch и Flax. Модель подходит для получения контекстных представлений разговорного английского текста, которые можно использовать в последующих NLP-задачах. Она не является генеративным чат-ботом и сама по себе не предназначена для свободной генерации ответов. Лицензия в предоставленных данных не указана.

1638март 2022ctx512
textembeddinghugging-face
onnx-community
bert-base-multilingual-cased-ner-hrl-ONNX

onnx-community/bert-base-multilingual-cased-ner-hrl-ONNX — ONNX-версия модели Davlan/bert-base-multilingual-cased-ner-hrl, автоматически сконвертированная и опубликованная сообществом ONNX на Hugging Face. Модель основана на многоязычной базовой версии BERT mBERT и предназначена для распознавания именованных сущностей в текстах. Модель решает задачу token classification и выделяет три типа сущностей: людей (PER), организации (ORG) и местоположения (LOC). Она обучена для арабского, немецкого, английского, испанского, французского, итальянского, латышского, нидерландского, португальского и китайского языков. Предусмотрено использование через Transformers.js и pipeline token-classification, что подходит для локального или браузерного инференса в ONNX-совместимой среде. Сильной стороной модели является единая многоязычная архитектура для десяти языков и поддержка определения границ соседних сущностей одного типа. Ограничение заключается в том, что обучение проводилось на размеченных новостных статьях определённого периода, поэтому качество может снижаться на текстах других доменов и в иных сценариях. Размер контекста и точные параметры ONNX-конфигурации в README не указаны. Модель распространяется по лицензии AFL-3.0.

1.5K1март 2026ctx512
textafl-3.0hugging-face
textattack
bert-base-uncased-SST-2

Это модель классификации текста, опубликованная TextAttack: BERT-base-uncased, дообученная для определения тональности по набору SST-2. Она относит входной текст к положительному или отрицательному классу и подходит для анализа коротких отзывов и фраз на английском языке. Модель использует архитектуру BERT для классификации последовательностей, содержит около 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Доступны веса PyTorch и Flax. Карточка предлагает использовать её через Transformers как text-classification pipeline; лицензия в доступных сведениях не установлена.

35K5март 2022ctx512
texthugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей