/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
3 871–3 900 из 23 488
yanxiaodong
MyAwesomeModel-TestRepo

MyAwesomeModel — модель из репозитория пользователя yanxiaodong на Hugging Face, предназначенная для извлечения признаков из текста. В метаданных она классифицирована как feature-extraction и связана с библиотекой Transformers, PyTorch и архитектурой BERT. Лицензия модели — MIT. README описывает обновлённую версию модели с улучшениями рассуждений, математического и логического анализа, программирования, понимания языка, генерации текста, следования инструкциям и function calling. Однако эти сведения представлены преимущественно в виде общих заявлений и таблицы оценок, тогда как основной pipeline-тег указывает на извлечение признаков, поэтому модель следует рассматривать прежде всего как компонент для получения векторных представлений текста.

3310сент. 2026
textembeddingmithugging-face
shubhamgantayat
my_pii_model_bert_large_uncased_2

Это дообученная модель BERT Large Uncased от разработчика shubhamgantayat для классификации токенов. По названию модели она предназначена для обнаружения персональных данных (PII) в тексте; README не раскрывает метки, данные обучения или подробности оценки, поэтому точный перечень распознаваемых типов данных установить нельзя. Модель принимает текст и выдаёт метки для отдельных токенов. Модель содержит 433,9 млн параметров, использует архитектуру BertForTokenClassification и контекст длиной до 512 токенов. Базовая модель ориентирована на английский язык; отдельные сведения о языках обучения и оценки этой версии не приведены. Доступна в формате safetensors. Лицензия — Apache-2.0. README не описывает ограничения и рекомендуемые сценарии использования; качество распознавания и применимость к конкретным типам PII следует оценивать на целевых данных.

70апр. 2024ctx512
textapache-2.0hugging-face
opencsg
opencsg-starcoder2-7b-v0.1

opencsg/opencsg-starcoder2-7b-v0.1 — модель генерации кода, созданная исследовательской командой OpenCSG полнопараметрическим дообучением StarCoder2. В метаданных указаны архитектура StarCoder2 с плотной causal language model, 9,9 млрд параметров и контекст до 16 384 токенов. Модель предназначена для генерации и продолжения программного кода. В README приведена оценка на HumanEval для Python: Pass@1 составил 42,68% при жадном декодировании и исходных промптах без дополнительных инструкций. Указанная в README поддержка более 80 языков программирования относится к исходному семейству StarCoder; отдельных сведений о языках и данных дообучения этой версии карточка не приводит. Модель распространяется по лицензии BigCode OpenRAIL-M. Оценка приведена только для одного бенчмарка и зависит от настроек декодирования; карточка отмечает, что дополнительных результатов и практических оценок для задач разработки пока нет.

790март 2024ctx16.4K
textbigcode-openrail-mhugging-face
Thibault-GAREL
opener-sup

OPENER-Sup — модель для распознавания и типизации сущностей в открытом наборе классов, разработанная авторами OPENER. Это дообученный на контрастивных примерах текстовый эмбеддер на базе NomicBert из nomic-ai/nomic-embed-text-v1.5; он формирует векторы упоминаний, а для supervised-режима к ним применяется небольшой сбалансированный линейный классификатор LinearSVC, обученный на размеченных примерах целевых классов. В описанном конвейере обнаружение упоминаний выполняет замороженный GLiNER-L, затем OPENER-Sup кодирует их для типизации. Модель предназначена для открытого распознавания именованных сущностей и их классификации по пользовательским меткам. README сообщает результаты на бенчмарке из 13 датасетов: 40,2 end-to-end AMI и 62,5 на эталонных упоминаниях; указаны также вычислительная эффективность около 143 мс и 1,6 Вт·ч. Контекст модели — 2048 токенов. Для применения supervised-классификатора нужны размеченные целевые упоминания; веса классификационной головы обучаются под конкретный набор меток. Лицензия репозитория — MIT.

211июнь 2026ctx2K
textembeddingmithugging-face
aiplanet
panda-coder-13B

Panda-Coder 13B — языковая модель AI Planet для генерации кода по инструкциям на естественном языке. Это дообученная версия CodeLlama-13B-Instruct с архитектурой LlamaForCausalLM и примерно 12,9 млрд параметров; модель распространяется в формате safetensors и рассчитана на контекст до 16 384 токенов. Модель предназначена для преобразования текстовых запросов в код и помощи в решении задач программирования. При дообучении использовались наборы инструкций TokenBender/code_instructions_122k_alpaca_style и Evol-Instruct-Code-80k-v1. В карточке заявлена поддержка английского языка; примеры охвата других языков программирования в README относятся к возможным будущим улучшениям. Для запуска автор рекомендует vLLM и видеокарту с 30 ГБ VRAM, предпочтительно A100. Лицензия — Apache-2.0. Качество и корректность сгенерированного кода следует проверять: README не приводит результатов независимых оценок.

4614окт. 2023ctx16.4K
textapache-2.0hugging-face
Pinkstack
Parm-2-CoT-14B-16k-o1-QwQ

Parm-2-CoT-14B-16k-o1-QwQ — языковая модель Pinkstack, дообученная на базе Microsoft Phi-4 для рассуждений и генерации текста. Она ориентирована на диалоги, решение математических задач, ответы на вопросы, требующие многошагового анализа, и программирование. В карточке указано, что модель обучалась на датасете amphora/QwQ-LongCoT-130K; архитектура репозитория обозначена как LlamaForCausalLM, веса доступны в формате safetensors. Размер модели — 14,1 млрд параметров, контекст — 16 384 токена. Модель поддерживает текстовый ввод и выдаёт текст. Автор отмечает высокие результаты на отдельных тестах рассуждений, математики и знаний, но приводит низкий результат IFEval и связывает его с постоянным пошаговым рассуждением. Для устойчивых результатов рекомендуется низкая температура; иногда модель может завершить рассуждение без итогового ответа. Лицензия — MIT.

767янв. 2025ctx16.4K
textmithugging-face
q-future
Q-ReAlign-Mini-0.8B

Q-ReAlign-Mini-0.8B — компактная мультимодальная модель оценки качества изображений и видео, разработанная проектом Q-ReAlign на основе Qwen3.5-VL. Это плотная vision-language-модель с архитектурой Qwen3_5ForConditionalGeneration, гибридным текстовым блоком с линейным и полным вниманием и визуальным энкодером в стиле SigLIP. Модель дообучена полным SFT в bf16; размер — 0,8 млрд параметров. Модель оценивает воспринимаемое качество изображений и эстетическую привлекательность, а также качество видео по последовательности кадров. Она распределяет вероятность между категориями excellent, good, fair, poor и bad, затем сводит её к числу от 0 до 1, где большее значение означает лучшее качество. Это подходит для пакетной оценки и ранжирования медиа, отбора данных и получения сигналов вознаграждения в генеративных системах. README сообщает о результатах на семи наборах оценки качества и высокой скорости вывода, в том числе 26,7 изображения в секунду на RTX 4090 при размере пакета 4. Оценки отражают восприятие, обусловленное обучающими данными, поэтому абсолютные значения лучше интерпретировать относительно друг друга; перед объединением с другими шкалами рекомендуется калибровка. Модель не предназначена для модерации безопасности, проверки фактов и личности, медицинской или судебной оценки. Лицензия — Apache-2.0.

94K7июнь 2026ctx262.1K
textimageapache-2.0hugging-face
MMOPD
Qwen3-4B-OT3-2ep

MMOPD/Qwen3-4B-OT3-2ep — плотная языковая модель семейства Qwen3, дообученная командой проекта MMOPD на наборе OpenThoughts3-1.2M. Это чекпойнт после двух эпох обучения на трассах рассуждений по математике, программированию и науке; в проекте его также используют как основу для специализированных моделей и экспериментов с дистилляцией. Модель содержит 3,7 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации ответов с пошаговым рассуждением, в том числе при решении математических задач, написании кода и ответах на научные вопросы. Она использует шаблон чата Qwen3 и формат thinking; для работы с ним README рекомендует включать `enable_thinking=True` и использовать сэмплирование. В карточке приведены результаты тестов на общих и доменных бенчмарках, включая медицинские и финансовые наборы, но это не означает специализацию модели в этих областях. Лицензия — Apache-2.0.

700сент. 2026ctx32.8K
textapache-2.0hugging-face
17slever17
Qwen3-ForcedAligner-Ultra

Qwen3-ForcedAligner-Ultra — мультиязычная модель принудительного выравнивания текста с речью, созданная автором карточки на основе Qwen/Qwen3-ForcedAligner-0.6B. Она принимает аудио и соответствующую расшифровку и определяет временные границы слов; предназначена для разметки субтитров, исправления расшифровок, подготовки речевых датасетов и проставления временных меток в результатах распознавания речи. Модель относится к семейству Qwen3 ASR и дообучена с помощью LoRA; основной чекпойнт использует обучаемую временную голову. Опциональная Local Head уточняет границы внутри выбранного акустического участка с шагом 10 мс. Обучение охватывало шумную, акцентированную и разговорную речь, ошибки и пропуски в расшифровке, а также переключение языков. Заявленная поддержка включает китайский, английский, кантонский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский; наиболее подробно дообучались и оценивались девять языков, а кантонский и португальский рекомендуется проверять на целевых данных. В описанной автором оценке на многоязычной выборке модель заметно сократила среднюю ошибку временных границ и долю крупных выбросов по сравнению с исходным чекпойнтом; Local Head дополнительно повышает точность локальных границ. Результаты зависят от качества аудио и расшифровки, а показатели для двух поддерживаемых языков имеют меньший охват оценки. Модель распространяется по лицензии Apache-2.0.

5623авг. 2026ctx131.1K
textaudioapache-2.0hugging-face
SenseLLM
ReflectionCoder-CL-7B

ReflectionCoder-CL-7B — языковая модель для генерации кода, разработанная SenseLLM. Подход ReflectionCoder использует последовательности рефлексии, построенные с учётом обратной связи компилятора, чтобы улучшать генерацию кода за один запрос. В карточке для этой версии приведены результаты HumanEval 75,0 (68,9) и MBPP 72,2 (61,4). Модель основана на плотной архитектуре Llama и содержит 6,6 млрд параметров. Она принимает текст и выдаёт текст; заявленный контекст составляет 16 384 токена. В метаданных указан английский язык. Доступна в формате safetensors и использует шаблон диалога для общения через Transformers. Лицензия в метаданных — Apache-2.0. README отдельно обозначает лицензию модели как Llama2, поэтому условия распространения и использования следует сверить с лицензиями базовой модели и проекта.

231май 2024ctx16.4K
textapache-2.0hugging-face
replit
replit-code-v1-3b

replit-code-v1-3b — языковая модель Replit, Inc. с архитектурой MPT и примерно 2,7 млрд параметров, предназначенная прежде всего для автодополнения кода. Она обучена на 525 млрд токенов из смеси данных, основанной на очищенной дедуплицированной версии The Stack; среди языков и форматов в обучающей смеси указаны Python, JavaScript, Java, TypeScript, SQL, C++, Rust, Go, HTML и Markdown. Модель использует токенизатор SentencePiece Unigram с кодо-ориентированным словарём на 32 768 токенов и позиционные встраивания ALiBi. Модель подходит как базовая для прикладной тонкой настройки и для дополнения фрагментов кода в редакторах и инструментах разработчика. В README отмечены возможные неподходящие или оскорбительные фрагменты в обучающих данных и рекомендация проверять результаты перед использованием в производственных системах. Лицензия — CC BY-SA 4.0.

1.9K746апр. 2023ctx2K
textcc-by-sa-4.0hugging-face
51la5
roberta-large-NER

51la5/roberta-large-NER — модель классификации токенов на базе XLM-RoBERTa-large, дообученная на наборе CoNLL-2003 для английского языка. XLM-RoBERTa разработана авторами соответствующей исследовательской работы и основана на RoBERTa; базовая модель обучалась на многоязычных данных CommonCrawl. Модель содержит 658,7 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Основное назначение — распознавание именованных сущностей в английском тексте: модель присваивает метки отдельным токенам. Архитектура XLM-RoBERTa многоязычная, но это дообучение проведено на английском CoNLL-2003; README также указывает классификацию токенов и разметку частей речи как возможные сценарии. Для прикладного использования следует учитывать возможные систематические ошибки и смещения в распознавании сущностей, в том числе для разных демографических групп. Лицензия в карточке не определена, поэтому условия распространения и использования следует уточнить у владельца репозитория.

16K53окт. 2022ctx514
texthugging-face
PaddlePaddle
RT-DETR-L_wired_table_cell_det_safetensors

RT-DETR-L_wired_table_cell_det_safetensors — модель PaddlePaddle для обнаружения ячеек в изображениях таблиц. Она находит области ячеек и выдаёт для них ограничивающие рамки, которые можно передать следующему этапу распознавания структуры таблицы. Модель построена на архитектуре RT-DETR; в репозитории веса представлены в формате safetensors. Модель предназначена для обработки изображений таблиц в составе конвейера распознавания документов. В README отмечено, что заявленная точность получена при совместном тестировании с RT-DETR-L_wireless_table_cell_det, поэтому результаты нельзя однозначно приписать этому компоненту отдельно. Лицензия — Apache-2.0.

871апр. 2026
textimageapache-2.0hugging-face
DMetaSoul
sbert-chinese-general-v1

DMetaSoul разработала DMetaSoul/sbert-chinese-general-v1 — модель Sentence-Transformers на базе BERT, дообученную на наборах данных для семантического сходства и перефразирования, включая NLI, PAWS-X, PKU-Paraphrase-Bank и STS. Она предназначена для общего семантического сопоставления китайских текстов: извлечения векторов предложений, кластеризации текстов и семантического поиска. Модель содержит 129,5 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 512 токенов. Лицензия Apache-2.0. В карточке приведены результаты на нескольких наборах оценки: модель особенно хорошо показала себя на Chinese-STS, но на других задачах результаты неоднородны. Авторы отмечают риск переобучения и предупреждают, что модель не оптимальна для всех задач.

1816март 2022ctx512
textembeddingapache-2.0hugging-face
Kukedlc
Smart-LLama-3-8b-Python-v5

Kukedlc/Smart-LLama-3-8b-Python-v5 — разработанная Kukedlc дообученная языковая модель семейства Llama для генерации текста и диалогов. Она основана на Kukedlc/Smart-LLama-3-8b-Python-v2-16bit и рассчитана на сценарии, связанные с Python, согласно описанию базовой модели в каталоге. Модель имеет плотную архитектуру LlamaForCausalLM и содержит 7,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает английский язык, а контекст составляет до 8192 токенов. Обучение проводилось с использованием Unsloth и библиотеки Hugging Face TRL. Модель распространяется в формате safetensors по лицензии Apache 2.0. Карточка не приводит оценок качества или подробностей ограничений; применимость ответов по Python следует проверять на целевых задачах.

250май 2024ctx8.2K
textapache-2.0hugging-face
syntropy-ai
Soren-1-Small

Soren-1-Small — диалоговый ассистент, созданный Andy из Syntropy-AI в рамках Project Syntropic. Это плотная decoder-only модель семейства Qwen3.5 с 1,7 млрд параметров, дообученная на Qwen/Qwen3.5-2B с помощью последовательного supervised fine-tuning и direct preference optimization. Модель предназначена для диалогов, следования инструкциям, рассуждений и помощи в программировании. Контекстное окно расширено до 1 048 576 токенов с помощью YaRN 4x после обучения. В шаблон чата встроен системный промпт с описанием личности и стиля ассистента. Разработчик заявляет, что модель старается избегать выдуманных фактов и API, а также писать цельный код; в карточке указано, что результат на GSM8K составил 60% и математическая доработка ещё планируется. Модель принимает текст и генерирует текст. Она выпущена под лицензией Apache-2.0. Заявления о качестве и снижении галлюцинаций исходят от разработчика; приведённый результат GSM8K указывает на ограничения в математических задачах.

13341май 2026ctx1M
textapache-2.0hugging-face
tensorlake
speaker-diarization-3.1

Модель speaker-diarization-3.1 — открытый конвейер для диаризации речи, связанный с экосистемой pyannote.audio. Он определяет, кто и когда говорит в аудиозаписи, и возвращает результат в виде объекта Annotation; вывод можно сохранить, например, в формате RTTM. Версия 3.1 является развитием pyannote/speaker-diarization-3.0 и устраняет использование onnxruntime: сегментация речи и построение голосовых эмбеддингов выполняются в чистом PyTorch. Конвейер предназначен для автоматической диаризации аудио, включая определение активности речи, обнаружение смены говорящих и обработку перекрывающейся речи. Он работает с монофоническим аудио с частотой 16 кГц; многоканальные записи автоматически сводятся к моно, а аудио с другой частотой дискретизации преобразуется при загрузке. Количество говорящих может определяться автоматически либо задаваться явно или ограничиваться минимальным и максимальным значением. Обработка выполняется на CPU по умолчанию, но поддерживается запуск на GPU через PyTorch. К сильным сторонам относятся полностью автоматическая обработка без ручного VAD и обязательного указания числа говорящих, а также отсутствие зависимости от onnxruntime, что упрощает развёртывание и потенциально ускоряет инференс. В README приведён результат тестирования на AISHELL-4 с DER 12,2%, включая оценку перекрывающейся речи. Ограничения включают необходимость установки pyannote.audio версии 3.1 или выше, принятия условий использования связанных моделей и наличия токена Hugging Face. Лицензия модели — MIT; README также содержит предложение рассмотреть коммерческие решения pyannoteAI для более быстрых или производительных сценариев.

1.2K4июль 2024
textaudiomithugging-face
bigcode
starcoder2-15b

StarCoder2-15B — плотная авторегрессионная модель генерации кода, разработанная проектом BigCode. Она обучена на более чем 4 триллионах токенов из The Stack v2 и других источников, охватывая более 600 языков программирования. Модель использует архитектуру Transformer decoder с Grouped Query Attention и скользящим вниманием; контекстное окно составляет 16 384 токена, область скользящего внимания — 4 096 токенов. В метаданных указано 21,7 млрд параметров. Модель предназначена для продолжения и дополнения кода, в том числе по Fill-in-the-Middle: она может генерировать фрагменты с учётом окружающего кода. Это не instruction-модель, поэтому запросы на естественном языке вроде просьбы написать функцию могут работать хуже, чем продолжение кода по заданному контексту. Модель обучена преимущественно на коде, а английский преобладает среди естественных языков обучающих данных. Сгенерированный код может содержать ошибки, быть неэффективным или небезопасным и не гарантированно соответствует задаче. Модель способна воспроизводить фрагменты исходного кода из обучающих данных, поэтому перед использованием результата следует учитывать лицензию исходного кода и требования атрибуции. Лицензия модели — BigCode OpenRAIL-M.

9.8K683февр. 2024ctx16.4K
textbigcode-openrail-mhugging-face
thuml
sundial-base-128m

Sundial (Timer 3.0) — генеративная фундаментальная модель временных рядов, разработанная командой THUML. Версия с 113,2 млн параметров предварительно обучена на более чем 1 трлн временных точек и предназначена для прогнозирования временных рядов, в том числе без дополнительного обучения на конкретном наборе данных. Модель поддерживает точечные и вероятностные прогнозы: по сгенерированным вариантам можно получать средние значения, квантили и другие статистические оценки. Архитектура включает decoder-only Transformer с причинной маской и патчевым представлением входных рядов; README описывает контекст до 2880 временных шагов и предсказание до 720 шагов. Каталог указывает контекст 10 000 токенов, поэтому фактический предел зависит от используемого представления и конфигурации. Sundial рассчитана на прогнозирование в разных прикладных областях, где доступны числовые временные ряды. Для удобства инференса заявлены KV cache и FlashAttention; модель доступна в формате safetensors и интегрирована в Transformers. Лицензия — Apache-2.0. Результаты бенчмарков из README не гарантируют такую же точность на конкретных данных; совместимость Quickstart привязана к указанной версии Transformers и Python.

41K81май 2025ctx10K
textapache-2.0hugging-face
nsugianto
tblstructrecog_finetuned_tbltransstrucrecog_semicplx_v1_s1_226s_adjpar6_lr1e5_dec1e4_bs8

Это дообученная модель Table Transformer для обнаружения объектов, разработанная на основе nsugianto/tblstructrecog_finetuned_tbltransstrucrecog_semicplx_v1_s1_226s_adjpar6_lr1e6_dec1e5_bs4. В карточке указаны архитектура TableTransformerForObjectDetection, 6,3 млн параметров, формат safetensors и лицензия MIT. Модель предназначена для обнаружения объектов, связанных со структурой таблиц; конкретные классы объектов и обучающие данные не описаны.

110июнь 2024ctx1K
imagemithugging-face
marcovise
TextEmbedding3SmallSentimentHead

marcovise/TextEmbedding3SmallSentimentHead — компактная PyTorch-модель для классификации тональности, созданная разработчиком marcovise. Это MLP-голова с 256 скрытыми узлами и dropout 0,2, обученная поверх эмбеддингов OpenAI text-embedding-3-small размерности 1536. На вход принимает батч float32-векторов эмбеддингов, а на выходе выдаёт оценки для трёх классов: негативная, нейтральная и позитивная тональность. Модель предназначена для быстрой классификации коротких текстов после получения эмбеддингов. В README указаны результаты на отложенной валидационной выборке: macro-F1 около 0,89 и accuracy около 0,89. Для обучения использовалась предобработанная версия Kaggle Sentiment Analysis Dataset; репозиторий содержит веса PyTorch и распространяется по лицензии MIT.

156авг. 2025
textmithugging-face
aslakey
text_overlay_detection

aslakey/text_overlay_detection — модель классификации изображений на базе Dinov2 with Registers, опубликованная пользователем aslakey. Она определяет, присутствует ли на изображении наложенный текст: субтитры, титры, водяные знаки, рекламные сообщения или поясняющие подписи. Модель обучена на 2 тысячах пар изображений, размеченных с помощью VLM и затем вручную; модифицированный препроцессор отключает центральное кадрирование, чтобы учитывать текст в углах изображения. Модель предназначена для отбора изображений с выжженным текстом при подготовке данных для генерации изображений и видео, очистки рекламных креативов и предварительной обработки данных для сравнения изображений или создания пар для генерации оформления заголовков. В README указаны precision, recall и F1-score 0,97–0,99 для классов «есть наложенный текст» и «нет наложенного текста» на использованной оценке. Размер модели — 402,7 млн параметров; веса опубликованы в формате safetensors для Transformers. Лицензия и языковая привязка метками модели не подтверждены; модель классифицирует наличие текста, а не распознаёт его содержание.

161нояб. 2025
imagehugging-face
nreimers
TinyBERT_L-4_H-312_v2

nreimers/TinyBERT_L-4_H-312_v2 — версия General_TinyBERT_v2, перенесённая в библиотеку Hugging Face Transformers. Это компактная модель архитектуры BERT с 4 слоями и размерностью скрытого представления 312; в метаданных указано 15,6 млн параметров и максимальная длина контекста 512 токенов. Модель предназначена для извлечения контекстных векторных представлений текста и использования в задачах, построенных на таких представлениях. Модель принимает текст и выдаёт векторные представления. В карточке указаны реализации PyTorch и Flax. Языковая специализация и условия лицензии в доступных данных не описаны.

168K1март 2022ctx512
textembeddinghugging-face
universalner
uner_slo_snk

Модель unerslosnk — дообученная версия XLM-RoBERTa-large для классификации токенов на наборе данных uner_slo_snk. Она предназначена для разметки последовательностей, например извлечения сущностей или других меток на уровне токенов; конкретная схема меток в карточке не описана. Модель содержит 658,7 млн параметров, использует архитектуру XLM-RoBERTa и принимает текст с контекстным окном 514 токенов. В оценке на тестовой выборке указаны F1 0,8425, точность 0,8090, полнота 0,8789 и accuracy 0,9834. Эти значения относятся к конкретному набору данных и не гарантируют аналогичного качества на других текстах. Модель распространяется по лицензии MIT.

6560июнь 2024ctx514
textmithugging-face
Universal-NER
UniNER-7B-type-sup

UniNER-7B-type-sup — модель семейства LLaMA, обученная на сочетании синтетических данных Pile-NER-type, созданных ChatGPT, и 40 размеченных наборов данных бенчмарка Universal NER. Из обучающей выборки исключены CrossNER и MIT для оценки обобщения на данные вне обучающего распределения. Модель предназначена для извлечения именованных сущностей и генерации ответов в формате text-generation. Она содержит 6,6 млрд параметров, принимает текст и поддерживает контекст до 2048 токенов. В метаданных указан английский язык. Модель опубликована под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. README отсылает к статье и репозиторию с инструкциями по применению, но не приводит результаты оценки качества.

158авг. 2023ctx2K
textcc-by-nc-4.0hugging-face
ARTPARK-IISc
Vaani-LID_v0

ARTPARK-IISc разработала Vaani-LID_v0 — модель классификации устной речи по языку для 42 языков Индии и соседних регионов. Она принимает аудио и определяет, на каком из поддерживаемых языков или вариантов языка говорят. Модель построена на энкодере whisper-large-v3-turbo с модулем pooled attention и линейным классификатором. Она дообучена целиком на наборе ARTPARK-IISc/Vaani. В оценке на тестовых выборках точность составила 0,71 на FLEURS, 0,63 на Kathbath и 0,77 на Vaani. Модель подходит для определения языка в аудиозаписях, например перед выбором последующей системы распознавания речи. Она выдаёт метку языка, а не текстовую расшифровку речи. Лицензия — MIT.

4614февр. 2026
audiomithugging-face
TraiNC
vlm_ocr_lora

TraiNC/vlm_ocr_lora — дообученная TraiNC модель на базе мультимодальной Qwen3.5-0.8B от Unsloth. Она предназначена для задач «изображение-текст», в частности для OCR и извлечения текста с изображений и документов. Архитектура — плотная Qwen3.5 с поддержкой зрения; репозиторий содержит веса Safetensors. Модель рассчитана на англоязычные сценарии. Модель принимает изображения и текстовые запросы, а выдаёт текст. Она может подойти для распознавания текста на изображениях, извлечения полей из документов и прототипирования OCR-процессов. В карточке указаны лицензия Apache-2.0 и дообучение с использованием Unsloth и библиотеки TRL; параметры контекста и результаты оценки качества не приведены.

130июль 2026ctx262.1K
textimageapache-2.0hugging-face
jonatasgrosman
wav2vec2-large-english

jonatasgrosman/wav2vec2-large-english — модель распознавания английской речи, дообученная Jonatas Grosman на основе facebook/wav2vec2-large. Она использует архитектуру Wav2Vec2 с CTC-выходом и содержит 402,7 млн параметров. Модель преобразует аудиозаписи в текст и рассчитана на английскую речь; входной звук должен быть дискретизирован с частотой 16 кГц. Модель подходит для транскрибирования английской речи, в том числе записей, похожих на примеры из Common Voice 6.1. В оценке на тестовых данных Common Voice автор сообщает WER 21,53% и CER 9,66%; результаты зависят от данных и способа оценки. Для использования опубликована лицензия Apache-2.0.

415март 2022
textaudioapache-2.0hugging-face
facebook
webssl-dino3b-heavy2b-224

Web-SSL DINO ViT-3B Heavy Filtered 2B — визуальная модель семейства DINOv2, разработанная авторами работы «Scaling Language-Free Visual Representation Learning» (Fan et al., 2025). Это ViT с 3,9 млрд параметров по метаданным, обученный методом самообучения на тщательно отфильтрованных веб-изображениях без языковой супервизии. Модель принимает изображения размером 224×224 пикселя и предназначена для извлечения визуальных признаков. В обучающую выборку Heavy2B преимущественно отбирались изображения с диаграммами, таблицами и документами с читаемым текстом; README сообщает, что такие изображения составляют 1,3% исходного набора MetaCLIP. Фокус на этих материалах улучшает возможности OCR и понимания диаграмм, при этом модель рассчитана и на общие задачи компьютерного зрения. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства на некоммерческих условиях.

8503апр. 2025
imageembeddingcc-by-nc-4.0hugging-face
qmeeus
whisper-small-multilingual-spoken-ner-pipeline-step-1

qmeeus/whisper-small-multilingual-spoken-ner-pipeline-step-1 — дообученная модель на основе Whisper Small от OpenAI для извлечения именованных сущностей из речи. Она предназначена для конвейеров spoken NER: модель принимает аудио и формирует текстовый результат с распознанными сущностями. Дообучение выполнено на немецкой, испанской, французской и нидерландской частях датасета facebook/voxpopuli; размер модели — 153,1 млн параметров, веса сохранены в формате safetensors. В README приведены метрики оценки: F1 0,6260, Label F1 0,8282 и WER 0,1170. Модель подходит для извлечения сущностей из речи на языках обучающих данных. Метаданные указывают лицензию Apache-2.0. Оценочные метрики отражают результаты на указанной в карточке выборке и сами по себе не гарантируют качество на других данных или языках.

90янв. 2024ctx1K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей