/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
4 351–4 380 из 23 488
RusCucumber
en_ud_L1_combined_trf

en_ud_L1_combined_trf — англоязычная модель на базе spaCy, предназначенная для морфосинтаксического анализа текста. Она выполняет разметку частей речи и синтаксический разбор зависимостей, используя компоненты tagger и parser; схема охватывает 99 меток. Для версии 1.0.2 требуется spaCy 3.5.3 или новее. В карточке указаны результаты оценки: точность разметки частей речи TAG_ACC — 97,20%, UAS — 93,72% и LAS — 91,70%. Модель подходит для извлечения грамматических признаков и структуры предложений в англоязычных текстах. Данных о размере модели и лицензии в предоставленных источниках нет.

2010июнь 2025
texthugging-face
IDEA-CCNL
Erlangshen-TCBert-330M-Sentence-Embedding-Chinese

Erlangshen-TCBert-330M-Sentence-Embedding-Chinese — китайская модель семейства BERT, разработанная командой Fengshenbang/IDEA-CCNL. Это TCBert с заявленными в карточке 330 млн параметров; метаданные указывают 424,3 млн параметров. Модель предварительно обучена на многочисленных наборах данных классификации тем с помощью контрастного обучения на основе промптов, чтобы формировать представления предложений для задач тематической классификации. Модель рассчитана на китайский текст, имеет контекст до 512 токенов и опубликована в формате PyTorch. Её можно применять для получения векторных представлений предложений, тематической классификации и оценки сходства предложений, в том числе с промптами и whitening, как описано в карточке. Метаданные Hugging Face задают задачу fill-mask, поэтому модель также может предсказывать замаскированные токены. Лицензия — Apache-2.0. Карточка приводит результаты экспериментов на TNEWS, CSLDCP и IFLYTEK; показатели зависят от шаблонов промптов и обработки представлений. Для получения векторов и выполнения задач классификации потребуется подходящий downstream-код; самой карточкой не заявлены отдельные специализированные области применения помимо классификации тем.

459окт. 2022ctx512
textapache-2.0hugging-face
stillerman
fdt-disfluency-small-29m-v2

stillerman/fdt-disfluency-small-29m-v2 — модель разметки слов в расшифровках разговорной речи, разработанная в рамках проекта FluencyAI digital-twin. Она помечает каждое слово тегом KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE, после чего простая реконструкция удаляет слова-паразиты и выполняет предусмотренные изменения пунктуации и регистра. Модель предназначена для очистки транскриптов живой речи с сохранением исходной формулировки. Это BERT L4/H512 для классификации токенов; в метаданных указано 32,4 млн параметров и контекст 512 токенов. Репозиторий содержит веса safetensors и квантованный ONNX-вариант int8 для запуска через transformers.js, в том числе в браузере с WebGPU. В README указаны exact-match 0,9255 и DELETE-F1 0,9874 на валидации. Модель удаляет помеченные слова, но не переписывает фразы и не исправляет содержание, имена или числа. Обучающие данные включают синтетически внесённые речевые сбои поверх разговорных корпусов; среди них DailyDialog под лицензией CC BY-NC-SA, поэтому автор рекомендует не использовать модель для коммерческого развертывания без отдельной проверки прав. Лицензия репозитория — Apache-2.0.

190июль 2026ctx512
textapache-2.0hugging-face
stillerman
fdt-disfluency-tiny-4m

stillerman/fdt-disfluency-tiny-4m — небольшая модель разметки слов для очистки расшифровок разговорной речи, разработанная Stillerman в рамках проекта FluencyAI. Она присваивает каждому слову один из тегов KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE, после чего простое восстановление по тегам формирует очищенный текст. Модель предназначена для обработки транскриптов живой речи, в том числе с запуском в браузере через transformers.js и ONNX Runtime WebGPU. В основе — BERT L2/H128 с 4,4 млн параметров и контекстом до 512 токенов; доступны веса safetensors и квантованный ONNX int8. Валидационные показатели из карточки: exact match 0,5980 и DELETE-F1 0,8892. Разметка ограничена удалением дисфлюенций и простыми изменениями пунктуации и регистра: модель не перефразирует текст и не предназначена для общей коррекции транскрипции. Лицензия репозитория — Apache-2.0, однако обучение частично использовало DailyDialog по CC BY-NC-SA; автор рекомендует считать модель исследовательским артефактом и не применять её в коммерческих целях без отдельной проверки условий использования данных.

130июль 2026ctx512
textapache-2.0hugging-face
akshataupadhye
finetuning-sentiment-model-reddit-data

Модель akshataupadhye/finetuning-sentiment-model-reddit-data — классификатор текста на базе DistilBERT, дообученный на наборе данных, который в карточке не описан. Она предназначена для определения тональности текстов, в том числе сообщений Reddit. В метаданных указана архитектура DistilBertForSequenceClassification и максимальная длина контекста 512 токенов. На оценочном наборе модель показала accuracy 0,8845 и F1 0,8845; состав классов и подробности оценки не приведены. Распространяется по лицензии Apache-2.0.

80янв. 2024ctx512
textapache-2.0hugging-face
meetkai
functionary-small-v2.5

Functionary Small v2.5 — языковая модель семейства Llama, разработанная MeetKai для диалогов с вызовом функций и плагинов. Модель имеет 7,5 млрд параметров, использует плотную архитектуру и контекст до 8192 токенов; в репозитории представлены веса Safetensors. Лицензия — MIT. Модель принимает сообщения диалога и определения функций в формате JSON Schema, представленные в шаблоне Functionary, и генерирует текстовые ответы или вызовы инструментов. Она умеет выбирать, когда вызвать функцию, выполнять вызовы последовательно или параллельно, учитывать результаты инструментов в ответе и продолжать беседу без инструментов, когда они не нужны. В карточке также заявлена поддержка code interpreter. Модель подходит для создания чат-ассистентов, которым нужно обращаться к внешним API, плагинам или интерпретатору кода. Для запуска разработчик рекомендует OpenAI-совместимый сервер vLLM; для удобного разбора сырых ответов предлагается пользовательский код. Карточка не приводит сравнительных оценок качества, поэтому заявления о превосходстве над другими моделями следует считать утверждениями автора.

1.6K9май 2024ctx8.2K
textmithugging-face
Executespec
ganesh-mini-1.0

Ganesh Mini — текстовая модель для генерации кода, созданная как дообучение Qwen/Qwen3.5-2B. Она рассчитана на диалоги в режиме генерации без рассуждений и на написание кода на Go, Java, JavaScript, TypeScript, Python и Rust. Контекст составляет 8 192 токена. Репозиторий содержит объединённый BF16-чекпойнт Transformers, адаптер LoRA ранга 8 и экспорты GGUF в вариантах F16 и Q8_0. В локальной публичной диагностике на 952 задачах модель прошла на одну задачу меньше, чем исходная Qwen; результаты не подтверждают общего улучшения и не являются официальным рейтингом. Зрение не оценивалось. Модель может выдавать ошибочный, небезопасный или некомпилируемый код, а эквивалентность экспортов на полном наборе языков не проверена. Код следует запускать только в изолированной среде с ограниченными ресурсами и отключённой сетью. Лицензия — Apache-2.0.

6880окт. 2026ctx262.1K
textapache-2.0hugging-face
yasserrmd
gpt-oss-coder-20b

GPT-OSS-Coder-20B — дообученная модель для генерации кода на базе GPT-OSS-20B, опубликованная пользователем yasserrmd. Для настройки использовались TRL и оптимизации Unsloth; в карточке указано обучение на случайно сгенерированных записях в течение 150 шагов. Модель предназначена для генерации и дополнения кода, ответов на вопросы по программированию и краткого пересказа кода. Это разговорная причинная языковая модель архитектуры GPT-OSS с MoE. В метаданных указано 1,6 млрд параметров, контекст до 131 072 токенов, формат safetensors и язык en. Модель принимает текст и генерирует текст; заявленные возможности reasoning_effort позволяют настраивать глубину ответа. Лицензия — Apache-2.0. Короткое обучение на случайных данных может ограничивать качество и надёжность результатов по программированию.

3313авг. 2025ctx131.1K
textapache-2.0hugging-face
Kysaddy
Koda-v1

Koda-v1 — диалоговая модель для генерации кода, созданная Addy. Это плотная модель семейства Qwen2 с 1,5 млрд параметров, дообученная методом QLoRA за 100 шагов на датасете HuggingFaceH4/Bespoke-Stratos-17k от Qwen/Qwen2.5-Coder-1.5B-Instruct. Представлена как объединённый чекпойнт в формате bfloat16, сохранённый в safetensors и предназначенный для загрузки через Transformers и совместимые сервисы инференса. Модель рассчитана на диалоговые сценарии программирования: генерацию и обсуждение кода. Контекст составляет 32 768 токенов. README характеризует чекпойнт как экспериментальный и не доведённый до сходимости; сгенерированный код следует проверять перед выполнением. Лицензия — Apache-2.0; необходимо соблюдать лицензию, уведомления и условия использования базовой модели Qwen.

1270авг. 2026ctx32.8K
textapache-2.0hugging-face
soddokayo
koelectra-base-klue-ner

soddokayo/koelectra-base-klue-ner — дообученная модель семейства ELECTRA для распознавания именованных сущностей в корейском тексте. Она основана на monologg/koelectra-base-v3-discriminator и обучена на наборе данных KLUE. Модель содержит 140,1 млн параметров, использует архитектуру ElectraForTokenClassification и принимает последовательности длиной до 512 токенов. Модель предназначена для извлечения и классификации сущностей в тексте на корейском языке. В оценке на тестовой выборке KLUE указаны F1 0,7911, точность 0,7710, полнота 0,8124 и accuracy 0,9588. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Подробные сведения о составе обучающих данных, типах сущностей и ограничениях применения в карточке не приведены.

4030июнь 2023ctx512
textapache-2.0hugging-face
Korabbit
Llama-2-7b-chat-hf-afr-100step-v2

Korabbit/Llama-2-7b-chat-hf-afr-100step-v2 — экспериментальная чат-модель Korabbit, основанная на Llama-2-7b-chat и обученная автором с использованием подхода «AFR training». В карточке приведён пример ответа на инструкцию реализовать бинарный поиск на Python; метаданные указывают архитектуру LlamaForCausalLM, около 6,6 млрд параметров и контекст до 4096 токенов. Модель предназначена для диалоговых ответов на инструкции и общих текстовых запросов, включая вопросы о программировании. В метаданных указан английский язык и набор данных vicgalle/alpaca-gpt4. Указана лицензия llama2. README описывает подход к обучению лишь кратко, поэтому его детали и качество модели по примеру оценить нельзя.

670нояб. 2023ctx4.1K
textllama2hugging-face
VSSA-SDSA
LT-MLKM-modernBERT

LT-MLKM-modernBERT — литовская маскированная языковая модель, разработанная Государственным агентством цифровых решений Литвы в рамках проекта по созданию корпуса и векторизованных языковых моделей. Она основана на ModernBERT-base и предназначена прежде всего для предсказания пропущенных фрагментов текста по контексту, а также как основа для дообучения под задачи обработки литовского языка. Модель содержит 159,4 млн параметров, использует архитектуру ModernBERT и токенизатор с литовским словарём на 64 000 токенов. Контекст составляет до 8 192 токенов. Предварительное обучение проводилось на литовском текстовом корпусе объёмом около 49 млрд токенов, включающем новости, юридические, академические и государственные тексты. В карточке приведены результаты оценки на задаче распознавания именованных сущностей после дообучения. Модель подходит для заполнения масок и как база для разработки классификаторов, систем распознавания сущностей и других приложений понимания литовского текста. Для специализированных задач требуется дообучение. Она не оптимизирована для свободной генерации или диалогов; при таком использовании ответы могут быть неполными или несогласованными. Лицензия — Apache-2.0.

4573окт. 2025ctx8.2K
textapache-2.0hugging-face
marefa-nlp
marefa-ner

marefa-nlp/marefa-ner — арабоязычная модель распознавания именованных сущностей, разработанная командой Marefa NLP. Она основана на XLM-RoBERTa и дообучена для классификации токенов; число параметров составляет около 658,7 млн, а длина контекста — 514 токенов. Модель предназначена для выделения сущностей в арабском тексте. В README приведены результаты оценки на тестовом наборе из 1959 предложений: для категорий «человек», «место» и «время» указаны F1-оценки около 0,93, 0,89 и 0,87 соответственно. Данные подтверждают применение для NER, но не описывают качество на других категориях или доменах. Модель распространяется в формате PyTorch. Сведения о лицензии в доступных материалах отсутствуют.

19325март 2022ctx514
texthugging-face
khadija69
mdeberta_ASE_kgl_layered_HAndT

Это дообученная модель khadija69/mdeberta_ASE_kgl_large для классификации токенов. Она основана на DeBERTa-v2, содержит около 306 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате TensorFlow. В README указаны результаты обучения: эпоха 5, train loss 0,0984 и validation loss 0,2237. Модель предназначена для разметки отдельных токенов в тексте; конкретная схема меток и целевой сценарий не описаны. Лицензия — MIT.

60май 2024ctx512
textmithugging-face
datalama
mmBERT-small

datalama/mmBERT-small — мультиязычный чекпойнт энкодера ModernBERT, перенесённый из модели jhu-clsp/mmBERT-small и подготовленный для Transformers v5. Модель содержит 140,5 млн параметров, имеет 22 слоя и скрытый размер 384; контекст — до 8192 токенов. В метаданных основная задача указана как fill-mask, а базовая модель описана как компактный мультиязычный энкодер для заполнения пропусков и создания контекстных представлений более чем на 1800 языках. Чекпойнт подходит для восстановления замаскированных токенов и получения контекстных представлений текста в мультиязычных сценариях. Разработчик карточки выполнил перенос весов из pytorch_model.bin в safetensors и добавил настройки RoPE для совместимости с Transformers v5; в README указано, что все 138 тензоров после конвертации побитово совпадают с оригиналом, а различие выходов при проверке на четырёх многоязычных предложениях было небольшим. Лицензия — Apache-2.0. Подробности обучения и бенчмарки следует смотреть в карточке исходной модели.

1170февр. 2026ctx8.2K
textapache-2.0hugging-face
AnasAlokla
multilingual_go_emotions

Многоязычная модель классификации эмоций Anas Hamid Alokla, дообученная на базе google-bert/bert-base-multilingual-cased на наборе multilingual_go_emotions. Она анализирует текст и присваивает ему несколько меток одновременно: 27 категорий эмоций и нейтральную категорию. Модель построена на архитектуре BERT с классификационной головой, содержит 205,1 млн параметров и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для анализа отзывов и обращений клиентов, мониторинга настроений в соцсетях, поддержки эмоционально чувствительных чат-ботов и разметки текстов по эмоциональным категориям. В карточке заявлена поддержка арабского, английского, французского, испанского, нидерландского и турецкого языков; модель доступна для использования через Transformers. Лицензия — MIT. Качество зависит от языка, частоты конкретной эмоции и порогов классификации; приведённые в карточке метрики относятся к тестовой выборке. Классификация эмоций не определяет намерения или психологическое состояние человека и не должна использоваться как самостоятельная оценка психического здоровья.

3.4K12март 2025ctx512
textmithugging-face
sfafasgag5657
MyAwesomeModel-TestRepo

MyAwesomeModel — модель, опубликованная в репозитории sfafasgag5657/MyAwesomeModel-TestRepo и предназначенная по метаданным Hugging Face для извлечения признаков. Она интегрируется с библиотекой Transformers и использует экосистему PyTorch; в тегах также упоминается семейство BERT. Лицензия модели — MIT. README описывает обновлённую версию модели с улучшениями рассуждений, логического вывода, математических и программных задач, понимания текста, классификации, анализа тональности, суммаризации, перевода, диалогов и вызова функций. В карточке также заявлены снижение галлюцинаций и поддержка системных промптов, однако эти сведения ориентированы на генеративное использование и не согласуются напрямую с метаданными, где основная задача обозначена как feature extraction. Модель может быть полезна как компонент Transformers-пайплайна для получения векторных представлений текста и последующей классификации, поиска или сравнения. Размер, длина контекста, поддерживаемые естественные языки и точная архитектура в доступных данных не приведены; упоминание BERT в тегах не позволяет подтвердить конкретную конфигурацию.

2710сент. 2026
textembeddingmithugging-face
stojchet
ndpo2

ndpo2 — дообученная модель на 1,3 млрд параметров, созданная на основе deepseek-ai/deepseek-coder-1.3b-base и обученная на наборе generator. Она использует плотную архитектуру семейства Llama и предназначена для генерации текста; базовая модель ориентирована на продолжение, автодополнение и заполнение пропусков в коде. Заявленная длина контекста — 16 384 токена. В README приведены метрики оценки на тестовом наборе, включая loss 0,0429 и точность rewards 0,9836, но не описаны сценарии применения и методика оценки. Модель распространяется в формате safetensors; лицензия указана как other, поэтому условия использования следует проверять в репозитории Hugging Face.

130июль 2024ctx16.4K
textotherhugging-face
stojchet
ndpo3

ndpo3 — дообученная модель для генерации кода, созданная на базе deepseek-ai/deepseek-coder-1.3b-base и обученная на датасете generator. Она построена на плотной архитектуре семейства Llama и содержит 1,3 млрд параметров. Модель предназначена для продолжения и автодополнения кода; максимальная длина контекста составляет 16 384 токена. Модель опубликована в формате safetensors и распространяется по лицензии, обозначенной в метаданных как other. Карточка не содержит сведений об оценке качества, конкретных языках программирования или дополнительных сценариях использования.

220июль 2024ctx16.4K
textotherhugging-face
leomaurodesenv
nli-MiniLM2-L6-H768-nvidia-aegis-v1

nli-MiniLM2-L6-H768-nvidia-aegis-v1 — дообученная модель leomaurodesenv на основе cross-encoder/nli-MiniLM2-L6-H768. Это плотная архитектура RoBERTa с 95,2 млн параметров, рассчитанная на классификацию текста; базовая модель определяет логическое отношение между парой предложений и поддерживает классификацию без специального обучения на примерах задачи. Контекст составляет 514 токенов. Модель можно применять для классификации текста и определения логических отношений между предложениями. В README приведены результаты оценки: точность 0,8711 и loss 0,3229, однако набор данных и подробности оценки не раскрыты. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

200сент. 2026ctx514
textapache-2.0hugging-face
Mungert
OpenCodeReasoning-Nemotron-32B-GGUF

OpenCodeReasoning-Nemotron-32B — большая языковая модель, разработанная NVIDIA на основе Qwen2.5-32B-Instruct и дообученная для рассуждений при генерации кода. Модель ориентирована прежде всего на решение задач программирования, включая competitive programming, написание программ и генерацию решений на Python. Обучение проводилось на датасете OpenCodeReasoning, содержащем вопросы по соревновательному программированию и ответы, сгенерированные DeepSeek-R1. Модель построена на плотной архитектуре decoder-only Transformer и содержит 32 млрд параметров. Она работает только с текстом: принимает строковый ввод и генерирует текстовый вывод. Заявлена поддержка контекста до 32 768 токенов, язык обучения и применения в карточке указан как английский. В сравнительных оценках OpenCodeReasoning-Nemotron-32B показывал высокие результаты на LiveCodeBench и CodeContest среди сопоставимых 32B-моделей, однако конкретные показатели относятся к вариантам OCR-Qwen-32B и OCR-Qwen-32B-Instruct, а не обязательно непосредственно к GGUF-версии. Для работы рекомендованы Linux и NVIDIA GPU с архитектурами Ampere или Hopper; указана интеграция с NeMo 2.3.0. Модель рассчитана на коммерческое и некоммерческое использование по лицензии Apache-2.0. Ограничения включают специализацию на англоязычных задачах программирования, высокие требования к вычислительным ресурсам из-за размера и отсутствие заявленной поддержки изображений или других модальностей.

2355май 2025
textapache-2.0hugging-face
lmstudio-community
Phi-4-mini-reasoning-GGUF

Phi-4-mini-reasoning-GGUF — GGUF-квантизированная версия модели Phi-4-mini-reasoning, разработанной Microsoft. Квантизацию выполнил bartowski на основе llama.cpp, релиз b5228. Модель предназначена для генерации текста и ориентирована на многошаговое, логически сложное решение математических задач, а также на сценарии, связанные с математикой, рассуждениями и кодом. Модель поддерживает контекст длиной до 128 тысяч токенов и работает с текстовыми входными данными; в карточке указан английский язык. Точные архитектурные параметры и размер модели в README не приведены. Большое контекстное окно и специализация на последовательных рассуждениях являются её ключевыми особенностями, однако результаты могут быть неточными, поэтому математические решения и сгенерированный код требуют проверки. Модель распространяется по лицензии MIT. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

8.9K6май 2025
textmithugging-face
collinbarnwell
pyannote-segmentation-30

Модель collinbarnwell/pyannote-segmentation-30 — открытая модель сегментации речи по говорящим, обученная Севреном Баруди с использованием pyannote.audio 3.0. Она принимает 10-секундные фрагменты монофонического аудио с частотой 16 кГц и выдаёт покадровую матрицу из семи классов: неречевой участок, речь каждого из трёх говорящих и перекрывающаяся речь пар говорящих. Модель подходит для определения активности речи, сегментации говорящих и обнаружения одновременной речи в коротких фрагментах. Для диаризации полной записи её нужно использовать в составе дополнительного конвейера: сама модель обрабатывает только 10-секундные фрагменты. Обучение проводилось на наборах AISHELL, AliMeeting, AMI, AVA-AVD, DIHARD, Ego4D, MSDWild, REPERE и VoxConverse. Лицензия репозитория — MIT; для загрузки базовой модели pyannote/segmentation-3.0 требуется принять условия её использования и получить токен Hugging Face.

3010февр. 2024
audiomithugging-face
ivrit-ai
pyannote-speaker-diarization-3.1

ivrit-ai/pyannote-speaker-diarization-3.1 — форк модели pyannote/speaker-diarization-3.1, разработанной в экосистеме pyannote для анализа речи и голоса. Модель предназначена для автоматической диаризации аудиозаписей: определения количества говорящих и временных интервалов, в которых говорит каждый из них. По указанным меткам также заявлены задачи voice activity detection, обнаружения смены говорящих, перекрывающейся речи и сценарии, связанные с automatic speech recognition. Модель работает с аудио и относится к pipeline-моделям pyannote-audio; точные архитектура, размер, поддерживаемые языки и максимальная длина контекста в предоставленном README не указаны. Сильная сторона — ориентация на комплексную обработку многоговорящих аудиозаписей, однако качество для конкретных языков, акустических условий и случаев одновременной речи по этим данным оценить нельзя. Модель распространяется по лицензии MIT.

3.9K5авг. 2025
textaudiomithugging-face
moeshawky
RockAndEgg-313M

RockAndEgg-313M — компактная модель-основа для классификации и извлечения признаков, созданная разработчиком moeshawky на основе Qwen/Qwen3-0.6B-Base. Это плотная причинная трансформерная архитектура Qwen3 без специализированной классификационной головы: сохранены первые 10 из 28 слоёв исходной модели, ширина скрытых представлений и токенизатор. В метаданных указано 281,4 млн параметров, а README оценивает backbone примерно в 312,89 млн параметров. Модель принимает текст, поддерживает контекст до 32 768 токенов и выдаёт скрытые представления для последующей классификации, регрессии, ранжирования или оценки после настройки под нужную задачу. Модель подходит для создания компактных классификаторов и моделей оценки, а также для экспериментов с признаковыми представлениями причинных языковых моделей. Для целевого применения необходимо задать и обучить собственную голову и согласовать обработку паддинга, маски внимания, усечения и последнего непустого токена. Сокращение глубины не сопровождалось дистилляцией; README не заявляет сохранение качества генерации, рассуждений, следования инструкциям, чата или работы с длинным контекстом относительно исходной модели. Лицензия — Apache-2.0.

2400сент. 2026ctx32.8K
textembeddingapache-2.0hugging-face
kd13
RoPERT-base-cased

RoPERT-base-cased — предварительно обученный англоязычный двунаправленный энкодер семейства MyBERT, разработанный авторами репозитория kd13/RoPERT-base-cased. Он использует цель masked language modeling (MLM): модель восстанавливает скрытые токены по контексту слева и справа. Архитектура включает 12 слоёв, скрытый размер 768 и 12 attention-голов; содержит около 107,2 млн параметров, использует WordPiece-токенизатор с регистрозависимым словарём google-bert/bert-base-cased и поддерживает контекст до 2048 токенов. По сравнению с исходным BERT-base, RoPERT использует rotary position embeddings (RoPE), SwiGLU и pre-layer normalization. Модель предназначена для предсказания маскированных токенов и как энкодер для дообучения на классификации текста и токенов, извлечении ответов на вопросы и задачах выбора ответа. Она не предназначена для генерации текста. Для загрузки требуется Transformers с trust_remote_code=True и PyTorch. Опубликованные веса имеют формат float32, лицензия — MIT. Модель обучалась на англоязычных данных из Wikipedia, веб-текстов и BookCorpus. Ограничения: она рассчитана только на английский язык, чувствительна к регистру и не принимает последовательности длиннее 2048 токенов без усечения или разбиения. В обучающих данных могут присутствовать общественные предубеждения и нежелательные закономерности.

710июль 2026ctx2K
textmithugging-face
cointegrated
rubert-tiny2-cedr-emotion-detection

Это русскоязычная модель классификации эмоций в предложениях, созданная дообучением cointegrated/rubert-tiny2 разработчиком cointegrated на наборе данных CEDR. Модель основана на BERT и содержит около 29 млн параметров; для обработки текста использует контекст до 2048 токенов. Модель выполняет многометочную классификацию: одному предложению можно назначить несколько меток. Она определяет отсутствие эмоций, радость, грусть, удивление, страх и гнев. Подходит для анализа тональности и эмоциональной окраски русских текстов, например сообщений и отзывов. В README приведены метрики на тестовом наборе CEDR, включая средний micro F1 0,928 и macro F1 0,835; качество на других данных может отличаться. Используются веса PyTorch и SafeTensors. Условия лицензии в предоставленных данных не описаны.

7.5K40март 2022ctx2K
texthugging-face
funnel-transformer
small-base

Funnel Transformer small-base — предварительно обученная англоязычная модель семейства Funnel Transformer от команды, представившей эту архитектуру. Это базовая модель FunnelBaseModel без декодера, доступная в форматах PyTorch, Safetensors и TensorFlow; контекст — до 512 токенов. Она обучена на английских текстах из BookCorpus, Wikipedia, ClueWeb, GigaWord и Common Crawl с самоконтролируемой задачей распознавания заменённых токенов, похожей на ELECTRA. Модель извлекает скрытые представления текста для последующей настройки и классификации предложений, ответов на вопросы и других задач понимания текста. Выходная последовательность в четыре раза короче входной, поэтому модель удобна для задач, где нужно представление всего предложения, но не подходит, когда требуется отдельный выход для каждого исходного токена. Лицензия — Apache-2.0.

6450март 2022ctx512
textembeddingapache-2.0hugging-face
darioooooo0o
spark-1.7b-engram

darioooooo0o представил экспериментальную версию Spark-X2.5-1.7B с модулем условной памяти Engram для генерации кода и алгоритмических рассуждений. Базовая модель Spark-X2.5-1.7B на 1,7 млрд параметров остаётся замороженной; к ней добавлен обученный модуль памяти с многоголовым хешированием n-грамм. В README заявлен контекст до 1 048 576 токенов для базовой модели. Модуль обучен на 25 млн токенов из нескольких наборов данных с кодом. В README приведено предварительное улучшение на валидационной выборке и HumanEval, но автор предупреждает, что модуль сильно недообучен, а результаты предварительные. Модель предназначена прежде всего для генерации кода на нескольких языках программирования; метаданные также указывают на диалоговые и агентные возможности. Репозиторий распространяется под лицензией Apache-2.0.

3172сент. 2026ctx1M
textapache-2.0hugging-face
stanfordnlp
stanza-pl

Stanza для польского языка — набор моделей лингвистического анализа текста, разработанный Stanford NLP Group. Он предназначен для обработки текста от исходных строк до синтаксического анализа и распознавания именованных сущностей; в метаданных этой модели указана задача классификации токенов. Модель распространяется в формате PyTorch и доступна по лицензии Apache-2.0. Stanza ориентирована на точный и эффективный NLP для польского языка. Карточка не сообщает размер модели, длину контекста или отдельные ограничения качества, поэтому эти характеристики не приводятся.

2.7K3март 2022
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей