/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
4 891–4 920 из 23 488
gchhablani
bert-base-cased-finetuned-cola

gchhablani/bert-base-cased-finetuned-cola — модель на архитектуре BERT для классификации английских предложений. Её дообучили на наборе GLUE CoLA, чтобы определять грамматическую приемлемость предложения. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и доступна в формате PyTorch. В карточке приведён результат оценки на тестовой выборке CoLA: Matthews Correlation 0,5957 и loss 0,6747. Модель подходит для оценки приемлемости английских предложений и экспериментов со сравнением BERT и Google FNet. Распространяется по лицензии Apache-2.0.

3620март 2022ctx512
textapache-2.0hugging-face
dbmdz
bert-base-german-cased

dbmdz/bert-base-german-cased — немецкоязычная модель BERT от команды MDZ Digital Library Баварской государственной библиотеки. Это плотная трансформерная модель с 137,1 млн параметров, обученная для предсказания замаскированных токенов. Она сохраняет регистр немецких слов и подходит для заполнения пропусков в тексте и как основа для последующей настройки под задачи обработки немецкого языка. Обучение проводилось на корпусе объёмом 16 ГБ и примерно 2,35 млрд токенов из Википедии, EU Bookshop, Open Subtitles, CommonCrawl, ParaCrawl и News Crawl. Модель обучалась на последовательностях длиной до 512 токенов. Доступны веса в форматах PyTorch, TensorFlow и Flax, а также Safetensors. Лицензия — MIT. Модель рассчитана прежде всего на немецкий язык и учитывает регистр, что полезно для сохранения различий между заглавными и строчными буквами. Основное назначение — предсказание скрытых токенов; карточка также упоминает применение BERT для последующей настройки на распознавание сущностей и разметку частей речи. Ограничение контекста составляет 512 токенов, а качество для конкретных прикладных задач зависит от дополнительной настройки.

9.4K27март 2022ctx512
textmithugging-face
nateraw
bert-base-uncased-emotion

Модель nateraw/bert-base-uncased-emotion — дообученная для классификации эмоций версия bert-base-uncased. Она принимает текст и определяет эмоциональную категорию; модель обучена на датасете emotion с помощью PyTorch Lightning. Архитектура — BERT для классификации последовательностей, размер — 136,7 млн параметров, максимальная длина контекста — 512 токенов. Доступны веса PyTorch и Flax; модель рассчитана на английский язык. Модель подойдёт для определения эмоций в коротких сообщениях, отзывах и других текстах. В README приведена точность на валидации 0,931, однако автор отмечает, что метрика не заменяет precision, recall и F1; также автор характеризует модель как не лучшую и сообщает, что код обучения недоступен. Лицензия — Apache-2.0.

12K13март 2022ctx512
textapache-2.0hugging-face
leomaurodesenv
bert-base-uncased-jailbreakv-28k-augmented

Модель leomaurodesenv/bert-base-uncased-jailbreakv-28k-augmented — дообученная англоязычная BERT-base для классификации текста. Она основана на google-bert/bert-base-uncased, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены результаты оценки: accuracy 0,9981 и loss 0,0063. Модель можно применять для классификации текстовых последовательностей; конкретные классы и целевые сценарии в карточке не описаны. Датасет обучения также не раскрыт. Веса доступны в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0.

454сент. 2026ctx512
textapache-2.0hugging-face
usmiva
bert-deepfake-bg

bert-deepfake-bg — модель BERT для классификации текста, дообученная Ивой Мариновой на основе usmiva/bert-web-bg и опубликованная при участии института GATE в Софии. Она предназначена для задач классификации последовательностей на болгарском языке; конкретный набор классов и целевой сценарий карточка не уточняет. Модель содержит 136,3 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Модель подходит для адаптации к прикладным задачам классификации болгарских текстов. Карточка не приводит сведения о данных обучения, метриках и известных ограничениях, поэтому качество на конкретных данных следует проверять отдельно. Лицензия в метаданных — CC BY 2.0.

410июль 2023ctx512
textcc-by-2.0hugging-face
ayoubkirouane
BERT-Emotions-Classifier

BERT-Emotions-Classifier — дообученная модель на архитектуре BERT, разработанная Ayoub Kirouane для многометочной классификации эмоций в тексте. Она принимает строку и возвращает одну или несколько меток эмоций с оценками: гнев, ожидание, отвращение, страх, радость, любовь, оптимизм, пессимизм, грусть, удивление и доверие. Модель подходит для анализа эмоциональной окраски публикаций в социальных сетях и отзывов, а также для рекомендаций с учётом эмоционального контекста. Она обучена на наборе данных SemEval 2018 Task 1, содержит 136,7 млн параметров, использует библиотеку Transformers и обрабатывает контекст длиной до 512 токенов. Поддерживается английский язык. Лицензия в предоставленных данных не указана.

60517сент. 2023ctx512
texthugging-face
KoichiYasuoka
bert-large-japanese-upos

Koichi Yasuoka разработал эту японскую модель BERT для морфологического анализа текста. Она дообучена на базе KoichiYasuoka/bert-large-japanese-char-extended и размечает короткие слова универсальными частями речи UPOS; карточка также указывает назначение для синтаксического анализа зависимостей. Модель обучена на текстах японской Википедии и данных Universal Dependencies. Это плотная архитектура BERT с 409,1 млн параметров, рассчитанная на входные последовательности длиной до 512 токенов. Модель принимает японский текст и выдаёт метки для токенов; для её загрузки и применения карточка показывает Transformers и PyTorch. Модель подходит для разметки частей речи и синтаксического анализа японских текстов. Лицензия — CC BY-SA 4.0.

1483март 2022ctx512
textcc-by-sa-4.0hugging-face
erdemKocaogluu
berturk2berturk-tr-normalizer

Модель erdemKocaogluu/berturk2berturk-tr-normalizer разработана на основе двух чекпойнтов BERTurk и предназначена для нормализации неформального турецкого текста. Она преобразует разговорные формы, опечатки, пропущенные буквы и диакритические знаки, а также диалектное написание в стандартный письменный турецкий, стараясь сохранить смысл и порядок слов. Архитектура — encoder-decoder на базе EncoderDecoderModel: энкодер использует веса BERTurk, декодер создан из второй копии BERTurk, а слои cross-attention обучены при дообучении. Модель применяет WordPiece-токенизатор BERTurk с словарём около 32 тысяч токенов; максимальная длина входа и выхода — 128 токенов. Модель особенно подходит для исправления предсказуемых ошибок, например восстановления турецких диакритических знаков и нормализации разговорных сокращений. Она слабее справляется с естественными нестандартными ошибками и длинными предложениями с несколькими частями; не перестраивает порядок слов и структуру предложения. Сильно искажённые или отсутствующие в словаре слова могут превратиться в [UNK], а длинные тексты обрезаются. Лицензия модели — CC BY-NC-SA 4.0.

4101сент. 2026ctx512
textcc-by-nc-sa-4.0hugging-face
autoevaluate
binary-classification

autoevaluate/binary-classification — модель классификации текста, дообученная на базе distilbert-base-uncased на наборе данных GLUE. Она предназначена для отнесения текстовых последовательностей к классам; в README приведены результаты на оценочной выборке: accuracy 0,8968 и loss 0,3009. Модель использует архитектуру DistilBERT с классификационной головой, работает с текстом и имеет контекст до 512 токенов. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает конкретные метки классов, сценарии применения или ограничения; результаты GLUE сами по себе не гарантируют качество на других данных.

973май 2022ctx512
textapache-2.0hugging-face
mikezhu
chord-2b-student

CHORD 2B student — модель-энкодер на базе Qwen3.5-2B, разработанная для метрики когерентности CHORD. Это дистиллированная версия слияния весов базовой модели и LoRA-адаптеров; обученный линейный считыватель проецирует представление последнего токена из 2048 векторов в пространство из 256 координат, аппроксимируя координаты PCA учительской модели с 27 млрд параметров. Модель принимает текст и выдаёт векторные представления для оценки когерентности. Предназначена для вычисления RBF-MMD между наборами текстов по шаблону coherence; пример — сравнение текста с эталонным пулом. Протокол использует нормализацию пробелов и ограничение длины в 532 токена, включая суффикс промпта; значения MMD сопоставимы только при использовании одного и того же энкодера и протокола. Модель распространяется в формате safetensors вместе с отдельным файлом считывателя и токенизатором. Лицензия — Apache-2.0.

210сент. 2026ctx262.1K
textembeddingapache-2.0hugging-face
lmstudio-community
codegemma-2b-GGUF

CodeGemma 2B — компактная модель Google для автодополнения программного кода. В каталоге lmstudio-community она представлена в формате GGUF; квантизацию выполнил bartowski на базе llama.cpp. Модель основана на Gemma 2B и дополнительно обучена исключительно на коде. Модель предназначена для заполнения пропусков в коде и сценариев, подобных Copilot, где важны быстрые подсказки и низкая задержка. Она использует подход fill-in-the-middle: контекст до места вставки передаётся через <|fim_prefix|>, последующий код — через <|fim_suffix|>, а <|fim_middle|> запрашивает генерацию недостающего фрагмента; для многофайлового контекста предусмотрен токен <|file_separator|>. CodeGemma 2B не является чат-моделью и не предназначена для ответов на обычные вопросы. Ключевой особенностью модели является небольшой размер — около 2 миллиардов параметров, благодаря чему она подходит для локального запуска и оперативного отображения автодополнений. README не содержит сведений о поддерживаемых языках программирования, длине контекста и модальностях; по имеющимся данным, модель работает с текстовым представлением кода. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется принять условия Google.

8726апр. 2024
textgemmahugging-face
nvidia
Cosmos-Embed1-448p-anomaly-detection

Cosmos-Embed1-448p-anomaly-detection — видеотекстовая модель эмбеддингов NVIDIA, дообученная для поиска и классификации аномалий в видео. Она предназначена для разработчиков физического ИИ и сценариев, связанных с робототехникой, автономным транспортом и анализом видеозаписей. Модель основана на трансформере с архитектурой QFormer и визуальной основой EVA-ViT-G. Она кодирует текст или видео — по одному типу входа за проход — в эмбеддинги размерности 768. Видеорежим рассчитан на кадры 448×448 и последовательности из 8 кадров; поддерживаются также неквадратные разрешения. Дообучение выполнено методом LoRA на обучающей части набора Vad-Reasoning, охватывающего дорожные, городские, кампусные и другие реальные сценарии. Модель подходит для поиска видео по тексту, поиска похожих видео, классификации без обучения на целевых классах и семантической дедупликации, с акцентом на обнаружение и классификацию аномалий. В README заявлена готовность к коммерческому применению; условия использования задаёт NVIDIA Open Model License. Лицензия в метаданных указана как other.

3.3K20март 2026ctx512
videootherhugging-face
descript
dac_16khz

descript/dac_16khz — модель семейства Descript Audio Codec (DAC), опубликованная Descript на Hugging Face. Это аудиокодек на основе архитектуры RVQGAN, предназначенный для кодирования и извлечения компактных аудиопризнаков; версия рассчитана на аудио с частотой дискретизации 16 кГц. В Transformers она доступна как модель для feature-extraction. DAC кодирует аудиосигнал в дискретные представления и предназначен для сжатия и дальнейшего использования в аудиосистемах. Карточка репозитория автоматически сгенерирована и не описывает лицензию, поддерживаемые языки или ограничения; поэтому конкретные условия использования и качество для отдельных сценариев подтвердить нельзя.

16K2июнь 2024
textembeddinghugging-face
darkfordays
deberta-v3-large-go-emotions

darkfordays/deberta-v3-large-go-emotions — дообученная модель Microsoft DeBERTa V3 Large для классификации эмоций в тексте по меткам набора GoEmotions. Она основана на microsoft/deberta-v3-large и использует архитектуру DebertaV2ForSequenceClassification; размер составляет 533,8 млн параметров, формат весов — safetensors, максимальная длина контекста — 512 токенов. В README приведены результаты оценки: macro F1 0,4688, micro F1 0,5960 и weighted F1 0,5778. Модель предназначена для определения эмоциональных меток в текстовых фрагментах, например комментариях и сообщениях. Английский — основной язык базовой модели; языковые метки и описание набора данных GoEmotions не подтверждают поддержку других языков. Модель распространяется по лицензии MIT. README не уточняет обучающий датасет, набор меток, метод оценки и ограничения применения.

1480апр. 2026ctx512
textmithugging-face
NousResearch
DeepHermes-ToolCalling-Specialist-Atropos

DeepHermes Tool Calling Specialist - Atropos RL — экспериментальная языковая модель Nous Research, дообученная с помощью обучения с подкреплением на базе DeepHermes 3 Llama-3.1 8B. Она предназначена прежде всего для вызова инструментов и функций в режиме рассуждений, а не для широкого применения как универсальная модель. Модель построена на архитектуре Llama, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Для обмена сообщениями используются чатовый и инструкционный форматы; предусмотрен интерфейс вызова инструментов. В оценке на Berkeley Function Calling Benchmark авторы сообщают о повышении точности для параллельного вызова функций с 0,10 до 0,46, а для простых вызовов — с 0,21 до 0,5175 относительно базовой модели. Результаты относятся к указанным режиму и тестам и не гарантируют аналогичного качества на других инструментах и сценариях. Модель работает с текстом и выдаёт текстовые ответы и структурированные вызовы инструментов. В карточке указан английский язык. Лицензия — Llama 3. Доступна в формате safetensors.

14120апр. 2025ctx131.1K
textllama3hugging-face
olaverse
diactag-1.0

diactag-1.0 — модель Olaverse для восстановления диакритических знаков в тексте на десяти языках. Она классифицирует символы, предсказывая форму букв и тоновые или акцентные знаки, а не генерирует новую строку. Архитектура включает общий энкодер из 12 блоков и около 37,6 млн параметров; модель рассчитана на запуск на CPU. В README также описаны экспорт ONNX и вариант int8. Модель подходит для восстановления диакритики в тексте, где важно сохранить исходные символы и их порядок: по конструкции она может добавлять знаки, но не вставлять, удалять или заменять буквы. Для десяти языков используется общий энкодер с языковыми компонентами и отдельным определением формы и тона. Качество различается по языкам: README отмечает особенно сложные случаи в йоруба и более слабые результаты на вьетнамском и португальском по сравнению с альтернативной моделью. Модель распространяется под лицензией Apache-2.0. Она не исправляет опечатки; неоднозначные формы без достаточного контекста могут оставаться неразрешимыми, а необычно высокая плотность диакритических знаков ухудшает качество.

60авг. 2026
textapache-2.0hugging-face
cvapict
distilbert-base-multilingual-cased-aoe-test12

Модель cvapict/distilbert-base-multilingual-cased-aoe-test12 — дообученная версия DistilBERT multilingual cased для классификации текста по последовательностям. В карточке указаны точность 0,9571 и loss 0,1165 на оценочном наборе; название датасета приведено как None, поэтому результаты нельзя связать с конкретной областью или набором классов. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст и выдаёт метки классов. Она основана на distilbert/distilbert-base-multilingual-cased, поддерживает контекст до 512 токенов и распространяется в формате safetensors через Transformers. Лицензия — Apache-2.0. Карточка не описывает целевые классы, обучающие данные и предполагаемые сценарии применения, поэтому качество для конкретной задачи оценить нельзя. Перед применением следует проверить модель на данных и метриках целевого сценария.

80нояб. 2024ctx512
textapache-2.0hugging-face
fukudarh
distilbert-base-uncased-finetuned-emotion

fukudarh/distilbert-base-uncased-finetuned-emotion — модель классификации текстов на основе DistilBERT, дообученная для распознавания эмоций. В README указана оценка на тестовой выборке: accuracy 0,9225 и F1 0,9220; набор данных не назван. Модель принимает текст и выдаёт метку класса. Контекст — до 512 токенов; веса представлены в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Модель подходит для определения эмоциональной окраски коротких текстов, например сообщений и отзывов. README не описывает набор эмоциональных классов, обучение или ограничения, поэтому результаты на других данных и языках могут отличаться; по идентификатору базовой модели можно заключить, что она рассчитана на английский язык.

100июнь 2026ctx512
textapache-2.0hugging-face
superguo
distilbert-base-uncased-finetuned-emotion

Модель superguo/distilbert-base-uncased-finetuned-emotion — англоязычная модель классификации текста на основе DistilBERT, дообученная на датасете emotion. Она предназначена для определения эмоциональной категории текста, например в коротких сообщениях и отзывах. Архитектура — DistilBertForSequenceClassification; размер контекста — до 512 токенов. В README указаны результаты на оценочной выборке: accuracy 0,9255 и F1 0,9251. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Подробности о метках эмоций, составе обучающих данных и ограничениях применения в карточке не приведены.

460июнь 2024ctx512
textapache-2.0hugging-face
SetFit
distilbert-base-uncased__sst5__all-train

SetFit опубликовал дообученную модель DistilBERT для классификации текста. По идентификатору модели она связана с SST-5 и обучением на всём тренировочном наборе; карточка указывает базовую модель distilbert-base-uncased. Модель использует архитектуру DistilBertForSequenceClassification, работает с текстом и имеет контекст до 512 токенов. Модель предназначена для классификации последовательностей. На указанном в карточке наборе оценки достигла точности 0,5045 при значении функции потерь 1,3757. Описание набора данных, меток и целевого сценария в карточке отсутствует, поэтому конкретные классы и качество на других данных установить нельзя. Лицензия — Apache-2.0.

490март 2022ctx512
textapache-2.0hugging-face
stojchet
dpo5k4

dpo5k4 — дообученная модель на базе deepseek-ai/deepseek-coder-1.3b-base, опубликованная пользователем stojchet. Она содержит 1,3 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; длина контекста — 16 384 токена. В карточке указано дообучение на датасете generator и задача text-generation. Модель предназначена для генерации и продолжения текста. Базовая модель ориентирована на автодополнение и заполнение пропусков в коде, однако карточка dpo5k4 не уточняет её целевые сценарии, качество или ограничения. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.

180июль 2024ctx16.4K
textotherhugging-face
worstchan
EAT-large_epoch20_finetune_AS2M

Это дообученный чекпойнт EAT-large, опубликованный пользователем worstchan и дополнительно обученный на наборе AS-2M. Модель на базе архитектуры Efficient Audio Transformer предназначена для извлечения представлений аудио, которые можно использовать в последующих задачах понимания звука, включая классификацию и создание аудиоописаний. Модель выдаёт кадровые представления с частотой около 50 Гц и представление всего аудиофрагмента через CLS-токен. Она распространяется в формате safetensors и загружается через Transformers. Лицензия — MIT. Карточка не сообщает размер модели и ограничений по длительности входного аудио.

6203май 2025
textembeddingmithugging-face
albertobarnabo
ecommerce-product-search-embeddings

Это компактная текстовая модель эмбеддингов для семантического поиска товаров по коротким, разговорным и содержащим опечатки запросам. Автор дообучил её на базе BAAI/bge-small-en-v1.5 для сопоставления поисковых запросов с названиями товаров в интернет-магазинах. Модель содержит около 40 млн параметров по метаданным, формирует векторы размерностью 384 с поддержкой сокращения до 256, 128 или 64 измерений и принимает контекст до 512 токенов. Модель предназначена для поиска по каталогам магазинов, включая Shopify и WooCommerce, а также для извлечения кандидатов перед дополнительным ранжированием. В тестах на Amazon ESCI она превзошла указанные в карточке базовые модели по метрикам поиска; размер вектора можно уменьшать, чтобы сократить индекс с небольшими потерями качества. Она рассчитана на английский язык и Amazon-подобные каталоги; перенос на другие товарные области не оценён. Для индексации рекомендованы названия товаров и, при необходимости, бренд, а не длинные описания. Лицензия — Apache 2.0.

4741июль 2026ctx512
textembeddingapache-2.0hugging-face
cea-list-ia
evalllm2026-geonames-finetuned

CEA-LIST дообучила эту модель для участия в соревновании evalLLM2026. Это dense-ретривер на архитектуре XLM-RoBERTa, предназначенный для связывания географических упоминаний с подходящими записями GeoNames: модель кодирует текст в эмбеддинги, по которым можно искать ближайшие совпадения. В README также указано обучение на Wikipedia с последующим дообучением на тренировочных данных соревнования. Модель основана на BAAI/bge-m3 и содержит 658,7 млн параметров. Она принимает текст и выдаёт эмбеддинги для поиска и оценки сходства предложений; заявленная длина контекста — 8194 токена. Для запросов README рекомендует префикс “Represent this geographical sentence for retrieving relevant GeoNames terms:”. Метаданные указывают французский и английский языки; лицензия — Apache-2.0. Модель рассчитана на географический entity linking и поиск соответствующих терминов GeoNames. Данные не подтверждают качество на других языках или задачах, поэтому применять её за пределами этого сценария следует с проверкой результатов.

1261июнь 2026ctx8.2K
textembeddingapache-2.0hugging-face
Parakeet-Inc
furigana_whisper_small_jsut

Parakeet-Inc разработала эту модель для японской речи: она принимает аудио и заданную пользователем запись фразы и выводит соответствующую ей последовательность мор — чтение фразы катаканой. Модель основана на Whisper small и дообучена для получения произношения, согласованного с входной записью кандзи и каны. Архитектура WhisperForConditionalGeneration, около 153,1 млн параметров; поддерживаемый язык — японский. Модель предназначена для подготовки японских данных для синтеза речи и преобразования текста с аудио в чтение катаканой. Аудио должно быть короче 30 секунд. Заявленное качество ограничено: после фильтрации данных по совпадению G2P остаётся около 40% примеров. Для лучшей точности автор рекомендует использовать более крупную базовую модель и обучить её на подготовленных данных. В обучении текст нормализован: используются знаки «、» и «。», а фраза обязательно заканчивается на «。», поэтому такой же формат подсказки может улучшить результат. Лицензия — Apache-2.0.

1.0K12июнь 2025ctx1K
textaudioapache-2.0hugging-face
SOTAagi2030
GalaxyLM-TestRepo-r33

GalaxyLM-TestRepo-r33 — репозиторий с моделью, в README описанной как обновлённая версия разговорной модели GalaxyLM от разработчиков GalaxyLM. Карточка заявляет улучшения в рассуждениях, математике, программировании и логике, а также поддержку вызова функций; приведены результаты бенчмарков, включая 87,5% на AIME 2025. README рекомендует температуру 0,6 и содержит шаблоны для сценариев с файлами и веб-поиском. Метаданные Hugging Face классифицируют опубликованный артефакт как BERT-модель для извлечения признаков на Transformers и PyTorch, с файлами в формате PyTorch и лицензией MIT. Это расходится с описанием разговорной генеративной модели в README: архитектура указана как BertModel, а pipeline_tag — feature-extraction. Поэтому заявленные в README возможности рассуждения и чата нельзя уверенно связать с представленным артефактом.

60авг. 2026
textembeddingmithugging-face
NeuML
glove-6B

NeuML/glove-6B — экспорт статических английских векторов GloVe размерностью 300 для библиотеки staticvectors. Модель предназначена для получения векторных представлений отдельных слов в Python с помощью NumPy, сохраняя высокую скорость выполнения. Её можно применять как основу для сравнения слов и вычисления сходства текстовых представлений. Репозиторий использует формат safetensors и лицензию PDDL. В README не описаны контекстные представления: векторы относятся к словам и не зависят от их контекста.

2.0K3янв. 2025
textpddlhugging-face
Sukanyan
google-bert_bert-large-uncased

Sukanyan/google-bert_bert-large-uncased — дообученная англоязычная модель BERT Large для классификации текста. Она основана на google-bert/bert-large-uncased и использует архитектуру BertForSequenceClassification; размер составляет 433,9 млн параметров, а контекст ограничен 512 токенами. Модель можно применять для классификации текстовых последовательностей, например для определения тональности или отнесения текста к заданным категориям, если соответствующие классы предусмотрены обучением. В карточке приведены результаты оценки: loss 1,0402 и accuracy 0,5820. Обучающий датасет и конкретная схема классов не описаны, поэтому эти результаты не позволяют определить пригодность модели для отдельной задачи без дополнительной проверки. Модель распространяется по лицензии Apache-2.0.

150март 2025ctx512
textapache-2.0hugging-face
Hate-speech-CNERG
hindi-codemixed-abusive-MuRIL

Hate-speech-CNERG/hindi-codemixed-abusive-MuRIL — модель классификации текста, разработанная авторами карточки и дообученная на MuRIL для обнаружения оскорбительной речи в код-смешанном хинди. Она относит текст к одному из двух классов: нормальная речь или оскорбительная. Модель построена на архитектуре BERT и содержит 264,8 млн параметров; максимальная длина контекста составляет 512 токенов. Модель предназначена для анализа сообщений и другого пользовательского текста на код-смешанном хинди, в том числе в исследованиях низкоресурсного выявления оскорбительной речи. Веса опубликованы в формате PyTorch. Лицензия — AFL-3.0. Карточка связывает модель с исследованием о методах расширения данных для выявления оскорбительного языка в индийских языках.

470апр. 2022ctx512
textafl-3.0hugging-face
indobenchmark
indobert-large-p2

IndoBERT Large phase2 uncased — предварительно обученная языковая модель для индонезийского языка, разработанная командой IndoBenchmark. Она основана на архитектуре BERT и обучена на корпусе Indo4B с задачами masked language modeling и next sentence prediction. Модель предназначена для получения контекстных представлений текста и может служить основой для последующей настройки под задачи обработки индонезийского языка. Модель содержит около 433,9 млн параметров и принимает последовательности длиной до 512 токенов. Доступны веса для PyTorch, TensorFlow и Flax; лицензия — MIT. Карточка описывает предварительное обучение и извлечение контекстных представлений, но не приводит результатов оценки качества на прикладных задачах.

5.3K9март 2022ctx512
textembeddingmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей