/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
121–150 из 23 488
cardiffnlp
twitter-roberta-base-emotion-multilabel-latest

twitter-roberta-base-emotion-multilabel-latest — англоязычная модель Cardiff NLP для многометочной классификации эмоций в сообщениях Twitter. Она дообучена на основе cardiffnlp/twitter-roberta-base-2022-154m на наборе SemEval 2018 Task 1 Affect in Tweets, подзадача E-c. Модель принимает текст и может присваивать сообщению несколько эмоциональных меток одновременно. Модель построена на архитектуре RoBERTa и содержит 151,8 млн параметров; нативная длина контекста — 514 токенов. Для тестовой выборки указаны micro-F1 0,7169, macro-F1 0,5464 и средний Jaccard Index 0,5970. Метаданные указывают форматы PyTorch и TensorFlow. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

3.7K31март 2023ctx514
texthugging-face
senlou
weibo-sentiment-chinese-bert

Модель senlou/weibo-sentiment-chinese-bert разработана для анализа тональности коротких сообщений в Weibo. Это дообученная для классификации последовательностей китайская BERT-модель hfl/chinese-bert-wwm-ext размером 129,5 млн параметров; она присваивает тексту одну из трёх меток: отрицательная, положительная или нейтральная. Модель принимает текст длиной до 512 токенов и предназначена для анализа китайских публикаций и агрегирования настроений в системах мониторинга общественного мнения. Обучение проводилось на наборе weibo_senti_100k из 100 тысяч сообщений. Нейтральные примеры были добавлены к исходному набору с положительными и отрицательными метками по правилам. В README указаны точность 87,79% и Macro F1 0,8783 для стандартного режима; эти результаты относятся к описанному авторами эксперименту и могут не переноситься на другие данные. Модель распространяется в формате Safetensors по лицензии Apache 2.0.

2222май 2026ctx512
textapache-2.0hugging-face
Sumair-Parveiz
code-switching-codesaviours-si26-sumair

Модель Sumair-Parveiz — дообученная версия XLM-RoBERTa base для определения языка на уровне токенов в текстах, где смешаны романизированный урду и английский. Она присваивает каждому токену одну из меток: URD для Roman Urdu, ENG для английского или MIX для смешанного, гибридного либо локализованного токена. Модель подходит для анализа переключения языков и разметки смешанного текста. В README приведены метрики на тестовых токенах: F1 0,99 для URD, 0,98 для ENG и 0,84 для MIX; показатели для смешанных токенов ниже. Архитектура — XLM-RoBERTa для классификации токенов, размер — 305,2 млн параметров, контекст — 514 токенов. Лицензия — Apache 2.0.

80авг. 2026ctx514
textapache-2.0hugging-face
Zainab-Binte-Khalid
code-switching-codesaviours-si26-zainab

Модель Zainab Binte Khalid из Code Saviours (SI-26) — дообученная версия XLM-RoBERTa Base для определения языка каждого токена в предложениях на романизированном урду и английском с переключением языков. Архитектура — XLMRobertaForTokenClassification, около 305,2 млн параметров; контекст — до 514 токенов. Для каждого слова модель предсказывает один из классов: урду (URD), английский (ENG) или гибридное слово (MIX). Модель предназначена для языковой разметки неформальных сообщений и комментариев, а также для подготовки текста к последующему анализу тональности, переводу и проверке орфографии. В оценке на тестовой выборке F1 составил 0,967 для URD и 0,947 для ENG; класс MIX практически не освоен: в обучающих данных было только 2 таких токена из 21 368. Обучение проводилось на 1 901 вручную размеченном предложении из WhatsApp-сообщений и комментариев. Модель может хуже работать с формальными или специализированными текстами и вариантами написания, отсутствовавшими в обучающей выборке; стандартизированной орфографии романизированного урду нет. Репозиторий распространяется по лицензии CC BY 4.0.

310авг. 2026ctx514
textcc-by-4.0hugging-face
YuzuSolutions
tabfm-1.0.0-pytorch

Карточка модели YuzuSolutions/tabfm-1.0.0-pytorch на Hugging Face совпадает с карточкой google/tabfm-1.0.0-pytorch, поэтому описание составлено по ней. TabFM 1.0.0 — табличная foundation-модель Google Research для классификации и регрессии на структурированных данных. Эта версия содержит веса PyTorch и использует библиотеку tabfm. Модель работает с числовыми и категориальными столбцами, принимает обучающие примеры как контекст и выдаёт прогноз за один проход без дообучения на конкретном наборе данных и подбора гиперпараметров. Архитектура сочетает внимание между столбцами и строками с 24-блочным причинным ICL-трансформером; в карточке также указана размерность эмбеддингов 256. TabFM предназначена для бинарной и многоклассовой классификации до 10 классов, а также регрессии. Данные можно передавать в виде pandas DataFrame или массивов NumPy. Модель обучалась на синтетических наборах, сгенерированных структурными причинными моделями; оценка на TabArena охватывала 51 набор данных. Лицензия указана как other, а README исключает коммерческое использование. Модель не предназначена для изображений, аудио, видео и текста; качество на конкретных предметных областях и редких распределениях не полностью охарактеризовано.

90авг. 2026
textotherhugging-face
speedy383079
XLM-V-Tuktuk-HIEN-LID

XLM-V-Tuktuk-HIEN-LID — модель Анша Шармы для распознавания языка на уровне отдельных токенов в текстах из социальных сетей, где смешаны хинди и английский. Это дообученный для токеновой классификации энкодер XLM-V/XLM-RoBERTa на базе facebook/xlm-v-base; в метаданных указано 805,7 млн параметров и контекст до 514 токенов. Модель присваивает каждому токену одну из меток: английский, хинди, именованная сущность или прочее. Она принимает текст латиницей на хинглише и выдаёт метки токенов; заявленные языки — английский и хинди. Модель предназначена для предварительной разметки хинглиш-текста, например для маршрутизации токенов в монолингвальные инструменты анализа тональности или токсичности, подготовки текста к машинному переводу и отбора токенов для NER или POS-разметки. На внешнем тесте LINCE авторы сообщают macro F1 0,87; результат на внутреннем holdout отражает согласие с псевдоразметкой, а не независимую проверку. Модель обучалась на данных с разметкой ансамблем моделей, а не людьми; хуже распознаёт редкий класс «прочее». Она не предназначена для классификации целых предложений, формального текста, письма деванагари и других пар смешения языков. Лицензия — Apache 2.0.

121июль 2026ctx514
textapache-2.0hugging-face
google
byt5-base

ByT5 Base — предварительно обученная без токенизатора модель Google на архитектуре T5, работающая непосредственно с последовательностями байтов UTF-8. Она содержит около 595 млн параметров и обучалась на mC4 с задачей восстановления замаскированных фрагментов; для прикладных задач модель нужно дообучить. Модель подходит для сценариев с шумным текстом, где важны опечатки, написание и произношение, а также может обрабатывать текст на разных языках без отдельного токенизатора. Модель предназначена для последующей адаптации к задачам преобразования текста, например ответам на вопросы и исправлению ошибок. Байтовое представление повышает устойчивость к шуму, но последовательности байтов длиннее токенных, что может замедлять обработку и расходовать больше контекста. Репозиторий содержит варианты для PyTorch, TensorFlow и Flax. Лицензия — Apache 2.0.

49K39март 2022
textapache-2.0hugging-face
google
byt5-large

ByT5-large — предварительно обученная модель Google на архитектуре T5, работающая непосредственно с последовательностями UTF-8 байтов без токенизатора. Модель содержит около 1,2 млрд параметров и обучалась на mC4 с задачей маскирования фрагментов; supervised-обучение для прикладных задач не проводилось, поэтому перед использованием её нужно дообучить под целевую задачу. Модель предназначена для дообучения на задачах преобразования текста, особенно когда данные содержат опечатки, шум или нестандартное написание. Она поддерживает многоязычный текст и может быть полезна в сценариях, чувствительных к орфографии и произношению; в карточке отмечено превосходство над mT5-large на TweetQA. Работа с байтами избавляет от отдельного токенизатора, но последовательности обычно длиннее токенизированных, что может повышать вычислительные затраты. Лицензия — Apache-2.0.

13K24март 2022
textapache-2.0hugging-face
ufal
byt5-small-multilexnorm2021-es

ufal/byt5-small-multilexnorm2021-es — официальная испаноязычная версия ByT5-small, дообученная командой UFAL для нормализации лексики в рамках соревнования W-NUT 2021 MultiLexNorm. Модель преобразует отдельные токены с неформальными или шумными написаниями в нормализованную форму; она обучалась на синтетических данных, а затем на примерах нормализации из MultiLexNorm. В карточке заявлены лучшие результаты среди участников соревнования во внутренней оценке и оценке по влиянию на синтаксический разбор зависимостей. Модель построена на байтовой архитектуре encoder-decoder ByT5 — варианте T5 без токенизатора, который работает с байтовыми представлениями текста и подходит для шумных текстовых данных. Размер — 364,6 млн параметров. Она рассчитана на испанский язык и формат «токен на входе — нормализованный токен на выходе», а не на стандартное преобразование целых предложений. Доступна под лицензией Apache-2.0. Для применения следует учитывать специализированный формат входных данных и сценарий использования, описанные для MultiLexNorm.

231март 2022
textapache-2.0hugging-face
kjanh
detect_english

kjanh/detect_english — модель токен-классификации, опубликованная пользователем Khanh (kjanh) на Hugging Face. По идентификатору модели она предназначена для определения английского языка в текстовых данных. Модель относится к семейству DistilBERT и использует библиотеку Transformers; в метаданных указано около 0,1 млрд параметров и контекст до 512 токенов. Поддерживаемые модальности — текстовые данные, а задача классификации выполняется на уровне токенов. Сведения о лицензии, точном наборе языков, датасете, метриках и конкретных метках классификации в доступных источниках не установлены. Результаты следует проверять на собственных данных, особенно для коротких, смешанных, многоязычных или нестандартных текстов.

2780нояб. 2025ctx512
texthugging-face
Mattral
tabfm-1.0.0-pytorch

Карточка модели Mattral/tabfm-1.0.0-pytorch на Hugging Face совпадает с карточкой google/tabfm-1.0.0-pytorch, поэтому описание составлено по ней. TabFM 1.0.0 — табличная foundation-модель Google Research для классификации и регрессии на структурированных данных. Эта версия содержит веса PyTorch и использует библиотеку tabfm. Модель работает с числовыми и категориальными столбцами, принимает обучающие примеры как контекст и выдаёт прогноз за один проход без дообучения на конкретном наборе данных и подбора гиперпараметров. Архитектура сочетает внимание между столбцами и строками с 24-блочным причинным ICL-трансформером; в карточке также указана размерность эмбеддингов 256. TabFM предназначена для бинарной и многоклассовой классификации до 10 классов, а также регрессии. Данные можно передавать в виде pandas DataFrame или массивов NumPy. Модель обучалась на синтетических наборах, сгенерированных структурными причинными моделями; оценка на TabArena охватывала 51 набор данных. Лицензия указана как other, а README исключает коммерческое использование. Модель не предназначена для изображений, аудио, видео и текста; качество на конкретных предметных областях и редких распределениях не полностью охарактеризовано.

110июль 2026
textotherhugging-face
anton-l
xtreme_s_xlsr_300m_fleurs_langid_quicker_warmup

Модель anton-l/xtreme_s_xlsr_300m_fleurs_langid_quicker_warmup — дообученная на наборе XTREME-S модель классификации аудио на базе facebook/wav2vec2-xls-r-300m. Она предназначена для определения языка по аудиозаписи. В метаданных указаны архитектура Wav2Vec2ForSequenceClassification и 402,7 млн параметров; репозиторий содержит веса PyTorch. Модель опубликована под лицензией Apache-2.0. В README приведён результат оценки на тестовой выборке: точность 0,6199 при значении функции потерь 1,9765. Описание модели, обучающих данных и ограничений в карточке не раскрыто, поэтому её качество на других данных и набор поддерживаемых языков по имеющимся сведениям установить нельзя.

220апр. 2022
textapache-2.0hugging-face
cuong1692001
Terminal-data_science

Terminal-datascience — дообученная диалоговая модель на базе Qwen3-8B с 7,6 млрд параметров. Она предназначена для генерации текста в задачах анализа данных и обучена на наборах nemotron_easy_data_science, nemotron_medium_data_science и nemotron_mixed_data_science. Модель использует архитектуру Qwen3ForCausalLM и принимает текстовые запросы, выдавая текстовые ответы. Указанная длина контекста — 40 960 токенов; формат весов — safetensors, для работы заявлена библиотека Transformers. Базовая Qwen3-8B поддерживает несколько языков, однако языки и качество именно этой дообученной версии в карточке не уточнены. Лицензия указана как other, без конкретных условий в предоставленных данных. Карточка не содержит сведений об оценке качества и ограничениях применения.

160июнь 2026ctx41K
textotherhugging-face
vida-nyu
magneto-schema-retriever-gdc

Magneto Schema Retriever - GDC — модель VIDA Lab при NYU, созданная дообучением sentence-transformers/all-mpnet-base-v2 для сопоставления схем в биомедицинских и геномных данных, ориентированных на стандарт Genomic Data Commons (GDC). Она кодирует описания столбцов в плотные векторы: модель учитывает название столбца и примеры его значений, чтобы находить семантически подходящие поля, даже если их названия различаются. Архитектура основана на MPNet, содержит 136,7 млн параметров и поддерживает контекст до 514 токенов. Модель рассчитана на англоязычные данные. Основной сценарий — первый этап поиска кандидатов при сопоставлении столбцов исследовательских таблиц со схемой GDC, в том числе для гармонизации данных онкологических исследований и построения конвейеров интеграции геномных данных. Обучение проводилось контрастивным методом с triplet loss на синтетических вариантах целевой схемы GDC; качество оценивали на GDC-SM, содержащем реальные таблицы биомедицинских исследований. В описанном двухэтапном конвейере список кандидатов затем уточняет LLM-реранкер. Модель распространяется по лицензии Apache-2.0. Модель специализирована на биомедицинской терминологии и стандарте GDC; на других предметных областях её качество может снижаться. Она предназначена для поиска соответствий между столбцами, а не для общей оценки семантического сходства, и не обучалась на исходных таблицах. Результаты для новых вариантов названий могут быть ограничены разнообразием синтетических примеров; для наилучшего качества рекомендуется последующее ранжирование кандидатов.

1.7K1дек. 2025ctx514
textembeddingapache-2.0hugging-face
ASD1EDSAC
MyAwesomeModel-TestRepo

MyAwesomeModel — модель на базе BERT для извлечения признаков из текста, опубликованная на Hugging Face в формате, совместимом с библиотекой Transformers. В метаданных модель классифицирована для задачи feature extraction; размер, длина контекста и поддерживаемые естественные языки не указаны. README описывает обновлённую версию модели с заявленными улучшениями рассуждений, логического анализа, программирования, классификации, суммаризации, диалогов и function calling, однако эти возможности не подтверждены pipeline-тегом feature-extraction и приведёнными техническими характеристиками. На практике модель следует рассматривать прежде всего как источник векторных представлений текста для последующей обработки. Модель распространяется по лицензии MIT. Для прикладного использования необходимо отдельно проверить фактическую архитектуру, качество на нужном языке и совместимость заявленных в README сценариев с доступными весами и конфигурацией.

1780сент. 2026
textembeddingmithugging-face
Harvinder6766
news_sentiment_sentence_v1

Harvinder6766/news_sentiment_sentence_v1 — модель классификации текста на основе DistilBERT, дообученная для анализа тональности новостных предложений. Она принимает текст и относит его к классам тональности; размер контекста составляет 512 токенов. Модель сохранена в формате Safetensors и распространяется по лицензии Apache-2.0. На указанной в карточке оценочной выборке модель достигла accuracy 0,7785 и loss 0,5339. Датасет, состав классов, языки и подробные сценарии применения в карточке не раскрыты, поэтому эти результаты не позволяют судить о качестве на других данных.

2150нояб. 2023ctx512
textapache-2.0hugging-face
MertOezberk95
tabfm-1.0.0-pytorch

Карточка модели MertOezberk95/tabfm-1.0.0-pytorch на Hugging Face совпадает с карточкой google/tabfm-1.0.0-pytorch, поэтому описание составлено по ней. TabFM 1.0.0 — табличная foundation-модель Google Research для классификации и регрессии на структурированных данных. Эта версия содержит веса PyTorch и использует библиотеку tabfm. Модель работает с числовыми и категориальными столбцами, принимает обучающие примеры как контекст и выдаёт прогноз за один проход без дообучения на конкретном наборе данных и подбора гиперпараметров. Архитектура сочетает внимание между столбцами и строками с 24-блочным причинным ICL-трансформером; в карточке также указана размерность эмбеддингов 256. TabFM предназначена для бинарной и многоклассовой классификации до 10 классов, а также регрессии. Данные можно передавать в виде pandas DataFrame или массивов NumPy. Модель обучалась на синтетических наборах, сгенерированных структурными причинными моделями; оценка на TabArena охватывала 51 набор данных. Лицензия указана как other, а README исключает коммерческое использование. Модель не предназначена для изображений, аудио, видео и текста; качество на конкретных предметных областях и редких распределениях не полностью охарактеризовано.

180июль 2026
textotherhugging-face
logasanjeev
bert-emotion-classifier

Bert Emotion Classifier — англоязычный классификатор эмоций, разработанный автором репозитория на основе BERT-base-uncased и дообученный на наборе GoEmotions. Модель выполняет многометочную классификацию текста по 28 эмоциям: одному комментарию могут соответствовать несколько меток с оценками вероятности. Архитектура — BertForSequenceClassification; метаданные указывают 136,7 млн параметров и контекст до 512 токенов. В README описана настройка с максимальной длиной входа 128 токенов, поддерживаются веса Safetensors и формат ONNX. Модель предназначена прежде всего для анализа коротких англоязычных комментариев в стиле Reddit: определения эмоций в пользовательских сообщениях, исследования тональности общения и построения аналитики по эмоциональным реакциям. Для версии с оптимизированными порогами автор сообщает Micro F1 0,6006 и Macro F1 0,5390 на тестовой выборке. Модель распространяется по лицензии MIT. Качество может снижаться на текстах, отличающихся от комментариев Reddit, а редкие эмоции распознаются хуже из-за малого числа примеров. Для воспроизводимых предсказаний следует применять описанную предобработку: заменять упоминания, названия сообществ и URL, преобразовывать эмодзи в текст и переводить текст в нижний регистр.

2.6K12апр. 2025ctx512
textmithugging-face
finiteautomata
beto-emotion-analysis

beto-emotion-analysis — модель классификации текста, разработанная на основе BETO, испаноязычной версии BERT. Она дообучена на корпусе TASS 2020 Task 2 для распознавания эмоций в текстах на испанском языке. Модель содержит 137,1 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Модель подходит для автоматической разметки эмоциональной окраски испаноязычных текстов, например сообщений и публикаций. Доступны веса в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

41716март 2022ctx512
texthugging-face
distil-labs
distil-qwen3-1.7b-posthog-extractor

distil-qwen3-1.7b-posthog-extractor — специализированная языковая модель на 1,7 млрд параметров, разработанная Distil Labs на базе Qwen3-1.7B. Она принимает краткое описание поведения пользователя и возвращает только JSON с обнаруженными ошибками и пробелами пользовательского опыта: указывает тип находки и серьёзность от 1 до 5. Для чистой сессии модель должна вернуть пустой список находок. Модель предназначена для извлечения продуктовых наблюдений из пользовательских сессий в составе аналитического конвейера PostHog. Модель представляет собой дообученную плотную авторегрессионную архитектуру Qwen3ForCausalLM; поддерживает текстовый ввод и генерацию текста, имеет контекст 40 960 токенов. В карточке указаны форматы safetensors и GGUF F16. Дообучение выполнено на платформе Distil Labs на синтетических примерах, расширенных из 25 подготовленных вручную пар; README сообщает о результате 80% на отложенной оценке платформы и о путанице между ошибкой и пробелом UX в неоднозначных случаях. Лицензия — Apache-2.0.

380авг. 2026ctx41K
textapache-2.0hugging-face
jahnavidanda02
drivesignal-distilbert

DriveSignal DistilBERT — дообученный классификатор текстов на основе distilbert-base-uncased, созданный для проекта DriveSignal. Он относит свободные описания событий, когда автономное транспортное средство передало управление водителю, к одной из 10 категорий безопасности: сбой восприятия или прогнозирования, удержание полосы, торможение, нежелательный манёвр, дорожные условия или строительные работы, превентивное отключение, аппаратный сбой, локализация и картографирование либо прочее. Модель обучена на 14 800 описаниях из отчётов DMV Калифорнии за 2022–2024 годы, включая отчёты Waymo и других производителей. Большинство обучающих меток получено эвристическим классификатором по ключевым словам и регулярным выражениям. На отдельной вручную размеченной выборке из 250 примеров точность составила 80%; это совпало с точностью эвристического базового метода в той же оценке. Модель принимает текст и выдаёт категорию классификации. Контекст — до 512 токенов. Лицензия — Apache-2.0. Модель может пропускать редкие категории, недостаточно представленные в обучающих данных, и хуже работать с описаниями, сформулированными иначе, чем отчёты DMV Калифорнии.

120июль 2026ctx512
textapache-2.0hugging-face
prithivMLmods
Gender-Classifier-Mini

Gender-Classifier-Mini — модель классификации изображений, созданная prithivMLmods на основе дообучения google/siglip2-base-patch16-224. Она использует архитектуру SiglipForImageClassification и относит изображение к одному из двух классов: Female или Male. Модель предназначена для автоматической разметки изображений по этим двум классам, например при анализе распределения меток в наборах данных. В README указаны accuracy и F1 0,972 на тестовой выборке из 5000 примеров; эти показатели относятся к приведённой оценке и не гарантируют такую же точность на других данных. Модель принимает изображения и выдаёт метку класса. Распространяется по лицензии Apache-2.0.

3.1M5март 2025
imageapache-2.0hugging-face
ayeshayasir7543458
results

Модель ayeshayasir7543458/results — версия DistilBERT, дообученная на датасете отзывов о фильмах IMDB для классификации тональности на положительную и отрицательную. Она принимает текст отзыва и возвращает метку класса; архитектура — DistilBertForSequenceClassification, формат весов — safetensors. Модель предназначена для анализа англоязычных отзывов о кино; заявленная длина контекста — 512 токенов. В README приведены метрики на оценивании: accuracy 0,893, precision 0,8699, recall 0,9180 и F1 0,8933. Модель выпущена под лицензией Apache-2.0. Результаты относятся к задаче и данным IMDB; качество на других жанрах текста или языках не подтверждено.

110июнь 2026ctx512
textapache-2.0hugging-face
nahiar
spam-detection-xlm-roberta-v2

Модель nahiar/spam-detection-xlm-roberta-v2 разработана на базе XLM-RoBERTa и дообучена для бинарной классификации текстов социальных сетей на спам и обычные сообщения. Она рассчитана на модерацию публикаций и комментариев в Twitter/X, Instagram, TikTok, Facebook и на форумах, а также на предварительную фильтрацию текста перед анализом тональности или тем. Архитектура — XLMRobertaForSequenceClassification, размер — 305,2 млн параметров, контекст — до 514 токенов. Модель принимает текст и выдаёт метку класса; README заявляет поддержку индонезийского и английского языков и приводит метрики на отложенной выборке: accuracy 0,9645 и macro F1 0,9639. Модель предназначена для готового применения через Transformers pipeline. Она классифицирует только спам и обычные сообщения, не оптимизирована для формального текста, может хуже работать на очень коротких или неоднозначных сообщениях и сохраняет риск смещения. Лицензия — Apache-2.0.

2650февр. 2026ctx514
textapache-2.0hugging-face
prithivMLmods
vit-mini-explicit-content

vit-mini-explicit-content — модель классификации изображений, дообученная разработчиком prithivMLmods на базе Vision Transformer ViT-Base/16. Она использует архитектуру ViTForImageClassification и относит изображение к одному из пяти классов: аниме, чувственное содержание, хентай, порнография или безопасный для просмотра контент. Модель предназначена для фильтрации и модерации изображений, проверки наборов данных и настройки поиска по наличию контента для взрослых. Модель принимает изображения и выдаёт метку класса. Размер составляет 113,2 млн параметров; карточка указывает библиотеку Transformers и формат Safetensors. В тегах указан английский язык, но модель классифицирует изображения, а не обрабатывает текстовые запросы. Лицензия — Apache-2.0. Классификация может ошибаться, поэтому результаты не следует использовать для автоматических решений без проверки человеком; особенно важно учитывать риск неверной маркировки.

1096май 2025
imageapache-2.0hugging-face
jhu-clsp
bernice

Bernice — мультиязычный предварительно обученный энкодер семейства RoBERTa, разработанный исследователями Университета Джонса Хопкинса и представленный в статье EMNLP 2022 года. Модель обучена с нуля исключительно на данных Twitter: 2,5 млрд твитов на 66 языках, с токенизатором, адаптированным к твитам, эмодзи и хештегам. В репозитории представлена версия XLM-RoBERTa для заполнения пропусков, содержащая около 305 млн параметров; формат — PyTorch и safetensors, контекст — 130 токенов. Модель предназначена для получения представлений твитов и как основа для задач анализа публикаций в социальных сетях. Авторы оценивали её на наборах TweetEval, UMSAB и Multilingual Hate Speech; результаты показывают сильные показатели в мультиязычном анализе тональности и токсичности, хотя на TweetEval Bernice уступает BERTweet. Лицензия — MIT. Качество может быть ниже для малоресурсных языков, поскольку в обучающих данных они представлены менее разнообразно. Корпус также может содержать спам и язык ненависти; модель не является готовым детектором таких материалов без дополнительной настройки.

1.4K5окт. 2022ctx130
textmithugging-face
melll-uff
bertweetbr

BERTweet.BR — языковая модель семейства RoBERTa, разработанная авторами карточки модели для работы с португалоязычными твитами. Модель обучена с нуля по процедуре предварительного обучения RoBERTa на корпусе примерно из 100 миллионов твитов объёмом около 9 ГБ. Она содержит 162,4 млн параметров и принимает последовательности длиной до 130 токенов. Модель предназначена для восстановления скрытых токенов в тексте и получения контекстных представлений португалоязычных публикаций в социальных сетях. Токенизатор нормализует твиты, включая обработку упоминаний, URL и эмодзи. Весовые файлы доступны в формате PyTorch; лицензия — Apache-2.0. Карточка демонстрирует извлечение скрытых представлений, но не приводит оценки качества и не описывает специализированную настройку для отдельных задач.

34810авг. 2022ctx130
textapache-2.0hugging-face
FredZhang7
google-safesearch-mini-v2

Google Safesearch Mini V2 — классификатор изображений для выявления откровенного контента, разработанный Fred Zhang. Модель построена на архитектуре InceptionResNetV2 и обучена на наборе примерно из 3,4 миллиона изображений из Google Images, Reddit, Kaggle и Imgur; часть данных была создана аугментацией. Карточка сообщает о точности 97% на обучающей и валидационной выборках. Модель предназначена для фильтрации изображений в социальных сетях и наборах данных по признаку безопасного или откровенного содержания. Автор отмечает, что классификатор ошибочно принимал шерсть коричневой кошки за человеческую кожу и дообучал его на дополнительных наборах данных. Заявленная точность относится к указанным выборкам и не гарантирует такой же результат на новых данных. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

525янв. 2023
imageapache-2.0hugging-face
ayameRushia
indobert-base-uncased-finetuned-indonlu-smsa

ayameRushia/indobert-base-uncased-finetuned-indonlu-smsa — модель на базе BERT, дообученная на датасете IndoNLU для классификации текста на индонезийском языке. Она предназначена для анализа тональности и классификации коротких сообщений; в README приведены результаты на тестовой выборке: accuracy 0,9302 и F1 0,9066. Модель содержит 137,8 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и Safetensors. Лицензия — MIT.

360март 2022ctx512
textmithugging-face
SweatyCrayfish
Linux-CodeLlama-2-7B

SweatyCrayfish/Linux-CodeLlama-2-7B — дообученная текстовая модель на архитектуре Llama, основанная на Llama 2 Chat 7B и обученная на Ubuntu Dialogue Corpus. Она предназначена для получения текстовых представлений и может применяться в задачах извлечения признаков из текстов диалогов об Ubuntu и Linux. Модель содержит 6,6 млрд параметров, использует формат PyTorch и поддерживает контекст до 16 384 токенов; в метаданных указан английский язык. README сообщает, что для базовой модели использована лицензия Meta и упоминает доступность отдельной коммерческой лицензии, но не приводит её условий. В метаданных репозитория указана лицензия MIT; условия использования базовой модели и производной модели следует сверять отдельно. Обучающие данные — Ubuntu Dialogue Corpus.

616окт. 2023ctx16.4K
textembeddingmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей