/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
1 801–1 830 из 23 488
tiantiaf
wavlm-large-categorical-emotion

Модель tiantiaf/wavlm-large-categorical-emotion предназначена для классификации эмоций в речи. Она разработана на основе подхода Vox-Profile и использует обучающий конвейер SAILER, занявший первое место в INTERSPEECH 2025 Speech Emotion Challenge. Модель дообучена на MSP-Podcast и не использует транскрипт речи при классификации. Модель принимает аудио и относит речь к одной из девяти категорий: гнев, презрение, отвращение, страх, счастье, нейтральное состояние, грусть, удивление или другая эмоция. В качестве основы используется WavLM Large от Microsoft; веса доступны в формате safetensors. Лицензия — OpenRAIL. Метаданные указывают английский язык, а описание базовой модели характеризует её как предварительно обученную на английской речи.

9584май 2025
audioopenrailhugging-face
Alamin2230
xlm-roberta-hard-part2

Alamin2230/xlm-roberta-hard-part2 — дообученная модель классификации последовательностей на базе XLM-RoBERTa Base, опубликованная под лицензией MIT. Она предназначена для присвоения меток тексту; конкретная предметная область, набор меток и обучающие данные в карточке не раскрыты. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForSequenceClassification и принимает последовательности длиной до 514 токенов. В README приведены результаты оценки: F1 0,9872, точность 1,0, полнота 0,9747, FPR 0 и FNR 0,0253. Эти показатели относятся к указанному автором набору оценки, но его состав и методика не описаны, поэтому их нельзя считать гарантией качества на других данных. Базовая модель XLM-RoBERTa поддерживает многоязычный текст; языковая применимость именно этой настройки зависит от неизвестного набора дообучения.

80июнь 2026ctx514
textmithugging-face
ccamilo99
XML-Roberta-Large-spanish-sarcasm-detection-univalle-pln

Модель разработана Univalle PLN в рамках практикума по обработке естественного языка и представляет собой дообученную версию XLM-RoBERTa-large для бинарного определения сарказма в испанских текстах. Это плотная трансформерная модель с классификационной головой; в ходе дообучения заморозили основную часть модели и адаптировали последние шесть слоёв энкодера и pooler. Размер модели — 658,7 млн параметров, контекст — до 514 токенов. Модель подходит для классификации испанских высказываний как саркастических или несаркастических, например, для анализа сообщений и комментариев. В README указаны результаты на валидационной выборке: accuracy 93,61% и F1 91,68%; эти показатели не гарантируют аналогичного качества на данных другого домена. Модель распространяется в формате safetensors по лицензии MIT.

251июль 2026ctx514
textmithugging-face
Davlan
afro-xlmr-large-75L

AfroXLMR-large-75L — многоязычная модель Davlan для восстановления замаскированных фрагментов текста. Она создана адаптацией MLM модели XLM-R-large на корпусах mC4, Википедии и OPUS, охватывающих 75 языков, широко используемых в Африке, а также четыре языка с большим объёмом ресурсов. Модель основана на архитектуре XLM-RoBERTa, содержит около 658,7 млн параметров и принимает последовательности длиной до 514 токенов. Основная задача — предсказывать пропущенные токены в тексте. Модель подходит для многоязычной языковой обработки, особенно для африканских языков; она также может служить базой для задач, требующих языковых представлений, после соответствующей настройки. Модель распространяется под лицензией MIT.

8781сент. 2023ctx514
textmithugging-face
mohsin416
autocatalogai-clip-multitask

AutoCatalogAI CLIP Multi-Task Classifier — модель для извлечения атрибутов модных товаров по изображениям. Она использует визуальный энкодер CLIP ViT-Base/32 с отдельными классификационными головами для семи полей: пола, основной категории, подкатегории, типа товара, основного цвета, сезона и назначения. Базовая модель — openai/clip-vit-base-patch32; обучение проводилось на наборе ashraq/fashion-product-images-small с разделением на обучающую, валидационную и тестовую выборки. На тесте из 6611 изображений средняя точность по атрибутам составила 83,4%, средний macro F1 — 65,7%, а exact match по всем атрибутам одновременно — 27,9%. Модель рассчитана на автоматическое заполнение карточек одежды и классификацию изображений товаров; для загрузки требуются пользовательские классификационные головы и код проекта AutoCatalogAI. Репозиторий содержит веса PyTorch. Лицензия в доступных данных не указана.

80июль 2026
imagehugging-face
Matthijsvanhof
bert-base-dutch-cased-finetuned-mBERT

Matthijsvanhof/bert-base-dutch-cased-finetuned-mBERT — дообученная модель DistilBERT для классификации токенов, созданная на базе distilbert-base-multilingual-cased. Она предназначена для присвоения меток отдельным токенам входного текста; конкретный набор меток и целевой сценарий в карточке не раскрыты. Модель имеет контекст длиной до 512 токенов и распространяется в формате PyTorch по лицензии Apache-2.0. В README приведены результаты оценки: F1 и точность по полноте составляют 0,7255, accuracy — 0,9758, loss — 0,0898. Датасет и ограничения применения не описаны, поэтому эти метрики нельзя привязать к конкретной задаче или оценить переносимость модели на новые данные.

190март 2022ctx512
textapache-2.0hugging-face
Stremie
bert-base-uncased-clickbait

Stremie/bert-base-uncased-clickbait — модель классификации текста на основе BERT, предназначенная для определения, является ли публикация в Twitter кликбейтом. По README, модель обучена на наборе данных Webis-Clickbait-17 и принимает текст публикации в поле postText. В метаданных указана архитектура BertForSequenceClassification, размер 136,7 млн параметров и контекст до 512 токенов. На тестовых данных автор сообщает оценку F1 около 0,7. Модель подходит для автоматической разметки публикаций и предварительной фильтрации кликбейта, однако качество может быть недостаточным для решений, требующих высокой точности, и отдельно не подтверждено для текстов за пределами Twitter. Условия лицензирования в предоставленных данных не указаны.

480апр. 2022ctx512
texthugging-face
Wakaka
bert-finetuned-imdb

Wakaka/bert-finetuned-imdb — модель классификации текста на базе BERT, дообученная на датасете IMDb для определения тональности отзывов о фильмах. Она содержит 135,5 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт метку класса. На оценочной выборке IMDb указана точность 0,866 и значение функции потерь 0,5591. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Модель подходит для анализа тональности англоязычных отзывов о фильмах и классификации похожих текстов. Её оценка приведена для IMDb; качество на других темах и типах текста может отличаться. В карточке не описаны дополнительные ограничения.

90май 2022ctx512
textapache-2.0hugging-face
xuancoblab2023
Bert_tinybert-distilled

xuancoblab2023/Bert_tinybert-distilled — дообученная для классификации последовательностей модель на базе компактной англоязычной google/bert_uncased_L-2_H-128_A-2. Она содержит 4,4 млн параметров, принимает текст длиной до 512 токенов и выдаёт метки классов. В README приведены результаты оценки: accuracy 0,7973, ROC AUC 0,8745, MCC 0,6019 и PR AUC 0,8517. Набор данных и конкретная схема классификации не описаны. Модель распространяется по лицензии Apache-2.0.

440июль 2024ctx512
textapache-2.0hugging-face
FremyCompany
BioLORD-2023-M

BioLORD-2023-M — мультиязычная модель эмбеддингов компании FremyCompany для представления клинических предложений и биомедицинских понятий. Она основана на XLM-RoBERTa и содержит 305,2 млн параметров; README указывает, что модель получена дистилляцией BioLORD-2023 и дообучена на BioLORD-Dataset и определениях из Automatic Glossary of Clinical Terminology. Модель преобразует предложения, абзацы и фразы в плотные векторы размерностью 768, пригодные для семантического поиска, сравнения сходства и кластеризации. Определения понятий и короткие описания из биомедицинских онтологий помогают сохранять семантические иерархические связи. В README заявлено высокое качество на MedSTS и EHR-Rel-B. Официально поддерживаются английский, испанский, французский, немецкий, нидерландский, датский и шведский языки; контекст — 514 токенов. Модель особенно подходит для медицинских документов, записей электронных медицинских карт и клинических заметок, сохраняя также способность кодировать текст общего назначения. Лицензия указана как other; конкретные условия следует сверить с карточкой модели перед использованием.

26K20нояб. 2023ctx514
textembeddingotherhugging-face
d4data
biomedical-ner-all

Англоязычная модель распознавания биомедицинских именованных сущностей, разработанная Deepak John Reji и Shaina Raza в рамках исследовательской темы по применению ИИ в биомедицине. Она дообучена на базе distilbert-base-uncased на наборе данных Maccrobat и распознаёт 107 типов биомедицинских сущностей в текстах, включая истории болезни и клинические описания. Модель использует архитектуру DistilBERT для классификации токенов и принимает текст длиной до 512 токенов. Подходит для извлечения упоминаний биомедицинских сущностей из англоязычных корпусов и клинических текстов. Лицензия — Apache-2.0.

59K197июнь 2022ctx512
textapache-2.0hugging-face
AeBoPi-0
bird-sql-qwen35-4b-generator

AeBoPi-0/bird-sql-qwen35-4b-generator — дообученная генеративная модель на архитектуре Qwen3.5-4B, подготовленная как генератор SQL-кандидатов для конвейера BIRD-SQL. Это плотная модель с поддержкой чата в режиме non-thinking; опубликованный артефакт основан на checkpoint-372 и содержит веса в формате safetensors, шаблон чата, токенизатор и конфигурацию генерации. Модель обучена на 16 830 записях SFT, полученных дублированием 8 415 обработанных трасс shell-агента из BIRD-train. Её задача — генерировать варианты SQL для последующего отбора отдельной моделью-селектором. Карточка описывает специализированный сценарий работы с данными BIRD-SQL; сведений о поддерживаемых естественных языках, длине контекста и лицензии в предоставленных источниках нет.

3000сент. 2026ctx262.1K
texthugging-face
agurung
cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp10-iid30v11v

Это экспериментальный чекпойнт языковой модели Qwen3-4B, разработанный автором репозитория agurung. Модель дообучена методом обучения с подкреплением GRPO на базе Qwen/Qwen3-4B-Instruct-2507; согласно карточке, для этого запуска не использовалась предварительная SFT-инициализация. Чекпойнт сохранён на шаге 56 и предназначен прежде всего для генерации кода при решении задач программирования. Обучение использовало бинарную награду за прохождение тестов программы, а также штрафы за усечение ответа и чрезмерную длину. В приведённой оценке на отложенных задачах pass@1 составил 4,2843, pass@8 — 7,4901; это результаты конкретного набора и режима проверки, а не гарантия качества на произвольных задачах. Модель имеет плотную архитектуру Qwen3ForCausalLM и около 3,7 млрд параметров, принимает текст и генерирует текст; контекст — до 262 144 токенов. Файлы представлены в формате safetensors, библиотека загрузки — Transformers. Лицензия в предоставленных данных не описана.

2740авг. 2026ctx262.1K
texthugging-face
KoichiYasuoka
deberta-xlarge-chinese-erlangshen-upos

Koichi Yasuoka разработал эту модель на архитектуре DeBERTa-v2 для разметки частей речи в китайском тексте. Она дообучена на базе IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese и присваивает каждому слову тег UPOS из универсального набора частей речи. Модель предназначена для POS-разметки и разбора зависимостей; метаданные Hugging Face указывают задачу классификации токенов и датасет Universal Dependencies. Модель содержит 930,7 млн параметров, работает с китайским языком и поддерживает упрощённое и традиционное письмо. Родной размер контекста — 512 токенов. Веса доступны в формате PyTorch, лицензия — Apache-2.0. Карточка не уточняет ограничения качества или точный формат вывода разбора зависимостей.

351янв. 2023ctx512
textapache-2.0hugging-face
decosaai
decosa-cell-pointer-modernbert-base

decosaai разработала decosa-cell-pointer-modernbert-base v2 — англоязычный указатель для сопоставления чисел в тексте с ячейками таблиц. Он принимает абзац с помеченными числами и таблицы, в которых значения ячеек скрыты, и определяет строку и столбец, на которые ссылается каждое число; также может вернуть «нет ячейки» или указать операцию и ячейки-операнды для вычисленных чисел. Модель основана на encoder-only ModernBERT-base с архитектурой ModernBertForMaskedLM, содержит 149 млн параметров и поддерживает контекст до 8192 токенов. Репозиторий также содержит вариант v1, который видит значения ячеек; основная модель — value-blind v2. Модель предназначена для этапа привязки чисел к таблицам в проверщиках согласованности клинических отчётов, после чего отдельный код сравнивает число с найденной ячейкой. В тестах на клинических отчётах она показала хорошие результаты, но перенос на финансовую отчётность слабый; модель не проверяет правильность числа сама по себе и не предназначена для клинических, регуляторных или пациентских решений. Лицензия — Apache-2.0.

250сент. 2026ctx8.2K
textapache-2.0hugging-face
lyrisha
distilbert-base-finetuned-imdb-sentiment

lyrisha/distilbert-base-finetuned-imdb-sentiment — модель классификации текстов на базе DistilBERT, дообученная на задачу определения тональности отзывов IMDb. Она предназначена для отнесения текста к классам тональности; в README указаны точность 0,9306 и значение loss 0,2441 на оценочном наборе. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст и выдаёт метки классов. Максимальная длина контекста — 512 токенов; веса представлены в формате safetensors. Карточка не раскрывает состав обучающих данных и подробности оценки, поэтому результаты нельзя напрямую переносить на другие жанры текстов и распределения данных. Модель выпущена под лицензией Apache-2.0.

170май 2024ctx512
textapache-2.0hugging-face
abandekar-dev
distilbert-onet

abandekar-dev/distilbert-onet — модель классификации текста, созданная дообучением DistilBERT разработчиком Abandekar. Она предназначена для отнесения текстовых последовательностей к классам; конкретная предметная область и состав классов в карточке не описаны. Модель использует архитектуру DistilBertForSequenceClassification и формат весов safetensors, работает с контекстом до 512 токенов и основана на distilbert/distilbert-base-uncased. На указанном в README наборе оценки модель показала accuracy 0,7840 и macro-F1 0,7159 при loss 0,6841. В README отмечено, что модель дообучена на наборе данных, названном None, поэтому назначение и переносимость результатов оценить сложно. Лицензия — Apache-2.0.

60июнь 2026ctx512
textapache-2.0hugging-face
staticlabs
dlm-code0.6b-exp

dlm-code0.6b-exp — экспериментальная модель генерации кода из проекта thunder-fast, созданная на основе предварительно обученной кодовой модели Qwen2. Это дискретная masked-diffusion модель: она генерирует текст последовательными шагами снятия масок при двунаправленном внимании, заполняя окно вывода за 24 шага, а не предсказывает следующий токен авторегрессионно. В основе — плотная архитектура Qwen2 с 24 слоями, размером около 494 млн параметров и контекстом до 32 768 токенов. Модель предназначена для генерации кода по текстовым запросам. Для получения результатов требуется diffusion-декодер с циклом итеративного снятия масок, например runtime проекта thunder-fast; обычная загрузка как причинной Qwen2ForCausalLM не воспроизводит этот режим генерации. Чекпойнт обозначен как экспериментальный и находящийся в разработке. Сведения о лицензии в предоставленных источниках отсутствуют.

1060сент. 2026ctx32.8K
texthugging-face
Ludo33
e5_General_2026_V2

Ludo33/e5_General_2026_V2 — дообученная модель на базе intfloat/multilingual-e5-base, опубликованная в формате safetensors и использующая архитектуру XLM-RoBERTa для классификации текста. В карточке указаны взвешенная F1-мера 0,898 и loss 0,2693 на оценочном наборе, но сведения о данных и назначении классов отсутствуют. Модель предназначена для классификации текста; базовая multilingual-e5-base преобразует текст в эмбеддинги и поддерживает многоязычный поиск и сопоставление предложений. Доступный контекст составляет 514 токенов. Лицензия — MIT. Без описания датасета и меток нельзя определить, какие именно категории она предсказывает и насколько результаты применимы к конкретной задаче.

310июль 2026ctx514
textmithugging-face
bhadresh-savani
electra-base-emotion

bhadresh-savani/electra-base-emotion — модель классификации текста на основе ELECTRA, предназначенная для определения эмоций в сообщениях. Она обучалась для работы с эмоциональными высказываниями в Twitter; карточка приводит набор данных Twitter-Sentiment-Analysis и результат оценки на тесте с точностью 91,95% и F1 91,90%. Модель содержит 20,4 млн параметров, принимает текст длиной до 512 токенов и выдаёт метку класса эмоции. Модель подходит для анализа эмоциональной окраски коротких сообщений и изучения реакций аудитории в социальных сетях. Доступны веса в форматах PyTorch, TensorFlow и Flax. Лицензия Apache-2.0 разрешает использование и распространение с соблюдением её условий. Результаты оценки относятся к указанным данным и не гарантируют аналогичное качество на других жанрах, языках или распределениях текста.

571март 2022ctx512
textapache-2.0hugging-face
nahiar
emotion-analysis

EmoSense-ID — модель классификации эмоций в текстах на индонезийском языке, разработанная на основе NusaBERT-base. Архитектура — BERT для классификации последовательностей; модель содержит 137,8 млн параметров, принимает текст длиной до 512 токенов и выдаёт категории эмоций по модели Плутчика: ожидание, гнев, отвращение, страх, радость, печаль, удивление и доверие. Модель обучена на индонезийских твитах и предназначена для анализа эмоциональных реакций в социальных сетях. При обучении применялся подбор гиперпараметров с Optuna. Доступна по лицензии MIT. Классификация может быть смещена из-за особенностей обучающих данных; результаты следует интерпретировать с учётом этого ограничения.

3740июль 2025ctx512
textmithugging-face
abanfalvi
finance-llama-nemotron-embed-1b-v2

abanfalvi/finance-llama-nemotron-embed-1b-v2 — дообученная модель Sentence Transformers на базе nvidia/llama-nemotron-embed-1b-v2, предназначенная для поиска по финансовым документам. Она преобразует текстовые предложения и абзацы в плотные векторы размерности 2048; для сравнения векторов используется косинусное сходство. Архитектура включает двунаправленный Llama-трансформер, усредняющий слой Pooling и нормализацию эмбеддингов. Модель обучена на датасете финансовой отчётности financial-filings-sparse-retrieval-training. Её можно применять для поиска релевантных фрагментов отчётности и сопоставления финансовых запросов с документами. В README указана максимальная длина последовательности 2048 токенов; метаданные каталога указывают базовый контекст 131072 токена, поэтому для этой дообученной модели следует ориентироваться на ограничение карточки в 2048 токенов. Лицензия в предоставленных данных не указана.

220июль 2026ctx131.1K
textembeddinghugging-face
bardsai
finance-sentiment-ja-base

Finance Sentiment JA (base) — модель классификации тональности японских финансовых новостей, разработанная bards.ai. Она дообучена на базе японской BERT-модели cl-tohoku/bert-base-japanese на переведённой версии набора Financial PhraseBank и выдаёт одну из трёх меток: положительная, отрицательная или нейтральная тональность. Модель подходит для автоматической оценки тональности новостных заметок и фраз о финансах, например для мониторинга новостного потока или анализа упоминаний компаний и рынков. Архитектура — BERT для классификации последовательностей; размер — 137,8 млн параметров, максимальная длина контекста — 512 токенов. В карточке сообщается о macro F1, precision и recall по 0,959 на оценке модели. Модель рассчитана на японский язык и финансовую тематику; результаты на других языках и вне финансового контекста не подтверждены. Распространяется по лицензии CC BY-SA 3.0.

8953сент. 2023ctx512
textcc-by-sa-3.0hugging-face
lethalantidote
fine_tuned_standford_PHI

Synthetic PHI Detector — модель Stanford AIMI, дообученная на синтетических клинических шаблонах, полученных из Synthea, для токенной классификации медицинских сущностей. Она размечает три типа сущностей: номера медицинских записей, диагнозы и лекарственные препараты; метки BIO задаются в конфигурации модели. Модель построена на BERT, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Она предназначена для поиска клинической информации, требующей проверки при обезличивании медицинских документов. В описанном наборе из 5997 примеров заявлен строгий F1 1,0 для каждого типа и в целом, однако синтетические шаблоны не охватывают все форматы документов, учреждений и идентификаторов. Возможны пропуски и ложные срабатывания; результат не гарантирует соответствие требованиям и требует человеческой проверки и дополнительных средств контроля. Сведения о лицензии в предоставленных источниках отсутствуют.

60авг. 2026ctx512
texthugging-face
mukaj
fin-mpnet-base

Fin-MPNET-Base v0.1 — дообученная модель Sentence Transformers на архитектуре MPNet, разработанная для поиска по финансовым документам. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, поиска ответов и кластеризации; особенно ориентирована на финансовые вопросы и retrieval-сценарии, сохраняя часть универсальных возможностей. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель обучена на базе sentence-transformers/all-mpnet-base-v2 на более чем 150 тысячах примеров вопросов и ответов по финансовым документам с использованием MNR Loss. Автор сообщает о высоком результате на тесте FiQA, но полная оценка на наборах бенчмарков не завершена; на некоторых нефинансовых задачах качество может немного снизиться. Формат весов — safetensors. Информация о лицензии в предоставленных данных отсутствует.

4.8K8янв. 2024ctx514
textembeddinghugging-face
mnoukhov
gpt2-imdb-sentiment-classifier

mnoukhov/gpt2-imdb-sentiment-classifier — дообученная на наборе IMDb модель на базе GPT-2 для классификации тональности отзывов о фильмах. Она использует архитектуру GPT2ForSequenceClassification, работает с текстом и имеет контекст длиной до 1024 токенов. На указанной в карточке оценочной выборке модель показала точность 0,9394 и loss 0,1703; автор сопоставляет её с distilbert-imdb и сообщает о немного лучших результатах по этим двум метрикам. Модель распространяется по лицензии MIT. Оценки относятся к IMDb и сами по себе не подтверждают качество на других темах или типах текста.

1656март 2023ctx1K
textmithugging-face
ibm-granite
granite-geospatial-uki

granite-geospatial-uki — разработанная IBM геопространственная базовая модель на архитектуре ViT с энкодером, обученным по стратегии Masked AutoEncoder. Она использует архитектуру Prithvi-EO и предназначена для извлечения признаков из многоканальных спутниковых изображений HLS L30 и Sentinel-1 SAR. Модель дополнительно обучена на 16 000 изображениях, охватывающих Великобританию и Ирландию, после предварительного обучения на данных HLS для континентальной части США. Модель принимает восемь каналов: Blue, Green, Red, Narrow NIR, SWIR 1, SWIR 2, VV и VH. Её можно дообучать для сегментации изображений, например, для обнаружения наводнений в Великобритании и Ирландии. Репозиторий распространяется по лицензии Apache-2.0; IBM отмечает, что не обязуется поддерживать или обновлять проект.

24116дек. 2024
imageembeddingapache-2.0hugging-face
w11wo
indonesian-roberta-base-posp-tagger

indonesian-roberta-base-posp-tagger — модель RoBERTa с 151,8 млн параметров, дообученная w11wo на наборе данных indonlu на основе flax-community/indonesian-roberta-base. Она предназначена для токенной классификации индонезийского текста; название указывает на разметку частей речи (POS-теггинг). Контекст модели — до 514 токенов. На оценочном наборе indonlu модель достигла точности, полноты и F1 0,9625. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Лицензия — MIT.

3.4M18март 2022ctx514
textmithugging-face
QuantFactory
instruction-synthesizer-GGUF

QuantFactory/instruction-synthesizer-GGUF — квантизированная версия модели instruction-pretrain/instruction-synthesizer, подготовленная QuantFactory с использованием llama.cpp. Модель создана в рамках проекта Instruction Pre-Training: Language Models are Supervised Multitask Learners, посвящённого масштабируемому дополнению сырых текстовых корпусов парами «инструкция — ответ». README не указывает конкретную архитектуру и количество параметров базовой модели. Модель предназначена для генерации пар «инструкция — ответ» на основе заданного исходного текста. Она может применяться для автоматического создания обучающих данных, расширения сырых корпусов инструкциями, подготовки наборов для supervised fine-tuning и построения доменно-ориентированных языковых моделей. Поддерживается контекстный сценарий работы, а результат выдаётся в текстовом формате со специальными маркерами <QUE>, <ANS> и </END>. В карточке указано, что модель ориентирована на английский язык. К сильным сторонам относятся способность синтезировать данные для множества задач и категорий, а также формат GGUF, рассчитанный на использование с llama.cpp и более эффективный запуск квантизированной модели. Ограничения включают отсутствие в README сведений о размере квантизации, точном контекстном окне, количестве параметров, требованиях к ресурсам и результатах оценки именно этой GGUF-версии. Модель распространяется по лицензии Apache-2.0.

8647июнь 2024
textapache-2.0hugging-face
koshin2001
Japanese-to-emotions

Японская модель для классификации текста по эмоциональным меткам, дообученная автором на базе line-corporation/line-distilbert-base-japanese. В качестве данных для обучения использован WRIME Ver2. Архитектура — DistilBERT с классификационной головой для последовательностей; модель работает с текстом и имеет контекст до 512 токенов. Модель предназначена для определения эмоциональной окраски японского текста, например коротких сообщений и высказываний. Использовать её можно в анализе пользовательских отзывов, сообщений и текстовых корпусов. Модель распространяется по лицензии CC BY-NC-ND 4.0; применимость лицензии к конкретному сценарию следует оценивать с учётом её условий.

1666сент. 2024ctx512
textcc-by-nc-nd-4.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей