/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
4 921–4 950 из 23 488
gogamza
kobart-base-v2

gogamza/kobart-base-v2 — корейская языковая модель семейства BART, распространяемая Heewon (Haven) Jeon. Это модель кодировщика-декодировщика, обученная восстанавливать исходный текст после добавления шума типа Text Infilling. Для обучения использованы более 40 ГБ корейских текстов, включая Википедию, новости, книги, диалоги и другие корпуса. В словарь Character BPE токенизатора размером 30 000 добавлены часто используемые в переписке эмодзи и текстовые смайлы. Модель предназначена для извлечения признаков из корейского текста и может служить основой для последующих NLP-задач. В README указаны результаты на NSMC, KorSTS и Question Pair, но сведения об оценочных наборах и методике приведены ограниченно. Размер модели в метаданных указан как 79,7 млн параметров; README приводит для KoBART-base архитектурную таблицу с 12 слоями и 124 млн параметров. Контекст составляет 1026 токенов. Лицензия — MIT. Возможны предвзятые или вредные стереотипные ответы, поэтому результаты требуют проверки.

2.0K42март 2022ctx1K
textembeddingmithugging-face
rkdaldus
ko-sent5-classification

rkdaldus разработала модель классификации эмоций в корейском тексте на основе KoBERT. Она относит входную фразу к одной из пяти категорий: гнев, страх, радость, нежность или грусть. Модель дообучена на корейских эмоциональных диалогах из AI Hub и предназначена для анализа отдельных фраз и текстовых столбцов в таблицах. Модель использует архитектуру BERT, содержит 119,4 млн параметров и принимает последовательности длиной до 512 токенов. В README приведён пример загрузки как модели классификации последовательностей и вывода предсказанного класса с вероятностями. Репозиторий содержит веса в формате Safetensors; лицензия в предоставленных данных не указана.

281окт. 2024ctx512
textembeddinghugging-face
ryanwlr
learn_hf_food_not_food_text_classifier-distilbert-base-uncased

Это модель классификации текста, дообученная на базе distilbert/distilbert-base-uncased. Она предназначена для отнесения текстовых примеров к классам «еда» и «не еда», что следует из названия репозитория. Модель использует архитектуру DistilBERT для классификации последовательностей, принимает текст и возвращает метку класса. Максимальная длина контекста — 512 токенов. В README указана точность 1,0 и loss 0,0005 на оценочном наборе, однако датасет и условия оценки не описаны, поэтому эти результаты не позволяют судить о качестве на других данных. Модель опубликована под лицензией Apache-2.0.

160июнь 2026ctx512
textapache-2.0hugging-face
beeformer
Llama-amazbooks-mpnet

Llama-amazbooks-mpnet — модель эмбеддингов на архитектуре MPNet, опубликованная beeformer и дообученная для рекомендательных систем. Она преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для контентной фильтрации и использования описаний товаров как дополнительной информации при рекомендациях, в том числе для новых объектов без истории взаимодействий. Модель основана на sentence-transformers/all-mpnet-base-v2 и дообучена на наборе Amazon Books с описаниями книг, сгенерированными Meta-Llama-3.1-8B-Instruct. Архитектура и предварительно обученные параметры не менялись; максимальная длина обрабатываемой последовательности при обучении была сокращена до 384 токенов. Метаданные указывают контекст 514 токенов, библиотеку Sentence Transformers и английский язык. Лицензия — llama3.1. Модель подходит для представления описаний книг в векторном виде, поиска похожих книг и контентных рекомендаций. Карточка называет её демонстрацией возможностей обучающего фреймворка и предназначает для исследовательского использования; результаты оценки в README не приведены.

720авг. 2024ctx514
textembeddingllama3.1hugging-face
syzymon
long_llama_code_7b_instruct

LongLLaMA-Code 7B Instruct — языковая модель семейства LongLLaMA, дообученная автором syzymon для следования инструкциям. Модель содержит 6,6 млрд параметров и опубликована в формате PyTorch; в метаданных указана лицензия Llama 2. В карточке указана длина контекста 4096 токенов, а при настройке использовались входы длиной до 3072 токенов. Модель предназначена для ответов на базовые вопросы о научных статьях и программном коде, выполнения простого рефакторинга и других инструктивных задач. Для дообучения использовались MathInstruct, OpenOrca и ShareGPT-Processed; в частности, большая часть примеров была взята из MathInstruct. Карточка не сообщает о поддержке дополнительных модальностей или конкретных естественных языков. Это дообученная модель, а не новая базовая архитектура. В README заявлены базовые возможности работы с кодом и исследовательскими статьями, поэтому модель подходит для простых запросов, но её качество на сложных задачах не охарактеризовано. Для запуска доступна квантизованная версия, однако данный репозиторий содержит веса PyTorch.

8710окт. 2023ctx4.1K
textllama2hugging-face
shibing624
macbert4csc-base-chinese

shibing624/macbert4csc-base-chinese — модель китайской коррекции орфографии на основе MacBERT, разработанная автором pycorrector. Она принимает китайский текст и предназначена для поиска и исправления опечаток и ошибок в предложениях; модель интегрируется с pycorrector. Архитектура — BERT с головой masked language modeling, около 129,5 млн параметров и контекстом до 512 токенов. В README приведены результаты на тестовом наборе SIGHAN2015: F1 на уровне символов 89,91, на уровне предложений 77,89. Модель обучалась на данных, включающих обучающую часть SIGHAN2015, поэтому оценка на тестовой части этого набора относится к воспроизведению соответствующей работы. Репозиторий содержит веса в форматах PyTorch, Safetensors и ONNX. Лицензия — Apache-2.0.

557K121март 2022ctx512
textapache-2.0hugging-face
prithivMLmods
Mature-Content-Detection

Mature-Content-Detection — модель классификации изображений, разработанная на базе google/siglip2-base-patch16-224 и дообученная с архитектурой SiglipForImageClassification. Она присваивает изображению одну из пяти меток: «аниме», «хентай», «нейтральное», «порнография» или «соблазнительное/чувственное». Модель предназначена для модерации изображений, родительского контроля, фильтрации поиска и разметки наборов данных. Это визуальный энкодер, принимающий изображения и выдающий метку класса; он не генерирует контент. По карточке модель лучше работает с аниме и изображениями взрослой тематики и не предназначена для общей классификации изображений, например выявления насилия, символов ненависти или наркотиков. Предсказания вероятностные, поэтому в важных случаях результаты следует проверять вручную. Лицензия — Apache-2.0.

66610апр. 2025
imageapache-2.0hugging-face
EuroEval
mmBERT-small-multi-wiki-qa-synthetic-hallucinations-with-ragtruth-pt

EuroEval/mmBERT-small-multi-wiki-qa-synthetic-hallucinations-with-ragtruth-pt — текстовая модель из пространства EuroEval, опубликованная для задач классификации токенов. По метаданным она использует библиотеку Transformers, относится к семейству ModernBERT и содержит около 140,5 млн параметров; максимальный контекст составляет 8192 токена. README не содержит сведений о конкретном разработчике, лицензии, языках и процедуре обучения. По названию модель связана с многоязычным вопросно-ответным контекстом по материалам Wikipedia, синтетическими галлюцинациями и набором RAGTruth, однако README не описывает точную схему разметки, формат входов и выходов, метрики или результаты оценки. Основное подтверждённое назначение по карточке Hugging Face — token classification, поэтому модель может использоваться как компонент анализа последовательности токенов в NLP-конвейерах. Условия лицензирования в доступных данных не указаны.

5710авг. 2026ctx8.2K
texthugging-face
Aladin004
my_awesome_model

Aladin004/my_awesome_model — модель DistilBERT, дообученная на неизвестном наборе данных для классификации текста. В метаданных указаны архитектура DistilBertForSequenceClassification, библиотека Transformers, формат весов safetensors и базовая модель distilbert/distilbert-base-uncased. Контекст модели составляет 512 токенов. Модель предназначена для классификации текстовых последовательностей. На оценочном наборе данных автор сообщает accuracy 0,9314 и loss 0,2316, однако описание набора данных, классов и методики оценки отсутствует. Модель поддерживает английский язык, унаследованный от базовой uncased-модели DistilBERT. Лицензия — Apache-2.0; пригодность метрик для конкретного применения зависит от неизвестных данных и классов, на которых проводилась оценка.

50сент. 2026ctx512
textapache-2.0hugging-face
Helsinki-NLP
opus-mt-fiu-en

Helsinki-NLP/opus-mt-fiu-en — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMT. Она переводит тексты с финно-угорских языков на английский. В исходную группу входят эстонский, финский, венгерский, коми-зырянский, карельский, саамские и другие языки; для обработки текста применяются нормализация и SentencePiece с словарями размером 32 тыс. токенов. Модель содержит 55,3 млн параметров, её нативный контекст — 512 токенов. Модель предназначена для перевода отдельных текстов и многоязычных корпусов с языков группы Finno-Ugric на английский. В карточке приведены оценки BLEU и chr-F для тестовых наборов новостей на финском, эстонском и венгерском. Модель распространяется под лицензией Apache-2.0. Ограничения: направление перевода только на английский, а качество для отдельных языков может различаться; указанные тестовые оценки относятся к конкретным тестовым наборам.

830март 2022ctx512
textapache-2.0hugging-face
Hoan2k3
phobert-multilabel-intern-web

Hoan2k3/phobert-multilabel-intern-web — модель классификации текста на архитектуре RoBERTa, связанная с семейством PhoBERT и предназначенная для многометочной классификации вьетнамских текстов. Карточка упоминает оценку на тестовом наборе, но не раскрывает сами метрики и подробности классов. Модель содержит 162,4 млн параметров, имеет контекст длиной 258 токенов и представлена в форматах ONNX и safetensors. Метаданные указывают на поддержку вьетнамского языка. Лицензия в предоставленных данных не указана.

130июнь 2026ctx258
texthugging-face
nvidia
PS3-4K-SigLIP

PS3-4K-SigLIP — разработанный NVIDIA визуальный энкодер на основе дообученной Google SigLIP SoViT-400m-Patch14-384. Он извлекает признаки из RGB-изображений высокого разрешения до 3780 × 3780 пикселей и выдаёт тензорные эмбеддинги для последующей обработки другой моделью. Модель на базе Vision Transformer обрабатывает изображения на нескольких масштабах, используя патчи размером 14 пикселей. Для высокодетальных изображений можно выбирать участки по визуальной значимости или текстовым запросам и регулировать число обрабатываемых высокоразрешённых токенов. Это предназначено для исследований и разработки систем, которым нужны визуальные признаки для анализа изображений высокого разрешения. Модель обучалась на 75 млн изображений, включая данные SA-1B и IDL. Для работы заявлена оптимизация под ускорители NVIDIA; лицензия в предоставленных данных не указана.

1084май 2025
imageembeddinghugging-face
rawsh
q1-3B-PRIME

q1-3B-PRIME — компактная языковая модель рассуждений, созданная автором rawsh методом обучения с подкреплением PRIME. Она объединяет SmallThinker-3B-Preview и Qwen2.5-3B-Instruct; SmallThinker-3B-Preview, в свою очередь, дообучена на следах рассуждений QwQ. Модель построена на архитектуре Qwen2 с плотной схемой параметров и содержит 3,1 млрд параметров. Модель предназначена для генерации текста в диалоговом формате, особенно для математических задач и задач на рассуждение; также её можно применять для генерации кода. В README приведены результаты на AIME24, AMC23 и MATH-500, а также HumanEval и Leetcode. Контекст составляет 32 768 токенов. В метаданных указан английский язык; карточка не описывает дополнительные языковые возможности. Автор сообщает об улучшении результата на тестовом наборе примерно на 22,5% после 120 шагов обучения и отмечает, что обучение можно было продолжить. На HumanEval результат ниже, чем у Qwen2.5-3B-Instruct, поэтому качество зависит от задачи. Лицензия в предоставленных данных не указана.

262янв. 2025ctx32.8K
texthugging-face
z-lab
Qwen3-Coder-30B-A3B-DFlash

Qwen3-Coder-30B-A3B-DFlash — вспомогательная модель DFlash от z-lab для ускорения генерации кода. Это лёгкая черновая модель на основе блочной диффузии: она параллельно предлагает блоки токенов, которые затем проверяет целевая модель Qwen/Qwen3-Coder-30B-A3B-Instruct. Модель предназначена для работы в связке с этой целевой моделью и не является самостоятельной заменой ей. В карточке указано обучение на 289 тысячах примеров кода и следов выполнения Cline. В тестах SGLang на одном GPU B200 авторы сообщают об ускорении относительно обычной авторегрессионной генерации на HumanEval, MBPP и LiveCodeBench. Эти показатели относятся к описанной конфигурации и аппаратуре; фактическое ускорение зависит от целевой модели, оборудования и настроек спекулятивного декодирования. Метаданные указывают 688,7 млн параметров и контекст 262 144 токена; архитектура обозначена как DFlashDraftModel семейства Qwen3. Лицензия — MIT.

1.6K35янв. 2026ctx262.1K
textmithugging-face
KoichiYasuoka
roberta-large-japanese-luw-upos

Koichi Yasuoka разработал эту модель на базе японской RoBERTa roberta-large-japanese-aozora, предварительно обученной на текстах 青空文庫. Модель дообучена для разметки частей речи: каждому длинному слову японского текста присваивается тег UPOS из универсального набора частей речи. Архитектура — RoBERTa large для классификации токенов; размер составляет 659 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для морфологического анализа японского текста и может использоваться в конвейерах разметки речи и синтаксического анализа зависимостей через esupar. Для работы с ней требуется японский текст; поддерживается японский язык. Модель распространяется по лицензии CC BY-SA 4.0.

1410март 2022ctx512
textcc-by-sa-4.0hugging-face
fti-sc
roberta_toxicity_classifier

Это классификатор токсичности текстов на базе RoBERTa, дообученной разработчиками модели на объединённом англоязычном наборе примерно из 2 млн примеров Jigsaw 2018, 2019 и 2020. Модель предназначена для определения токсичных комментариев и модерации пользовательского текста. В карточке сообщается, что на тестовой выборке первого соревнования Jigsaw классификатор достиг AUC-ROC 0,98 и F1-score 0,76. Архитектура — RobertaForSequenceClassification, размер — около 151,8 млн параметров, контекст — до 514 токенов. Указан английский язык; веса представлены в формате PyTorch. Модель рассчитана на классификацию текста, а не на генерацию ответов. Результаты зависят от порога классификации и соответствия входных данных обучающей выборке; приведённые метрики не гарантируют такого же качества на других источниках комментариев. Лицензия — CC BY-NC-SA 4.0, допускающая использование с атрибуцией и на условиях ShareAlike, но не коммерческое использование.

650авг. 2024ctx514
texthugging-face
rstar2-reproduce
rStar2-Agent-14B

rStar2-Agent-14B — воспроизведённая версия модели rStar2-Agent от сообщества rstar2-reproduce, описанной в техническом отчёте об агентном рассуждении. Это плотная авторегрессионная языковая модель семейства Qwen3 с 14 млрд параметров, обученная с применением агентного обучения с подкреплением. Она предназначена для математического рассуждения, планирования и решения сложных задач с использованием инструментов для написания и проверки кода; карточка также указывает диалоговый режим. Модель работает с текстом на английском и китайском языках и имеет контекст длиной 32 768 токенов. Авторы сообщают, что модель показывает результаты, сопоставимые с DeepSeek-R1-67B, и умеет автономно исследовать решения, проверять их и пересматривать ход рассуждений. Для воспроизведения результатов математической оценки README отсылает к проекту Microsoft rStar. Модель распространяется в формате safetensors по лицензии MIT. В приведённом README пример запуска использует SGLang и несколько GPU; сведения о качестве за пределами заявленных математических оценок и ограничениях модели не приведены.

7028авг. 2025ctx32.8K
textmithugging-face
Lin-Chen
ShareCaptioner

ShareCaptioner — модель для создания подробных описаний изображений, разработанная Lin-Chen и дообученная на базе InternLM-Xcomposer-7B. Она обучалась в ноябре 2023 года на 100 тысячах пар «изображение — текст», где подписи были созданы с помощью GPT-4 Vision. Модель рассчитана на ввод изображений с разрешением 448×448 и генерирует текстовые подписи; её архитектура — плотная InternLMXComposerForCausalLM, размер — 6,9 млрд параметров, контекст — 2048 токенов. Модель предназначена для исследователей и любителей компьютерного зрения, NLP и машинного обучения, которым нужны детальные подписи к изображениям. В метаданных Hugging Face основной тег задачи — feature-extraction, однако карточка описывает именно генерацию подписей, поэтому основная задача каталога — image-to-text. Репозиторий содержит веса PyTorch. Лицензия в доступных данных не указана.

4557дек. 2023ctx2K
texthugging-face
mansee
swin-tiny-patch4-window7-224-img_orientation

Swin Tiny — модель классификации изображений на базе архитектуры Swin Transformer, дообученная разработчиком mansee на базовой модели mansee/swin-tiny-patch4-window7-224. Она предназначена для определения ориентации изображения по его содержимому. Модель содержит около 33 млн параметров и использует веса PyTorch. На оценочном наборе указаны accuracy 0,9645 и loss 0,1069. README не раскрывает набор классов, данные обучения и конкретные сценарии применения, поэтому качество за пределами этой оценки и поддерживаемые типы ориентации не установлены. Модель принимает изображения и выдаёт метки классов. Лицензия — Apache-2.0.

2142авг. 2023
imageapache-2.0hugging-face
vijjj1
toxic-comment-phobert

vijjj1/toxic-comment-phobert — модель классификации комментариев, дообученная автором @vijjj1 на базе vinai/phobert-base-v2. Она относит вьетнамские комментарии к двум классам: обычным и токсичным, включая оскорбления и нападки. Модель основана на RoBERTa и содержит 162,4 млн параметров; принимает текст, использует контекст до 258 токенов и возвращает метку класса и оценку. Предназначена для модерации комментариев в социальных сетях и предварительной фильтрации данных. В описании приведены результаты на тестовой выборке: accuracy 0,90 и F1 для токсичного класса 0,87. Качество может зависеть от тематики и особенностей сленга; модель ориентирована на вьетнамский язык. Лицензия — MIT.

540сент. 2025ctx258
textmithugging-face
socialmediaie
TRAC2020_IBEN_B_bert-base-multilingual-uncased

Модель socialmediaie/TRAC2020_IBEN_B_bert-base-multilingual-uncased — дообученная авторами исследования Mishra, Prasad и Mishra модель BERT для классификации текстов с целью выявления троллинга, агрессии и кибербуллинга. Она представлена как модель для экспериментов и повторной настройки на собственных наборах данных; связана с работой для семинара TRAC 2020. Модель имеет архитектуру BertForSequenceClassification и содержит 194,6 млн параметров. Она принимает текст, поддерживает контекст до 512 токенов и доступна в форматах Flax, PyTorch и safetensors. В README задача названа многоязычной, но конкретные поддерживаемые языки не перечислены. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя. Авторы отмечают, что загруженные версии были переобучены после подачи работы, и результаты оценки могут немного отличаться от опубликованных в статье.

120март 2022ctx512
texthugging-face
cardiffnlp
twitter-roberta-large-hate-latest

cardiffnlp/twitter-roberta-large-hate-latest — модель Cardiff NLP для многоязыковой по контексту Twitter, но обученная на англоязычных твитах классификация ненавистнических высказываний. Она основана на RoBERTa-large, предварительно обученной на 154 млн твитов до конца декабря 2022 года, и дообучена на наборе TweetHate из SuperTweetEval для многоклассовой классификации текста. Модель относит текст к одной из семи категорий ненависти — по признаку пола, расы, сексуальной ориентации, религии, происхождения, инвалидности или возраста — либо к категории «не содержит ненависти». Модель принимает текст и возвращает метку класса с оценкой уверенности. Она подходит для предварительной модерации англоязычных публикаций в социальных сетях и анализа категорий вредоносной речи. Размер модели — 454,1 млн параметров, максимальный контекст — 514 токенов; формат весов — Safetensors. Лицензия — MIT. Классификатор может ошибаться на сарказме, цитатах, неоднозначных формулировках и текстах вне домена твитов; его оценки не следует считать окончательным решением о модерации.

2263нояб. 2023ctx514
textmithugging-face
ukr-detect
ukr-toxicity-classifier

ukr-detect/ukr-toxicity-classifier — дообученная командой ukr-detect модель XLM-RoBERTa для бинарной классификации токсичности украинских текстов. Она основана на FacebookAI/xlm-roberta-base и предназначена для определения, является ли текст токсичным; модель можно использовать в конвейере text-classification библиотеки Transformers. Модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. В README приведены результаты на тестовом наборе: F1, точность и полнота по 0,99. Модель обучена на полуавтоматически собранном датасете украинской токсичности. Модель распространяется по лицензии OpenRAIL++. Метрики из карточки относятся к указанному тестовому набору; качество на других данных может отличаться.

425дек. 2023ctx514
textopenrail++hugging-face
mgalkin
ultra_50g

ULTRA 50g — модель-основа для логического вывода на графах знаний, опубликованная под идентификатором mgalkin/ultra_50g. Она использует графовые нейронные сети и модифицированные версии NBFNet для предсказания связей: по сущности и отношению ранжирует возможные сущности-цели. Модель обучена на 50 графах знаний и рассчитана на применение без дообучения к графам с другими наборами сущностей и отношений; при необходимости её можно дообучить под конкретный граф. Веса содержат около 169 тысяч параметров и распространяются в формате safetensors. В отличие от подходов, хранящих отдельные эмбеддинги сущностей и отношений для каждого графа, ULTRA строит переносимые представления отношений. Репозиторий предоставляет код загрузки и применения модели. Лицензия — MIT. Модель предназначена для дополнения графов знаний и ранжирования кандидатов для отсутствующих связей. README приводит результаты на наборах графов и отмечает, что дообучение на конкретном графе в среднем дополнительно повышает качество. Для запуска нужны зависимости и код из репозитория; ожидаемые результаты могут различаться в зависимости от графа и протокола оценки.

10264дек. 2023
textmithugging-face
prj-beatrice
utmosv2-torch-native

UTMOS v2 — перенос официальной модели оценки качества речи `fusion_stage3`, fold 0, в формат для использования с PyTorch, torchaudio и Transformers. Репозиторий `prj-beatrice` адаптировал модель для загрузки через `AutoModel` и вычисления оценки по аудиоволновой форме; модель принимает аудио и возвращает числовой score. Она предназначена для автоматической оценки воспринимаемого качества синтезированной или записанной речи, в том числе при сравнении аудиосистем и анализе речевых данных. Доступны обработка батчей с длинами аудио и настройка калибровки по домену данных; по умолчанию используется `sarulab`, а удаление тихих участков можно отключить. Модель относится к семейству UTMOS v2 и использует архитектуру dense. Порт может давать результаты, отличающиеся от официальной реализации из-за другого генератора случайных чисел при выборе аудиофрагментов и mixup. Лицензия указана как `other`, без дополнительных условий в предоставленных данных.

6681июль 2026
audiootherhugging-face
zhibinlu
vgcn-bert-distilbert-base-uncased

VGCN-BERT — модель на основе uncased-версии DistilBERT-base, разработанная автором репозитория zhibinlu и основанная на архитектуре из статьи VGCN-BERT. Она объединяет контекстные представления трансформера с графовой свёрточной сетью по графу словаря, чтобы совместно учитывать локальные связи в тексте и глобальные связи между словами. Модель предназначена прежде всего для дообучения под задачи классификации текста и другие задачи обработки английского текста; README также описывает способы построения графа на основе статистики совместной встречаемости или заданных связей сущностей. В репозитории указаны задача извлечения признаков, контекст до 512 токенов и формат весов safetensors. Метаданные также перечисляют задачи заполнения пропусков, классификации текста, ответов на вопросы, разметки токенов и multiple choice. Автор сообщает об ускорении вычисления графовых эмбеддингов и приводит пример, где дополнительное время обучения для CoLA составляет 11% относительно базовой модели. Модель лицензирована по Apache-2.0. Автор отмечает, что статистически построенный граф словаря может давать ограниченное улучшение, а практический потенциал видит в интеграции пользовательских графов; модель рекомендуется дообучать для конкретной задачи.

1081июнь 2023ctx512
textapache-2.0hugging-face
Voilum
voilum-1

Voilum-1 — компактная языковая модель Elise Paul из Independent AI Research & Systems для генерации Python-кода в задачах вычислительной математики, научных вычислений и реализации систем машинного обучения. Это авторегрессионная разреженная архитектура Mixture-of-Experts с 463,6 млн параметров, из которых около 100,8 млн активны на токен; используются Grouped-Query Attention, RoPE, RMSNorm и SwiGLU. Модель обучалась на алгоритмических и математических данных, прошла инструкционное дообучение в формате ChatML и обучение с подкреплением GRPO на основе выполнения кода. В README заявлены контекстно-зависимая генерация кода и успешное прохождение ряда тестов на реализацию алгоритмов, слоёв PyTorch и функций машинного обучения. Модель предназначена для генерации детерминированного Python-кода по техническим спецификациям, включая численные алгоритмы, компоненты глубокого обучения и классические ML-методы. Поддерживаемый язык по карточке — английский. Лицензия Apache-2.0. Заявленные в README результаты оценки приведены разработчиком; они не являются независимой гарантией качества. Размер контекста в предоставленных данных не указан.

1191сент. 2026
textapache-2.0hugging-face
Kuongan
xlm-roberta-base-ptmz-finetuned

Kuongan/xlm-roberta-base-ptmz-finetuned — дообученная модель классификации последовательностей на основе XLM-RoBERTa Base, опубликованная пользователем Kuongan. Она предназначена для отнесения входного текста к классам; конкретные классы и предметная область в карточке не раскрыты. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForSequenceClassification и принимает текст длиной до 514 токенов. Репозиторий содержит веса в формате safetensors. В README приведены результаты оценки: loss 0,2366, F1 0,4141, ROC AUC 0,6686 и accuracy 0,5720; без описания задачи и набора данных их практическую интерпретацию ограничивает отсутствие контекста. Базовая XLM-RoBERTa поддерживает несколько языков, но конкретный языковой охват этой настройки не уточнён. Лицензия модели — MIT.

80янв. 2025ctx514
textmithugging-face
yuchuantian
AIGC_detector_zhv2

AIGC Detector (MPU) Zh_v2 — классификатор текста, разработанный Юйчуанем Тянем и соавторами для обнаружения текстов, созданных искусственным интеллектом. Модель представлена в рамках работы «Multiscale Positive-Unlabeled Detection of AI-Generated Texts» и предназначена для бинарной классификации текста по признаку генерации ИИ. Версия Zh_v2 обучена методом MPU на предварительно обученной китайской модели Chinese-RoBERTa-wwm-ext; авторы отмечают, что стандартные настройки обучения из статьи не использовались. Модель основана на BERT, содержит 129,5 млн параметров и принимает последовательности длиной до 512 токенов. Она рассчитана на китайские тексты и, по данным карточки, показывает сопоставимую производительность с закрытыми детекторами китайского текста на разных предметных областях. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не приводит подробностей о тестовых наборах и метриках, поэтому результаты на конкретных источниках текста следует проверять отдельно.

51714дек. 2023ctx512
textapache-2.0hugging-face
katanemo
Arch-Function-Chat-3B

Arch-Function-Chat-3B — дообученная Katanemo языковая модель для диалоговых сценариев с вызовом функций и инструментов. Она основана на Qwen/Qwen2.5-Coder-3B-Instruct, использует плотную архитектуру Qwen2 и содержит 3,1 млрд параметров; модель работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для выбора и вызова функций по запросу пользователя, уточнения недостающих сведений, обработки многоходового контекста и подготовки понятных ответов по результатам выполнения функций. Для получения структурированного вывода рекомендуется использовать формат промпта из карточки; модель ориентирована на формат вызова функций, похожий на OpenAI. В карточке указана поддержка английского языка. Модель распространяется в формате safetensors и доступна через Transformers. Метаданные указывают лицензию «other», поэтому конкретные условия использования следует сверить с лицензией репозитория.

5121март 2025ctx32.8K
textotherhugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей