/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
721–750 из 23 488
neyssemhajji16
smollm2-360m-text2sql-sft

neyssemhajji16 опубликовал smollm2-360m-text2sql-sft — дообученную с помощью TRL компактную языковую модель на базе HuggingFaceTB/SmolLM2-360M-Instruct. Она предназначена для генерации текста в формате диалога и заявлена как модель для Text-to-SQL: преобразования вопросов к данным в SQL-запросы. Модель имеет плотную архитектуру семейства Llama, содержит 361,8 млн параметров, принимает текст и поддерживает контекст до 8192 токенов. В репозитории указаны веса в формате safetensors и лицензия Apache-2.0, унаследованная от базовой модели. Компактный размер облегчает локальный запуск, однако карточка не приводит оценок качества или подробностей обучающих данных; возможности генерации SQL стоит проверять на целевой схеме базы данных.

550июнь 2026ctx8.2K
texthugging-face
uukuguy
speechless-code-mistral-7b-v1.0

speechless-code-mistral-7b-v1.0 — языковая модель для генерации кода и выполнения инструкций, созданная Uukuguy на базе Mistral-7B-v0.1. Модель дообучена на 201 981 примере с задачами программирования, рассуждения и планирования; среди источников данных — наборы Airoboros, OpenOrca, Open-Platypus, WizardLM, TokenBender и Spider. Для общения используется формат инструкций Alpaca. Это плотная авторегрессионная архитектура Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Карточка приводит результаты HumanEval и Big Code Evaluation и описывает возможности генерации кода, включая Python и ряд других языков программирования. Модель принимает текстовые инструкции и выдаёт текст с кодом или пояснениями; основной заявленный язык естественного общения — английский. Модель подходит для генерации и дополнения кода, решения задач по программированию, а также для запросов, требующих рассуждения и планирования. Лицензия — Apache 2.0. В карточке также перечислены сторонние AWQ, GPTQ и GGUF варианты для инференса, однако метаданные этого репозитория указывают формат PyTorch; приведённые оценки на тестах не гарантируют качество для конкретных задач.

8.6K19окт. 2023ctx32.8K
textapache-2.0hugging-face
uukuguy
speechless-tora-code-7b-v1.0

uukuguy разработал speechless-tora-code-7b-v1.0 — дообученную для программирования, рассуждений и планирования плотную авторегрессионную модель семейства Llama на 6,6 млрд параметров. Она принимает инструкции в формате Alpaca и предназначена для генерации кода и ответов на связанные с программированием запросы. В карточке указано дообучение на наборах данных с примерами кода, инструкций и рассуждений; для Python приведён результат HumanEval 51,829. Модель рассчитана на текстовый ввод и генерацию текста, поддерживает английский язык и контекст до 16 384 токенов. В репозитории представлены исходный формат PyTorch, а также варианты AWQ, GPTQ и GGUF для GPU или CPU+GPU-инференса. Лицензия — Llama 2.

802окт. 2023ctx16.4K
textllama2hugging-face
tanaos
tanaos-text-anonymizer-v1

Tanaos разработала эту модель на базе tanaos/tanaos-NER-v1 и дообучила её с помощью библиотеки Artifex на синтетических данных для распознавания персональных данных в тексте. Это модель RoBERTa для токеновой классификации с 151,8 млн параметров и контекстом до 514 токенов. Она выделяет пять категорий чувствительных сущностей, включая имена людей, местоположения и даты, после чего обнаруженные фрагменты можно удалить или заменить для анонимизации текста. Модель предназначена для подготовки текстов к передаче, публикации или дальнейшей обработке, когда требуется снизить риск раскрытия персональных данных. В карточке заявлена поддержка английского языка; обучение проводилось на синтетическом наборе примерно из 10 тысяч фрагментов. Указана лицензия MIT. Авторы отмечают, что для специализированных текстов может потребоваться дополнительное дообучение; распознавание сущностей само по себе не гарантирует полного удаления всех персональных данных или соответствия требованиям GDPR.

58127нояб. 2025ctx514
textmithugging-face
jplu
tf-xlm-r-ner-40-lang

jplu/tf-xlm-r-ner-40-lang — дообученная модель XLM-RoBERTa-base для распознавания именованных сущностей в 40 языках на датасете WikiAnn из набора XTREME. Она классифицирует токены текста как географические названия (LOC), организации (ORG), имена людей (PER) или прочие (O), чтобы извлекать сущности из многоязычных текстов. Модель использует архитектуру XLM-RoBERTa для классификации токенов, содержит 305,2 млн параметров и поддерживает контекст до 514 токенов. Репозиторий содержит веса TensorFlow. В карточке приведены результаты на корпусах для разных языков, включая русский; объём данных различается между языками. Подходит для извлечения персон, организаций и мест из текстов на разных языках. Карточка описывает работу как продолжающуюся, поэтому качество может различаться между языками, а модель распознаёт только три типа сущностей. Лицензия в предоставленных данных не указана.

1.1K30март 2022ctx514
texthugging-face
google
timesfm-2.5-200m-pytorch

TimesFM 2.5 200M — предварительно обученная модель временных рядов для прогнозирования, разработанная Google Research. Это третий открытый чекпойнт семейства TimesFM; модель имеет архитектуру декодера и содержит 229,4 млн параметров. В репозитории представлены веса в формате safetensors, для работы используется библиотека timesfm. Модель предназначена для прогнозирования временных рядов. При предобучении использовались набор GiftEvalPretrain, просмотры страниц Wikimedia, данные Google Trends, а также синтетические и дополненные данные. Чекпойнт не является официально поддерживаемым продуктом Google; официальную поддержку Google указывает для TimesFM в BigQuery. Лицензия — Apache 2.0.

1.5M276сент. 2025
textapache-2.0hugging-face
asahi417
tner-xlm-roberta-base-uncased-ontonotes5

asahi417 выпустил модель XLM-RoBERTa, дообученную для распознавания именованных сущностей (NER) на наборе OntoNotes 5. Она присваивает метки токенам текста, чтобы выделять в нём сущности, например имена людей, организаций и географические названия. Модель подходит для извлечения сущностей из текста в конвейерах обработки естественного языка. Модель имеет архитектуру XLM-RoBERTa для классификации токенов, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Доступны веса в формате PyTorch. README отсылает к репозиторию TNER за дополнительными сведениями. Лицензия в предоставленных данных не указана.

471март 2022ctx514
texthugging-face
prithivMLmods
Watermark-Detection-SigLIP2

Watermark-Detection-SigLIP2 — модель prithivMLmods для бинарной классификации изображений: она определяет, есть ли на изображении водяной знак. Модель дообучена на базе google/siglip2-base-patch16-224 и использует архитектуру SiglipForImageClassification; файлы опубликованы в формате Safetensors и рассчитаны на работу с библиотекой Transformers. Модель предназначена для автоматической проверки изображений при модерации контента, очистке наборов данных, поиске защищённых авторским правом материалов и цифровой экспертизе. В отчёте карточки для тестовой выборки из 22 762 изображений указана точность 94,27%; полнота для класса изображений с водяным знаком составляет 90,48%. Лучше всего модель работает с чёткими изображениями высокого качества; шумные изображения не рекомендуются для проверки. Модель распространяется по лицензии Apache-2.0.

1.2K32апр. 2025
imageapache-2.0hugging-face
hatmimoha
arabic-ner

hatmimoha/arabic-ner — модель распознавания именованных сущностей на основе BERT для арабского языка. Она выполняет токенную классификацию и выделяет в тексте людей, организации, места, даты, товары, соревнования, награды, события и заболевания. Модель содержит 137,8 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch, TensorFlow и Flax. Модель предназначена для разметки арабских текстов, например новостных и веб-публикаций, с целью извлечения упоминаний сущностей. В README указано, что обучающий корпус содержит около 378 тысяч токенов из 14 тысяч предложений, собранных в интернете и размеченных вручную; F-мера на проверочном корпусе из 30 тысяч токенов составляет примерно 87%. Лицензия в предоставленных данных не указана.

4.8K22март 2022ctx512
texthugging-face
iguanodon-ai
bert-base-finnish-uncased-ner

Модель iguanodon-ai/bert-base-finnish-uncased-ner — версия BERT, дообученная для распознавания именованных сущностей в финском тексте. В качестве исходной модели использована Turku NLP bert-base-finnish-uncased-v1, а для дообучения — корпус turku_ner_corpus. Модель предназначена для разметки токенов и извлечения именованных сущностей из финских текстов. Она построена на архитектуре BERT, содержит 151,7 млн параметров и рассчитана на последовательности длиной до 512 токенов. В карточке приведены метрики проверки: F1 0,873; по отдельным классам качество может различаться. Модель распространяется по лицензии Apache 2.0. При использовании следует упомянуть обучающий корпус turku_ner_corpus.

1340июнь 2023ctx512
textapache-2.0hugging-face
serpapi
bert-base-local-results

Модель serpapi/bert-base-local-results — классификатор текстовых фрагментов из карточек Google Local Listings, разработанный SerpApi на базе BERT с использованием библиотеки Hugging Face. Она присваивает фрагментам категории, такие как адрес, телефон, рейтинг, число отзывов, часы работы, описание, тип заведения и варианты услуг, чтобы помогать разбирать результаты локального поиска Google. Модель предназначена для извлечения и структурирования сведений о местных компаниях и заведениях, в том числе при обработке результатов SerpApi Google Local API и Google Local Pack API. Она принимает текст на английском языке и возвращает метку класса; размер составляет 136,7 млн параметров, максимальная длина контекста — 512 токенов. Модель умеет работать с короткими и неполными фрагментами, семантически похожими значениями и текстом с грамматическими ошибками; также может выдавать оценку уверенности. Лицензия — MIT. Модель не классифицирует название заведения и поле label, может путать некоторые категории, например часы работы, описание, отзывы, рейтинг и варианты услуг. Для отдельных неоднозначных или коротких фрагментов полезна проверка оценки уверенности и дополнительная обработка правилами. Модель рассчитана на английские объявления и не предназначена для объявлений на других языках.

69июнь 2023ctx512
textmithugging-face
Quazim0t0
Byrne-Anon

Byrne-Anon — модель Quazim0t0 для обнаружения и анонимизации персональных данных в тексте. Она использует архитектуру SpikeWhale (Byrne) с плотной языковой основой и головой классификации токенов: каждому токену присваивается BIOES-метка, после чего найденные фрагменты можно редактировать или скрывать. Восемь категорий включают имена людей, электронные адреса, телефоны, физические адреса, URL, даты, номера счетов и секреты — например, API-ключи, пароли, токены и PIN-коды. Модель содержит 103,6 млн параметров, принимает текст с контекстом до 4096 токенов и выдаёт метки токенов. Карточка приводит оценку на 200 примерах: macro-F1 по классам персональных данных составляет 89,10. Проверка ориентирована на английский язык; лучше всего модель работает с адресами электронной почты, URL, номерами счетов и адресами. Границы найденных фрагментов приблизительны, а качество слабее для телефонов и точного обнаружения секретов. Для загрузки требуется прилагаемый код ByrneAnon и пользовательская архитектура. Лицензия — Apache-2.0.

301июнь 2026ctx4.1K
textapache-2.0hugging-face
opendatalab
ChartVerse-Coder

ChartVerse-Coder — инструкционная языковая модель для генерации кода визуализаций, разработанная в рамках проекта OpenDataLab ChartVerse. Она дообучена на базе Qwen/Qwen2.5-Coder-7B-Instruct и предназначена для автономного создания кода графиков с нуля, включая сложные и разнообразные визуализации: 3D-графики, иерархические диаграммы, статистические графики и многокомпонентные макеты. Модель имеет плотную архитектуру Qwen2, 7,1 млрд параметров и контекстное окно 32 768 токенов; заявленный язык карточки — английский. Обучение включает отбор сложных примеров по метрике Rollout Posterior Entropy и итеративное улучшение на сгенерированных, проверенных и отфильтрованных образцах. Модель рассчитана на генерацию кода для дальнейшего построения диаграмм и подготовки данных для вопросов и ответов по визуализациям. Репозиторий распространяется под лицензией Apache-2.0.

6113янв. 2026ctx32.8K
textapache-2.0hugging-face
Danielbrdz
CodeBarcenas-13b

CodeBarcenas-13b — языковая модель для генерации кода на Python, разработанная автором репозитория Danielbrdz. Она основана на WizardLM/WizardCoder-Python-13B-V1.0 и дообучена на наборе mlabonne/Evol-Instruct-Python-1k. Модель построена на плотной архитектуре Llama и содержит 12,9 млрд параметров; для запуска доступны веса PyTorch, контекст — до 16 384 токенов. Модель предназначена для генерации и продолжения кода Python, а также для ответов на инструкции и вопросы по этому языку программирования. Указана лицензия llama2. В README не приведены результаты оценки качества или подробные сведения об ограничениях; качество ответов может зависеть от формулировки запроса и обучающих данных.

610нояб. 2023ctx16.4K
textllama2hugging-face
davanstrien
dataset-rows-task-classifier-2048

davanstrien/dataset-rows-task-classifier-2048 — модель классификации текста, дообученная на базе LiquidAI/LFM2.5-Encoder-350M для многометочной классификации строк датасетов по категориям задач машинного обучения. Она предсказывает метки из набора из 35 категорий, включая распознавание речи, генерацию текста, классификацию изображений, поиск и прогнозирование временных рядов. Модель содержит около 444,6 млн параметров, использует плотную архитектуру LFM2 с энкодером и поддерживает контекст до 128 000 токенов. На тестовой оценке F1 micro составила 0,6218 при пороге 0,5 и 0,6486 при настроенных порогах; F1 macro при пороге 0,5 — 0,4621. Пороговые значения для каждой метки сохранены в конфигурации. Для загрузки требуется trust_remote_code=True из-за пользовательской классификационной головы; README отмечает, что для подачи через vLLM нужна стандартная архитектура. Лицензия в предоставленных данных не указана.

140июль 2026ctx128K
texthugging-face
ai4data
devdata-search-granite-97m-multilingual-cmnrl

ai4data разработала DevData Search Granite 97M Multilingual CMNRL — компактную двуязычную модель-биэнкодер для создания текстовых эмбеддингов и поиска по структурированным статистическим метаданным. Модель дообучена на DevDataBench от IBM Granite Embedding 97M Multilingual R2 с функцией потерь CMNRL. При обучении порядок полей переставлялся, а часть полей исключалась, чтобы модель связывала значения с названиями полей, а не с порядком их сериализации. Модель подходит для поиска статистических показателей по описаниям, сопоставления запросов с записями метаданных и ранжирования кандидатов по семантической близости. Она принимает текст и выдаёт векторы эмбеддингов; для использования предусмотрена библиотека Sentence Transformers. Контекстная длина в метаданных — 32 768 токенов, а в карточке обучения указана максимальная длина последовательности 512 токенов. Модель не является готовым поисковым сервисом. Лицензия — Apache 2.0.

930июнь 2026ctx32.8K
textembeddingapache-2.0hugging-face
ai4data
devdata-search-noinstruct-small-cgist

ai4data разработала devdata-search-noinstruct-small-cgist — компактную bi-encoder модель эмбеддингов для поиска по структурированным статистическим метаданным. Это дообученная модель на базе avsolatorio/NoInstruct-small-Embedding-v0, построенная на архитектуре BERT и содержащая около 40 млн параметров. Она кодирует запросы и записи с метаданными в векторы, чтобы находить релевантные описания и сравнивать их по смыслу; для использования подходит библиотека Sentence Transformers. При дообучении применялись перестановка порядка полей и их случайное исключение, чтобы модель меньше зависела от порядка сериализации и учитывала названия полей. Максимальная длина последовательности — 512 токенов; префиксы для запросов и документов не требуются. Модель предназначена для встраивания в собственный конвейер поиска и сама не является поисковым сервисом. Распространяется по лицензии Apache-2.0.

1000июнь 2026ctx512
textembeddingapache-2.0hugging-face
elastic
distilbert-base-cased-finetuned-conll03-english

Модель elastic/distilbert-base-cased-finetuned-conll03-english — вариант DistilBERT base с учётом регистра, дообученный командой Elastic для распознавания именованных сущностей на английском языке на наборе CoNLL-2003. Она присваивает метки отдельным токенам, чтобы выделять сущности в тексте, например имена людей, организации и географические названия. Модель принимает текст и возвращает последовательность меток для его токенов. Максимальная длина контекста составляет 512 токенов. Модель чувствительна к регистру: например, «english» и «English» могут обрабатываться по-разному. Для текста без учёта регистра авторы указывают отдельный вариант модели. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

1.7K14март 2022ctx512
textapache-2.0hugging-face
Davlan
distilbert-base-multilingual-cased-ner-hrl

Davlan разработал distilbert-base-multilingual-cased-ner-hrl — мультиязычную модель распознавания именованных сущностей на базе DistilBERT, дообученную на корпусах новостных текстов. Она размечает токены как части имён людей (PER), организаций (ORG) и мест (LOC), а также как текст вне сущностей. Подходит для извлечения этих сущностей из текстов на арабском, немецком, английском, испанском, французском, итальянском, латышском, нидерландском, португальском и китайском языках. Модель использует архитектуру DistilBertForTokenClassification и поддерживает контекст до 512 токенов. Её можно применять через pipeline NER в Transformers для извлечения имён, компаний и географических названий из новостных и похожих текстов. Доступны форматы PyTorch, safetensors и TensorFlow. Модель выпущена по лицензии AFL-3.0. Качество может снижаться на других жанрах и в предметных областях, поскольку обучающие данные состоят из аннотированных новостных статей определённого периода.

127K83март 2022ctx512
textafl-3.0hugging-face
Rocketknight1
distilbert-base-uncased-finetuned-ner

Rocketknight1/distilbert-base-uncased-finetuned-ner — модель токеновой классификации на базе DistilBERT, дообученная для распознавания именованных сущностей. Она предназначена для разметки токенов в англоязычном тексте и может использоваться для извлечения упоминаний сущностей из документов и сообщений. Модель основана на uncased-варианте DistilBERT, принимает текст с контекстом до 512 токенов и доступна в формате TensorFlow. В карточке приведены метрики обучения: F1 0,9081 и точность 0,9793 на обучающей выборке; данные оценки включают validation loss 0,0726. Датасет и категории сущностей не описаны, поэтому качество для конкретных типов текста и сущностей по этим показателям определить нельзя. Лицензия — Apache-2.0.

190март 2022ctx512
textapache-2.0hugging-face
ledddev
dl-hw2-bge-ner

ledddev/dl-hw2-bge-ner — дообученная модель BAAI на архитектуре BERT для классификации токенов. Она предназначена для задач разметки последовательности текста, включая распознавание именованных сущностей; данные обучения и конкретная схема меток не описаны. Модель содержит около 40 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате Safetensors. В README приведены метрики на оценочной выборке: F1 0,8818, точность 0,8633, полнота 0,9012 и accuracy 0,9772. Базовая модель BAAI/bge-small-en-v1.5 ориентирована на английский язык. Лицензия модели — MIT; качество на других наборах данных и переносимость на другие схемы сущностей не установлены.

190сент. 2026ctx512
textmithugging-face
samarthramesh
gaperon-mmbert-hindi

samarthramesh/gaperon-mmbert-hindi — классификатор качества текста на хинди, разработанный в рамках конвейера подготовки данных Gaperon и дообученный на базе jhu-clsp/mmBERT-base. Для входного фрагмента модель предсказывает оценки low, medium или high по шести измерениям: ясность, связность, глубина, грамматика, полезность и общая оценка. Её назначение — оценивать и фильтровать веб-тексты и корпусные примеры перед обучением других моделей. В основе лежит многоязычный энкодер ModernBERT с 306,9 млн параметров и контекстом до 8192 токенов. Представления токенов усредняются, после чего шесть отдельных линейных голов выполняют классификацию по трём классам. Модель обучалась на размеченном корпусе текстов на хинди; лицензия — MIT. На тестовых данных значения F1 по приведённым в карточке измерениям составляют примерно 0,54–0,59, поэтому оценки подходят как сигнал для фильтрации, но не как эталонная разметка. Перенос на другие языки, домены и жанры не подтверждён. Классификационные головы хранятся отдельно в heads.pt и требуют специальной загрузки; стандартный AutoModelForSequenceClassification их не загружает.

170июнь 2026ctx8.2K
textmithugging-face
ibm-granite
granite-34b-code-instruct-8k

Granite-34B-Code-Instruct-8K — языковая модель IBM Research с 34 млрд параметров, дообученная на инструкционных данных на основе Granite-34B-Code-Base-8K. Она предназначена для ответов на запросы по программированию и создания помощников для разработки; обучение включало данные о коммитах кода, примеры инструкций по коду и вызову функций, задачи NL2SQL, математику и общие инструкции. Модель использует архитектуру GPTBigCode и принимает текстовые запросы, выдавая текстовые ответы; контекст — до 8192 токенов. Модель подходит для генерации, объяснения и исправления кода, решения связанных с программированием задач и помощи с SQL. Данные инструкционного дообучения охватывают 92 языка программирования, однако качество на языках и задачах вне обучающего распределения может быть ниже; для критичных применений IBM рекомендует тестирование безопасности и целевую настройку. Разработчик не рекомендует применять её в новых проектах и предоставляет её для исторических и научных целей. Лицензия — Apache 2.0.

86379апр. 2024ctx8.2K
textapache-2.0hugging-face
Kwaipilot
KwaiCoder-DS-V2-Lite-Base

Kwai-Coder-DS-V2-Lite-Base — базовая языковая модель для кода, разработанная Kwai и построенная на DeepSeek-V2-Lite-Base. Модель прошла дополнительное предобучение на 800 млрд токенов: 70% обучающих данных составлял код, 20% — математика и 10% — текст, включая материалы о программировании. Архитектура DeepSeek-V2 имеет 16 млрд параметров и 2,4 млрд активируемых параметров по README; метаданные репозитория указывают 2,5 млрд параметров. Модель принимает текст и генерирует текст, поддерживает английский и китайский языки. Метаданные указывают контекстное окно 163 840 токенов и совместимость с Transformers и PyTorch; веса доступны в формате Safetensors. Модель предназначена для генерации и дополнения кода, вставки фрагментов кода, а также задач по математике и программированию. В README приведены результаты на HumanEval, HumanEval+, MBPP, MBPP+, BigCodeBench, MATH и GSM8K, но они не гарантируют аналогичное качество на пользовательских задачах. Это базовая модель, поэтому готовое поведение чат-ассистента или следование инструкциям не следует считать подтверждённым. Лицензия — MIT.

1717дек. 2024ctx163.8K
textmithugging-face
dell-research-harvard
lt-un-data-fine-coarse-en

Модель LinkTransformer на базе MPNet предназначена для сопоставления записей и классификации товаров по укрупнённым категориям. Её разработали исследователи Гарвардского университета; модель дообучена на multi-qa-mpnet-base-dot-v1 на примерах соответствия товарных классификаций статистики ООН. Веса содержат 136,7 млн параметров, а контекст ограничен 514 токенами по метаданным; в конфигурации README указан предел длины последовательности 512 токенов. Модель кодирует предложения и абзацы на английском языке в плотные векторы размерности 768. Её применяют для связывания товарных записей с укрупнёнными классификациями, кластеризации, удаления дубликатов и семантического поиска; также она подходит для задач сходства предложений в Sentence Transformers. Модель использует архитектуру MPNet и доступна в формате safetensors. Лицензия в предоставленных данных не указана. Результаты предназначены прежде всего для англоязычных описаний товаров и сопоставления с обученными категориями; качество на других языках и предметных областях не подтверждено. Это модель эмбеддингов, а не генератор текста.

1200авг. 2023ctx514
textembeddinghugging-face
ise-uiuc
Magicoder-CL-7B

Magicoder-CL-7B — языковая модель для генерации кода, разработанная Юйсяном Вэем, Чжэ Ваном, Цзяьвэем Лю, Ифэном Дином и Линмином Чжаном. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, дообученная на CodeLlama-7b-Python-hf. Для обучения использован набор Magicoder-OSS-Instruct-75K, созданный методом OSS-Instruct на основе открытых фрагментов кода. Модель предназначена прежде всего для задач программирования: генерации кода по инструкциям и помощи в решении задач разработки. Контекст составляет 16 384 токена. Модель не рассчитана на общие задачи вне программирования и может допускать ошибки или выдавать вводящий в заблуждение код. Лицензия — Llama 2; при использовании следует учитывать условия OpenAI для синтетических обучающих данных.

4121дек. 2023ctx16.4K
textllama2hugging-face
amsintelligence
masker-mini

Masker Mini — компактный многоязычный детектор персональных данных от AMS Intelligence для локального обнаружения и маскирования PII. Это шестислойный BERT-классификатор токенов примерно на 35,6 млн параметров, полученный дистилляцией модели masker. Он размечает текст 12 типами сущностей, используя 48 BIOES-меток и метку O, и рассчитан на работу без подключения к сети на мобильных и других устройствах. Модель поддерживает 23 европейских языка. В репозитории доступны веса PyTorch fp16 и ONNX fp16, а также 4-битные варианты ONNX и Core ML; для 4-битных операций ONNX Runtime требуется версия 1.18 или новее, а Core ML-вариант предназначен для iOS 18 и macOS 15 и новее. Указанная строгая span-level F1 на синтетическом наборе openpii-1m составляет 0,965; эти результаты относятся к данным, близким к обучающим. По сравнению с полной моделью masker Mini немного хуже выявляет имена и названия мест, а также может ошибаться в границах имён на нидерландском языке. Метаданные указывают лицензию «other»; README отдельно требует сохранять атрибуцию набора данных CC-BY-4.0 и указывает, что модель masker основана на mDeBERTa с лицензией MIT.

761июль 2026ctx512
textotherhugging-face
Hjgugugjhuhjggg
mergekit-ties-pghuyfi

Это объединённая методом TIES через mergekit языковая модель семейства Llama 3.2, созданная из нескольких моделей на 3,2 млрд параметров. В качестве базовой при слиянии использовалась huihui-ai/Llama-3.2-3B-Instruct-abliterated; в объединение также вошли варианты для SQL, математики, программирования и диалогов без ограничений на отказы. Модель предназначена для генерации текста и диалоговых сценариев, включая помощь с SQL, математическими задачами и кодом. Она принимает текст и выдаёт текст; метаданные указывают контекст до 131 072 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Карточка не приводит результатов оценки качества или подробных инструкций по использованию. Условия лицензирования в предоставленных данных не указаны, поэтому их следует проверить в карточке модели и у исходных моделей до применения.

100нояб. 2024ctx131.1K
texthugging-face
MediaCatch
mmBERT-base-scandi-ner-gold

MediaCatch/mmBERT-base-scandi-ner-gold — мультиязычная модель распознавания именованных сущностей, разработанная MediaCatch. Она дообучена для классификации токенов на объединённых корпусах датского, шведского, норвежского и английского языков и размечает имена людей (PER), организации (ORG) и географические названия (LOC) в формате BIO. Модель построена на архитектуре ModernBERT, содержит 306,9 млн параметров и поддерживает контекст до 8192 токенов. Модель подходит для извлечения сущностей из новостных и энциклопедических текстов, в том числе при пакетной обработке документов. На отложенном тестовом наборе в карточке указаны F1 0,833, точность 0,8455 и полнота 0,8208. Лицензия — MIT. Качество может снижаться на текстах из других предметных областей и при смешении языков в одном предложении. Модель распознаёт только PER, ORG и LOC; она не предназначена для поиска дат, сущностей типа MISC и других категорий. Для корректного вывода необходимо учитывать разбиение слов на субтокены.

2920окт. 2025ctx8.2K
textmithugging-face
Babelscape
mrebel-large-32

mREBEL-large-32 — многоязычная модель извлечения отношений, разработанная авторами работы REDFM и основанная на REBEL. Она преобразует задачу выделения отношений между сущностями в последовательность текста и может применяться как готовая система извлечения отношений или как отправная точка для дообучения на многоязычных наборах данных.

5938июнь 2023ctx1K
textcc-by-nc-sa-4.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей