/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
3 511–3 540 из 23 488
mustangxxx
timesfm-3.0-pytorch

Карточка модели mustangxxx/timesfm-3.0-pytorch на Hugging Face совпадает с карточкой google/timesfm-3.0-pytorch, поэтому описание составлено по ней. TimesFM 3.0 — предварительно обученная модель прогнозирования временных рядов, разработанная Google Research. Этот репозиторий содержит официальные веса и конфигурации для PyTorch. Модель построена на архитектуре Stacked Mixing Transformer с Variate Attention и CPM Iterative RevIN. В ней 20 слоёв трансформера, размерность модели 1280 и 16 голов внимания. Длина входного контекста составляет 32, длина патча горизонта прогноза — 64; модель также поддерживает прогнозирование квантилей, медиана находится по индексу 4. При обучении использовались наборы GiftEvalPretrain, Wikipedia Pageviews, Google Trends, а также синтетические и дополненные данные. Модель предназначена для прогнозирования временных рядов и может применяться к задачам оценки будущих значений последовательностей на основе их истории. Метаданные указывают тег задачи time-series-forecasting, формат весов — safetensors. Лицензия обозначена как other; конкретные условия использования следует проверять в репозитории.

271сент. 2026
textotherhugging-face
urbanoanido
timesfm-3.0-pytorch

Карточка модели urbanoanido/timesfm-3.0-pytorch на Hugging Face совпадает с карточкой google/timesfm-3.0-pytorch, поэтому описание составлено по ней. TimesFM 3.0 — предварительно обученная модель прогнозирования временных рядов, разработанная Google Research. Этот репозиторий содержит официальные веса и конфигурации для PyTorch. Модель построена на архитектуре Stacked Mixing Transformer с Variate Attention и CPM Iterative RevIN. В ней 20 слоёв трансформера, размерность модели 1280 и 16 голов внимания. Длина входного контекста составляет 32, длина патча горизонта прогноза — 64; модель также поддерживает прогнозирование квантилей, медиана находится по индексу 4. При обучении использовались наборы GiftEvalPretrain, Wikipedia Pageviews, Google Trends, а также синтетические и дополненные данные. Модель предназначена для прогнозирования временных рядов и может применяться к задачам оценки будущих значений последовательностей на основе их истории. Метаданные указывают тег задачи time-series-forecasting, формат весов — safetensors. Лицензия обозначена как other; конкретные условия использования следует проверять в репозитории.

340сент. 2026
textotherhugging-face
typhoon-ai
typhoon-ocr1.5-3b-qat

Typhoon-OCR-1.5-3B-QAT — мультимодальная модель для распознавания текста и разбора документов, разработанная Typhoon AI на базе Qwen2.5-VL-3B. Это версия с обучением с учётом квантования (QAT), выпущенная в формате bfloat16 и предназначенная для последующего преобразования в низкую точность, например 4-битную, с меньшей потерей качества. Архитектура — плотная vision-language модель Qwen2.5-VL с 3,1 млрд параметров и контекстом 128 000 токенов. Модель рассчитана на OCR на английском и тайском языках, включая рукописные заметки, формы, таблицы, чеки, диаграммы и документы со сложной или нерегулярной разметкой. Она предназначена для запуска на устройствах с ограниченными ресурсами и должна использоваться с предусмотренным форматом промпта. Это специализированная OCR-модель, а не универсальная система визуальных вопросов и ответов; в результатах возможны галлюцинации, поэтому их следует проверять перед производственным использованием. Лицензия — Apache-2.0.

3362нояб. 2025ctx128K
textimageapache-2.0hugging-face
Universal-NER
UniNER-7B-type

UniNER-7B-type — модель извлечения именованных сущностей, разработанная авторами проекта UniNER и дообученная на базе LLaMA-7B. Для обучения использовались тексты Pile-NER-type с метками типов сущностей, автоматически созданными GPT-3.5-turbo-0301 без ручной разметки. Модель принимает текстовый фрагмент и возвращает найденные сущности с их типами в виде списка пар. Модель предназначена для распознавания сущностей по заданным типам и извлечения именованных сущностей из текстов. В README отмечено, что она лучше варианта UniNER-7B-definition справляется с тегами типов и показывает лучшие результаты на бенчмарке Universal NER, охватывающем 43 академических набора данных из 9 областей. Архитектура — плотная LLaMA для генерации текста, размер — 6,6 млрд параметров, контекст — 2048 токенов; в метаданных указан английский язык. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Поскольку разметка для обучения синтетическая, качество может зависеть от точности заданных типов и отличаться для текстов и категорий вне охвата обучения.

20121авг. 2023ctx2K
textcc-by-nc-4.0hugging-face
akdeniz27
xlm-roberta-base-turkish-ner

akdeniz27/xlm-roberta-base-turkish-ner — модель распознавания именованных сущностей, разработанная на основе XLM-RoBERTa и дообученная для турецкого языка. Она выполняет токенную классификацию и размечает имена людей, организаций и местоположений с помощью BIO-меток. Модель содержит 305,2 млн параметров, принимает текст и имеет контекст до 514 токенов. Она подходит для извлечения сущностей из турецких текстов и может использоваться как компонент систем поиска, индексирования и анализа документов. Основа — мультиязычная XLM-RoBERTa; при дообучении использовался проверенный вариант турецкого набора данных NER. В README приведены параметры обучения: длина последовательности 512 токенов, две эпохи и скорость обучения 2e-5. Модель распространяется по лицензии MIT. Описание не приводит метрик качества, поэтому точность на конкретных текстах следует оценивать отдельно.

2187март 2022ctx514
textmithugging-face
inclusionAI
AReaL-boba-2-32B

AReaL-boba-2-32B — языковая модель для генерации текста и диалогов, разработанная командой RL Lab исследовательской организации Ant Research в рамках проекта AReaL. Она построена на архитектуре Qwen3 и содержит 29,7 млрд параметров. Модель обучена с помощью обучения с подкреплением в асинхронной системе AReaL-boba²; базовая модель — Qwen3, точный идентификатор исходного репозитория в предоставленных данных не указан. Модель предназначена для задач рассуждения, прежде всего математических задач и программирования, а также для диалогового и агентного применения. Метаданные указывают поддержку интерфейса вызова инструментов. Контекстное окно составляет 40 960 токенов; модель работает с текстом и опубликована в формате PyTorch для Transformers. В README приведены результаты семейства AReaL-boba² на бенчмарках программирования, однако отдельные результаты для версии 32B не указаны. Модель распространяется по лицензии Apache-2.0.

20019июнь 2025ctx41K
textapache-2.0hugging-face
HooshvareLab
bert-base-parsbert-ner-uncased

HooshvareLab/bert-base-parsbert-ner-uncased — персидская модель распознавания именованных сущностей на основе архитектуры BERT-Base. Она классифицирует каждый токен текста, присваивая ему метку сущности в формате IOB; карточка описывает варианты обучения на наборах ARMAN и PEYMA, отдельно и в комбинации. Среди распознаваемых категорий — люди, организации, места, даты, время, деньги, проценты, объекты и события. Модель предназначена для извлечения сущностей из персидских текстов, например для структурирования новостей и документов или подготовки данных для поиска. Это монолингвальная uncased-модель с whole-word masking, примерно 190 млн параметров и контекстом до 512 токенов. В карточке приведены результаты F1 для ARMAN и PEYMA, включая 95,13 для объединённого набора; результаты относятся к описанным наборам данных и не гарантируют такую же точность на других текстах. Лицензия — Apache-2.0.

1.6K5март 2022ctx512
textapache-2.0hugging-face
mulinski
bert-finetuned-chunk

mulinski/bert-finetuned-chunk — модель семейства BERT, дообученная на bert-base-cased на наборе CoNLL-2003 для классификации токенов. Она предназначена для разметки последовательностей текста, в частности для распознавания именованных сущностей. В оценке на тестовой выборке указаны F1 0,9214, точность 0,9222, полнота 0,9207 и accuracy 0,9618. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Лицензия — Apache-2.0. README не описывает ограничения и сценарии применения подробнее.

1770июль 2023ctx512
textapache-2.0hugging-face
nickprock
bert-finetuned-ner-ontonotes

Модель nickprock/bert-finetuned-ner-ontonotes — англоязычная модель распознавания именованных сущностей, разработанная на основе google-bert/bert-base-cased и дообученная на наборе OntoNotes 5. Она выполняет токенную классификацию и подходит для выделения сущностей в тексте, в том числе в текстах деловой тематики. Модель содержит 135,5 млн параметров, использует архитектуру BERT и принимает контекст длиной до 512 токенов. На оценочной выборке указаны F1 0,8702, точность 0,8567 и полнота 0,8842. Модель распространяется по лицензии Apache-2.0. Показатели получены на OntoNotes 5; качество на других доменах и типах текста может отличаться.

2700сент. 2022ctx512
textapache-2.0hugging-face
yeniguno
bert-ner-turkish-cased

yeniguno/bert-ner-turkish-cased — дообученная модель на архитектуре BERT, созданная на основе dbmdz/bert-base-turkish-cased и обученная на пользовательском наборе данных для распознавания именованных сущностей в турецком тексте. Модель помечает сущности типов PER (люди), LOC (места), ORG (организации), DATE (даты), MONEY (денежные суммы) и MISC (прочие сущности), а также токены без сущностей. Модель предназначена для извлечения именованных сущностей в NLP-конвейерах и может применяться для разметки турецких документов и текстов. Она построена как BERT-классификатор токенов, содержит 137,8 млн параметров и поддерживает контекст до 512 токенов. В README приведены метрики оценки: F1 0,9236, точность 0,9600, precision 0,9112 и recall 0,9364. Модель распространяется по лицензии MIT. Её назначение ограничено распознаванием перечисленных типов сущностей в турецком тексте; качество на других языках и доменах в карточке не подтверждено.

1300дек. 2024ctx512
textmithugging-face
dfrokido
bge-large-e8-snap

dfrokido/bge-large-e8-snap — англоязычная модель эмбеддингов на архитектуре BERT, разработанная в проекте LatticeMemory. Она дообучена на базе BAAI/bge-large-en-v1.5 методом RF-Snap: выходные векторы обучены привязываться к ближайшим точкам решётки E8, формируя компактный 128-байтовый адрес наряду с обычным эмбеддингом размерности 1024. Модель содержит 433,9 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Адрес E8 предназначен для быстрого поиска точных и близких повторов текста, дедупликации и сопоставления намерений из закрытого набора. Эмбеддинги также подходят для сходства предложений: на STSBenchmark модель показала Spearman 0,8714 против 0,8637 у базовой модели. Для перефразирований и асимметричного поиска по парам запрос–документ адрес E8 сам по себе ненадёжен; для таких сценариев README рекомендует другие режимы библиотеки LatticeMemory. Модель распространяется под лицензией Apache-2.0. Указанный размер адреса E8 не означает уменьшения общего объёма хранимых эмбеддингов: LatticeMemory сохраняет полные векторы отдельно.

1140май 2026ctx512
textembeddingapache-2.0hugging-face
Chickaboo
Chicka-Mixtral-3x7b

Chicka-Mixtral-3x7b — языковая модель класса Mixture of Experts, созданная Chickaboo путём объединения трёх моделей на базе Mistral: разговорной OpenChat 3.5, модели для кода CodeNinja и математической MetaMath. Модель имеет архитектуру MixtralForCausalLM, около 7,1 млрд параметров и контекст до 8192 токенов; файлы опубликованы в формате safetensors. Лицензия — MIT. Модель предназначена для генерации текста в диалогах, помощи с программированием и решения математических задач. В README приведены результаты нескольких бенчмарков, однако они не гарантируют качество на конкретных пользовательских запросах. Данные о поддерживаемых языках и специальные ограничения применения в карточке не описаны.

273апр. 2024ctx8.2K
textmithugging-face
CollectionStudio
chronos-bolt-tiny

Карточка модели CollectionStudio/chronos-bolt-tiny на Hugging Face совпадает с карточкой amazon/chronos-bolt-tiny, поэтому описание составлено по ней. Chronos-Bolt-Tiny — предварительно обученная модель прогнозирования временных рядов, разработанная Amazon. Она построена на архитектуре T5 encoder-decoder и предназначена для прогнозирования без дообучения на новых рядах. Исторические наблюдения группируются в патчи и кодируются; декодер напрямую строит многократные прогнозы будущих значений в виде квантилей. В README для этой версии указано 9 млн параметров, а метаданные репозитория указывают 3,7 млн; контекст составляет до 512 наблюдений. Модель обучалась на почти 100 млрд наблюдений временных рядов. Модель подходит для прогнозирования спроса, показателей бизнеса, сенсорных измерений и других временных рядов, в том числе на CPU или GPU через SageMaker JumpStart. По данным README, семейство Chronos-Bolt быстрее и экономнее по памяти, чем исходные Chronos, и демонстрирует высокую точность на нескольких наборах данных; конкретные результаты могут зависеть от данных и сценария. Для производственного применения README рекомендует AutoGluon, который позволяет дообучать модель, учитывать ковариаты и объединять прогнозы с другими моделями. Лицензия репозитория — Apache-2.0.

70июль 2026ctx512
textapache-2.0hugging-face
amazon
chronos-t5-base

Chronos-T5 Base — предварительно обученная модель прогнозирования временных рядов, разработанная Amazon. Она преобразует числовые наблюдения в токены с помощью масштабирования и квантования, а затем использует архитектуру T5 для авторегрессионного построения прогнозов. По нескольким сгенерированным траекториям можно получить вероятностное распределение будущих значений. Модель предназначена для прогнозирования временных рядов по их историческим значениям. Она обучена на общедоступных рядах и синтетических данных, созданных с помощью гауссовских процессов. Архитектура — T5ForConditionalGeneration; размер — 102,2 млн параметров, окно контекста — 512 токенов. Входом служит временной ряд, выходом — числовые прогнозы и выборки будущих траекторий. Репозиторий использует safetensors и библиотеку chronos-forecasting. Модель подходит для прикладного прогнозирования и вероятностной оценки будущих значений по временным данным. README отмечает, что более новая линейка Chronos-Bolt быстрее и экономнее по памяти и показывает меньшую ошибку по сравнению с исходными моделями Chronos того же размера. Лицензия — Apache-2.0.

405K45февр. 2024ctx512
textapache-2.0hugging-face
cisco-ai
cisco-time-series-model-1.0-preview

Cisco Time Series Model 1.0 Preview — модель временных рядов от Cisco для безусловного прогнозирования одного временного ряда без дообучения на конкретной задаче (zero-shot). В основе — декодерный трансформер, созданный на базе TimesFM 2.0 и дополненный многомасштабной обработкой контекста. Модель содержит 573,4 млн параметров и распространяется в формате safetensors по лицензии Apache 2.0. На вход подаются два согласованных по времени контекста: грубого разрешения и более детального, причём шаг грубого ряда в 60 раз больше. Каждый контекст может содержать до 512 точек; утилиты из репозитория позволяют подготовить их из ряда одной частоты длиной до 30 720 точек. Модель выдаёт прогноз из 128 значений на детальном разрешении и соответствующие квантили. Модель рассчитана на сценарии прогнозирования временных рядов общего назначения. Её качество может снижаться при короткой истории и при чрезмерном заполнении пропусков последним значением, особенно если таким образом заменено более 30% точек. Квантили пока не откалиброваны и их покрытие не подтверждено строгой оценкой.

22519нояб. 2025
textapache-2.0hugging-face
ajibawa-2023
Code-13B

Code-13B — полноценно дообученная модель Ajibawa на базе Llama 2 для генерации кода и подробных объяснений к нему. Модель содержит 12,9 млрд параметров, использует плотную архитектуру Llama и принимает запросы в текстовом формате Vicuna/ShareGPT; родной контекст — 4096 токенов. Модель обучена на наборе Code-74k-ShareGPT, включающем примерно 74 тысячи примеров с кодом и диалогами. В карточке названы Python, Java, JavaScript, Go, C++, Rust и другие языки программирования. Модель подходит для создания фрагментов кода с пояснениями и ответов на вопросы по программированию. Модель распространяется под лицензией CC BY-NC-ND 4.0, которая запрещает коммерческое использование и распространение производных версий. Генерация кода может содержать ошибки, поэтому результаты следует проверять; обучение и оценка не гарантируют корректность кода для конкретной задачи.

7014дек. 2023ctx4.1K
textcc-by-nc-nd-4.0hugging-face
codefuse-ai
CodeFuse-CodeLlama-34B

CodeFuse-CodeLlama-34B — языковая модель для программирования, разработанная CodeFuse AI. Это плотная авторегрессионная модель семейства Llama с 33,5 млрд параметров, дообученная методом QLoRA на базе CodeLlama-34b-Python на наборах инструкций для разных задач программирования. Она предназначена для генерации кода и ответов на инструкции, связанные с кодом; в карточке приведён результат 74,4% HumanEval pass@1 при жадном декодировании. Модель принимает текстовые запросы в специальном последовательном формате диалога system/human/bot и генерирует текст, включая код. Длина контекста, использованная при дообучении, составляла 4 тыс. токенов; метаданные указывают нативный контекст 16 384 токена. В тегах карточки перечислены английский и китайский языки. Для запуска карточка описывает стек Transformers и PyTorch. Модель рассчитана на помощь при написании кода, решении задач программирования и ответах на инструкции по коду. Карточка указывает лицензию «other», поэтому конкретные условия использования следует сверить с файлами лицензии репозитория перед применением. Показатель HumanEval приведён разработчиками и сам по себе не гарантирует качество на иных задачах.

6793сент. 2023ctx16.4K
textotherhugging-face
Salesforce
codegen-16B-mono

CodeGen-Mono 16B — авторегрессионная языковая модель для синтеза программного кода, разработанная Salesforce. Вариант Mono инициализирован из CodeGen-Multi 16B и дополнительно обучен на наборе BigPython, содержащем 71,7 млрд токенов кода на Python. Размер модели — 16 млрд параметров; архитектура — плотная CodeGenForCausalLM, формат весов — PyTorch, контекст — 2048 токенов. Модель предназначена для генерации исполняемого кода по подсказкам на естественном языке, представленным в виде комментариев, а также для продолжения частично написанного кода. В карточке приведена оценка на HumanEval и MTPB. Лицензия — BSD-3-Clause. Модель может ошибаться и не оценивалась для всех вариантов применения; перед использованием результата следует проверять код. Разработчик выпустил её для исследовательских целей в поддержку академической статьи и рекомендует учитывать вопросы точности, безопасности и справедливости.

399125апр. 2022ctx2K
textbsd-3-clausehugging-face
codellama
CodeLlama-70b-Python-hf

CodeLlama-70b-Python-hf — разработанная Meta генеративная модель для синтеза и понимания кода, специализированная на Python. Это авторегрессионный трансформер семейства Llama с плотной архитектурой и 68,7 млрд параметров; репозиторий содержит веса в форматах PyTorch и safetensors. Модель принимает текст и генерирует текст, поддерживает контекст длиной 4096 токенов. Модель подходит для автодополнения кода, генерации фрагментов Python и помощи в разборе программного кода. Она не предназначена для диалогового режима или следования инструкциям; заявленная область использования — английский язык и языки программирования. Карточка указывает, что это неофициальный репозиторий Code Llama. Использование регулируется лицензией Meta Llama 2.

241111янв. 2024ctx4.1K
textllama2hugging-face
Lodo97
coder-2b-v0.1-hfrl

Coder-2b-v0.1-hfrl — инструктивная языковая модель разработчика Lodo97 для генерации и редактирования кода по запросам на естественном языке. Модель основана на Phi-2 и дообучена для Python-кода: в карточке указаны датасет Vezora/Tested-22k-Python-Alpaca и последующее дообучение методом DPO на jondurbin/py-dpo-v0.1. README также называет промежуточную модель Lodo97/Test1; размер по метаданным — 3,5 млрд параметров, архитектура — плотная Phi, библиотека — Transformers, формат весов — safetensors, контекст — 2048 токенов. Модель предназначена для генерации Python-кода из инструкций, поиска ошибок и переписывания кода, в том числе при ограниченных аппаратных ресурсах. Основной язык карточки — английский. README не приводит оценок качества или подробных ограничений; сгенерированный код следует проверять и тестировать. Лицензия в предоставленных данных не указана.

260апр. 2024ctx2K
texthugging-face
thealper2
codet5p-sql2text

thealper2/codet5p-sql2text — дообученная модель Salesforce/codet5p-220m, созданная для объяснения SQL-запросов на естественном английском языке. Она принимает SQL-запрос и может дополнительно использовать DDL затронутых таблиц, а затем формирует предложение о том, что делает запрос. Модель не предназначена для преобразования вопроса на естественном языке в SQL. Модель построена на архитектуре T5, содержит 123,7 млн параметров и работает с контекстом до 512 токенов. Она обучена на синтетических запросах и объяснениях из gretelai/synthetic_text_to_sql; в оценке автор сообщает метрики генерации и проверки соответствия объяснений операциям запроса. Объяснения отражают стиль синтетических данных и опираются на текст запроса, а не на смысл данных или столбцов. Длинные условия WHERE могут быть переданы неполно, а входы сверх допустимой длины обрезаются, поэтому объяснения не следует использовать как аудит результата запроса. Модель ориентирована на английский язык. Лицензия — BSD 3-Clause.

3610сент. 2026ctx512
textbsd-3-clausehugging-face
mhenrichsen
context-aware-splitter-1b

Context Aware Splitter (CAS) — каузальная языковая модель семейства Llama, опубликованная mhenrichsen для разбиения текста с учётом контекста при подготовке данных для Retrieval-Augmented Generation (RAG). Она сегментирует текст на самостоятельные по смыслу фрагменты заданного примерного размера и возвращает список фрагментов вместе с кратким обозначением темы. Модель обучена на 12,3 тыс. датских текстов объёмом 13,4 млн токенов и рассчитана прежде всего на датский язык. Метаданные указывают размер 1 млрд параметров и контекст до 8194 токенов; веса представлены в форматах PyTorch и safetensors. CAS подходит для автоматической подготовки текстовых коллекций к индексации и поиску в RAG-системах. Карточка описывает её как специализированный сплиттер, а не как универсальную модель генерации. Лицензия Apache-2.0 допускает широкое использование при соблюдении её условий.

315сент. 2023ctx8.2K
textapache-2.0hugging-face
davanstrien
dataset-rows16-task-classifier-4096

davanstrien/dataset-rows16-task-classifier-4096 — дообученный Liquid AI энкодер для многометочной классификации текстовых строк по категориям задач, связанным с моделями машинного обучения. Модель построена на LiquidAI/LFM2.5-Encoder-350M; число параметров — 444,6 млн, нативная длина контекста — 128 000 токенов. Для предсказания используется классификационная голова с усреднением представлений энкодера, а набор меток включает 35 категорий, среди них распознавание речи, генерация текста, классификация изображений и ответы на вопросы. Модель предназначена для автоматической разметки описаний и строк датасетов по нескольким категориям задач одновременно. На оценочном разбиении F1 micro составил 0,634 при пороге 0,5 и 0,646 при индивидуально настроенных порогах. Для загрузки требуется trust_remote_code=True; README отмечает, что для обслуживания через vLLM нужна стандартная архитектура. Лицензия в предоставленных данных не указана.

140июль 2026ctx128K
texthugging-face
geckos
deberta-base-fine-tuned-ner

Модель geckos/deberta-base-fine-tuned-ner — версия DeBERTa-base от Microsoft, дообученная разработчиком geckos для распознавания именованных сущностей на наборе данных CoNLL-2003. Это плотная трансформерная модель с архитектурой DeBERTa и примерно 151,8 млн параметров; она принимает текстовые последовательности длиной до 512 токенов и относит токены к меткам сущностей. В оценке на тестовой выборке CoNLL-2003 указаны F1 0,9608, точность 0,9563 и полнота 0,9652. Модель подходит для извлечения сущностей из англоязычных текстов, например имён людей, организаций и географических названий в новостях. Она рассчитана на классификацию токенов, а не на свободный диалог или генерацию текста. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT; контекст ограничен 512 токенами.

1.6K2март 2022ctx512
textmithugging-face
Isotonic
deberta-v3-base_finetuned_ai4privacy_v2

Это англоязычная модель Isotonic на базе Microsoft DeBERTa-v3-base, дообученная для токенной классификации и обнаружения персональных данных в тексте. Она предназначена для выявления чувствительных фрагментов, чтобы затем маскировать или удалять их в системах на базе ИИ-ассистентов и LLM. Модель обучалась на наборе ai4privacy/pii-masking-200k; заявлено распознавание 54 классов PII в разных темах и стилях текста. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa-v2 для классификации токенов и принимает текст с контекстом до 512 токенов. В карточке приведены общие метрики на оценочном наборе: F1 0,9757 и точность 0,9915; качество различается по классам, например, F1 для IP указан как 0,5404, а для валюты — 0,8966. Доступны веса Safetensors и формат ONNX. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование без отдельного разрешения.

36K23дек. 2023ctx512
textcc-by-nc-4.0hugging-face
zimplex
dllm-dreamreasoner-8b-finecode-any-order-b64-s24256-v1

DreamReasoner-8B FineCode any-order CPT — это контрольная точка DreamReasoner-8B, которую zimplex получил продолжением предварительного обучения базовой модели Dream-org/DreamReasoner-8B на наборе FineCode B64. Модель относится к семейству Dream, использует плотную архитектуру DreamForCausalLM и содержит 7,6 млрд параметров; контекст — до 32 768 токенов. Модель предназначена для генерации кода и диалогового взаимодействия по задачам программирования. В README приведены результаты greedy confidence decoding на HumanEval — 85,98% Pass@1, MBPP sanitized — 83,27% и LiveCodeBench Pro — 15,01%; это снимок оценки с лимитом генерации 4096 токенов, а не гарантия качества в других условиях. Для загрузки используются Transformers и пользовательский код модели с параметром trust_remote_code=True. Лицензия — Apache-2.0. Это исследовательская контрольная точка без отдельной оценки безопасности и готовности к развёртыванию.

8380сент. 2026ctx32.8K
textapache-2.0hugging-face
naver-clova-ix
donut-proto

Donut-proto — предварительно обученная базовая модель семейства Donut от NAVER CLOVA, построенная по схеме vision encoder-decoder: визуальный энкодер Swin Transformer кодирует изображение, а декодер BART авторегрессионно генерирует текст на основе его представления. Модель предназначена для последующего дообучения под задачи понимания документов, например классификации изображений документов и извлечения структурированных данных. Она принимает изображение и выдаёт текст; готовую точность на конкретной задаче карточка не заявляет. Репозиторий содержит веса PyTorch. Лицензия — MIT.

277июль 2022
textimagemithugging-face
powermove72
GK-inv-MoE-0.1

GK-inv-MoE-0.1 — языковая модель с архитектурой Mixture of Experts на базе Mixtral, созданная автором powermove72 с помощью LazyMergekit. Она объединяет GritLM/GritLM-7B и argilla/notus-7b-v1; эксперты маршрутизируются по типу запроса: один предназначен для диалога, объяснений, рассуждений и математики, другой — для программирования и алгоритмов. Модель рассчитана на генерацию текста в чате, ответы на вопросы и помощь с кодом. Объём модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. В карточке не приведены сведения о языках и оценках качества, поэтому результаты на конкретных языках и задачах могут различаться.

150июнь 2024ctx32.8K
textapache-2.0hugging-face
urchade
gliner_small-v1

GLiNER-small-v1 — модель распознавания именованных сущностей, разработанная Urchade Zaratiana, Nadi Tomeh, Pierre Holat и Thierry Charnois. Она использует двунаправленный трансформерный энкодер класса BERT и позволяет извлекать сущности заданных пользователем типов, в отличие от классических NER-моделей с фиксированным набором категорий. Модель предназначена для извлечения имен и других сущностей из текста, в том числе в сценариях, где важны компактность и практичность по сравнению с крупными языковыми моделями. В этой версии 166 млн параметров; она обучена на Pile-NER и рассчитана на английский язык. Для работы используется библиотека GLiNER. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование с соблюдением её условий.

1.4K10март 2024
textcc-by-nc-4.0hugging-face
HiTZ
GoLLIE-13B

Карточка модели HiTZ/GoLLIE-13B на Hugging Face совпадает с карточкой KaraKaraWitch/HiTZ-GoLLIE-13B-AsSafeTensors, поэтому описание составлено по ней. GoLLIE 13B — языковая модель для извлечения информации, разработанная Оскаром Саинсом, Икером Гарсия-Ферреро, Родриго Агерри, Ойером Лопесом де ла Калье, Германом Ригау и Энеки Агирре из центра HiTZ Университета Страны Басков. Это плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров и контекстом до 16 384 токенов, представленная в формате Safetensors и дообученная на основе CODE-LLaMA2. Модель предназначена для извлечения именованных сущностей, событий и отношений по заданным схемам. Она следует подробным инструкциям и определениям разметки, поэтому подходит для zero-shot задач и позволяет задавать схему извлечения во время работы, в том числе для ранее не встречавшихся задач. В карточке приведены результаты на английском языке: средний F1 56,0 для zero-shot и 73,9 для supervised оценки GoLLIE-13B. Основной язык модели — английский. Модель генерирует текст, поэтому извлечённые результаты выдаются в текстовом формате по схеме пользователя. Для базовой модели и объединённой модели указана лицензия LLaMA 2; LoRA-адаптеры проекта распространяются по Apache 2.0. Результаты и поддерживаемые схемы зависят от формулировки инструкций и качества заданных определений.

397сент. 2023ctx16.4K
textllama2hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей