/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
3 691–3 720 из 23 488
cmhyo
xlm-roberta-base-finetuned-panx-de-fr

cmhyo/xlm-roberta-base-finetuned-panx-de-fr — модель классификации токенов на базе XLM-RoBERTa Base, дообученная для задачи разметки последовательностей. Суффикс имени указывает на ориентированность на немецкий и французский языки; README сообщает о дообучении на датасете, название которого не приведено. В оценке на тестовом наборе указаны loss 0,1642 и F1 0,8610. Модель содержит 305,2 млн параметров, имеет контекст длиной до 514 токенов и распространяется в формате Safetensors. Лицензия — MIT.

60авг. 2026ctx514
textmithugging-face
nvidia
AceInstruct-1.5B

AceInstruct-1.5B — языковая модель NVIDIA для диалогов и выполнения инструкций, дообученная на базе Qwen2.5-1.5B-Base методом supervised fine-tuning. Она предназначена для генерации кода, решения математических задач и ответов на вопросы общего характера. Модель имеет плотную архитектуру Qwen2, содержит 1,5 млрд параметров и поддерживает контекст до 131 072 токенов; принимает и генерирует текст, в том числе в чат-сценариях. В приведённых в карточке тестах AceInstruct-1.5B показывает результаты выше Qwen2.5-1.5B-Instruct по отдельным задачам кодирования и математики. Это компактная модель общего назначения, поэтому качество может уступать более крупным моделям, а заявленные результаты бенчмарков не гарантируют точность в конкретном сценарии. Карточка указывает английский язык. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

47126янв. 2025ctx131.1K
textcc-by-nc-4.0hugging-face
jondurbin
airoboros-65b-gpt4-1.2

jondurbin подготовил эту плотную 65-миллиардную языковую модель на архитектуре LLaMA, дообучив её методом QLoRA на синтетических инструкциях, созданных GPT-4. Модель предназначена для диалоговой генерации текста и отвечает на запросы в формате, основанном на шаблоне Vicuna. Она рассчитана на программирование, математические задачи и рассуждения, викторины, ролевые диалоги, вопросы с вариантами ответа и по заданному контексту, а также общие запросы. Для промптов на написание кода предусмотрена инструкция PLAINFORMAT, которая просит вывести код без Markdown-разметки; автор отмечает, что она срабатывает не всегда. Модель содержит 65 млрд параметров, работает с контекстом до 2048 токенов и распространяется в формате PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель может ошибаться, а следование формату PLAINFORMAT не гарантировано.

22322июнь 2023ctx2K
textcc-by-nc-4.0hugging-face
aiXcoder
aixcoder-7b-base

aiXcoder-7B Base — базовая большая языковая модель для кода, разработанная командой aiXcoder. Модель с архитектурой Llama содержит 7,2 млрд параметров и обучена на 1,2 трлн уникальных токенов. Она предназначена для автодополнения, понимания и генерации кода на нескольких языках программирования; контекстное окно составляет 32 768 токенов. Модель ориентирована на сценарии разработки и, по заявлению авторов, показывает сильные результаты в автодополнении кода и мультиязычном NL2Code среди моделей сопоставимого размера. Это базовая версия без специального instruction-тюнинга, поэтому она может хуже справляться с высокоуровневыми задачами вроде отладки и генерации тестов. Опубликованные веса доступны в форматах PyTorch и safetensors; лицензия в предоставленных данных не описана.

49955апр. 2024ctx32.8K
texthugging-face
suayptalha
Arcana-Qwen3-2.4B-A0.6B

Arcana Qwen3 2.4B A0.6B — текстовая модель Mixture of Experts, созданная suayptalha. В ней заявлено 2,4 млрд параметров суммарно и четыре эксперта по 0,6 млрд параметров. Модель предназначена для диалогов и генерации ответов с навыками программирования, математических рассуждений, медицинских вопросов и следования инструкциям; каталог также отмечает интерфейс вызова инструментов. Эксперты для кода, математики и медицинских вопросов дообучены на соответствующих наборах данных, а эксперт следования инструкциям использует Qwen/Qwen3-0.6B без дополнительного дообучения. В метаданных указана поддержка английского языка и библиотека Transformers. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Заявленная цель — повысить точность и эффективность при меньшем потреблении памяти, однако сравнительные результаты в карточке не приведены.

9333май 2025ctx41K
textapache-2.0hugging-face
dumitrescustefan
bert-base-romanian-ner

dumitrescustefan/bert-base-romanian-ner — модель BERT для распознавания именованных сущностей, созданная дообучением bert-base-romanian-cased-v1. Она размечает румынский текст метками BIO2 и распознаёт 15 типов сущностей: людей, организации, географические объекты, даты и периоды, числа, суммы, события, произведения искусства и другие категории. Модель обучена на корпусе RONEC версии 2.0 и предназначена для извлечения сущностей из румынских текстов, например новостей или документов. Это BERT-модель с 151,6 млн параметров и контекстом до 512 токенов; веса доступны в форматах PyTorch и Safetensors. Для обработки длинных последовательностей и согласования меток с токенами README рекомендует пакет roner. Лицензия — MIT. Модель ориентирована на румынский язык; перед обработкой README рекомендует нормализовать cedilla-варианты букв ș и ț в текст с запятой снизу. При разбиении слов на несколько субтокенов нужно корректно объединять предсказанные метки.

10K5март 2022ctx512
textmithugging-face
akdeniz27
bert-base-turkish-cased-ner

akdeniz27/bert-base-turkish-cased-ner — модель распознавания именованных сущностей, созданная дообучением dbmdz/bert-base-turkish-cased на проверенной версии набора данных для турецкого NER. Она использует архитектуру BERT с классификационной головой для разметки токенов и предназначена для извлечения из турецкого текста имён людей, организаций и мест. Модель подходит для анализа новостей, документов и других текстов, где требуется находить и группировать такие сущности. Модель содержит 137,8 млн параметров и обрабатывает последовательности длиной до 512 токенов. Репозиторий включает варианты PyTorch, ONNX и safetensors. Лицензия — MIT. Описание не приводит метрик качества; предсказания требуют последующей группировки токенов в сущности, например с помощью параметра aggregation_strategy.

70K29март 2022ctx512
textmithugging-face
fhswf
bert_de_ner

fhswf/bert_de_ner — немецкая модель на архитектуре BERT, разработанная путём дообучения bert-base-german-dbmdz-cased для распознавания именованных сущностей. Она выполняет разметку токенов в тексте и предназначена для извлечения сущностей в немецкоязычных документах и текстах. Модель обучена на тренировочной части набора GermEval2014; на его тестовой части указаны precision 0,817, recall 0,842 и F1 0,829 для сущностей. Размер модели — 137,1 млн параметров, максимальная длина контекста — 512 токенов. Доступны веса в форматах PyTorch, TensorFlow и Flax, включая Safetensors. Лицензия — CC-BY-SA-4.0.

2646март 2022ctx512
textcc-by-sa-4.0hugging-face
marquesafonso
bertimbau-large-ner-selective

marquesafonso/bertimbau-large-ner-selective — модель для распознавания именованных сущностей в текстах на португальском языке. Она основана на крупной версии BERTimbau и предназначена для разметки токенов по пяти классам: люди, организации, места, время и значения. В карточке указано, что использован вариант BERT-CRF для selective-сценария из папки ner_evaluation исходного репозитория BERTimbau. Модель имеет архитектуру BERT для классификации токенов, содержит 136,1 млн параметров и принимает последовательности длиной до 512 токенов. Веса доступны в форматах PyTorch и Safetensors; лицензия — MIT. Она подходит для извлечения сущностей из португалоязычных текстов, но карточка не приводит оценок качества или подробностей обучения.

3153янв. 2024ctx512
textmithugging-face
gagan3012
bert-tiny-finetuned-ner

Модель gagan3012/bert-tiny-finetuned-ner — компактная модель разметки последовательностей на основе prajjwal1/bert-tiny, дообученная на наборе данных CoNLL-2003. Она использует архитектуру BERT и содержит около 4,4 млн параметров; максимальная длина контекста — 512 токенов. Модель предназначена для распознавания именованных сущностей в тексте, например имён людей, организаций и географических названий. На оценочной выборке CoNLL-2003 указаны F1 0,8177, точность 0,8083, полнота 0,8274 и accuracy 0,9598. Карточка не описывает ограничения или условия лицензии, поэтому их нельзя уточнить по доступным данным.

8.0K6март 2022ctx512
texthugging-face
arun11karthik
cellsense-fim-7b

CellSense-FIM 7B — модель генерации и дополнения кода, разработанная автором репозитория и дообученная на базе Qwen/Qwen2.5-Coder-7B на частном наборе CellSense FIM. Она предназначена для заполнения пропусков в ячейках Jupyter с учётом кода до и после курсора, соседних файлов репозитория, локальных импортов и контекста текущей задачи. Модель использует архитектуру Qwen2 для причинной генерации текста, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Для работы с контекстом репозитория рекомендуется CellSense JupyterLab Plugin, который формирует промпт в формате fill-in-the-middle; обслуживать модель можно через vLLM или совместимый API. В README приведены результаты оценки на отложенной выборке CellSense FIM, включая улучшение метрик дополнения относительно базовой модели. Заявленная лицензия — Apache-2.0. Модель ориентирована на код и сама по себе не собирает контекст проекта: для предусмотренного сценария нужен соответствующий плагин или ручное формирование промпта.

512июнь 2026ctx32.8K
textapache-2.0hugging-face
aaravriyer193
chimpgpt-coder-elite

ChimpGPT-Coder-Elite — дообученная модель aaravriyer193 для генерации программного кода на основе GLM-4.7-Flash от Z.ai. Она предназначена для запросов по программированию, написания кода и рефакторинга нескольких файлов; README особо выделяет Python, Rust, TypeScript и C++. Модель использует архитектуру GLM-4 MoE Lite и доступна в формате safetensors; метаданные указывают 4,1 млрд параметров и контекст до 202 752 токенов. README описывает обучение LoRA на наборе из 12 000 примеров и последующее слияние весов, тогда как метаданные классифицируют модель как дообучение базовой модели. Для запуска README указывает минимум 20 ГБ видеопамяти при 4-битной загрузке и предупреждает, что загрузка в float32 может привести к нехватке памяти. Модель распространяется по лицензии MIT. Указанные в README характеристики контекста и размера базовой модели расходятся с метаданными, поэтому приведены значения из метаданных каталога.

206апр. 2026ctx202.8K
textmithugging-face
autogluon
chronos-t5-base

Chronos-T5 Base — предварительно обученная модель прогнозирования временных рядов из семейства Chronos, построенная на архитектуре T5. В README описан подход Chronos: числовой ряд масштабируется и квантуется в последовательность токенов, которую языковая модель обрабатывает авторегрессионно. Модель обучалась на общедоступных временных рядах и синтетических данных, созданных с помощью гауссовских процессов. Модель предназначена для прогнозирования будущих значений по историческим наблюдениям и построения вероятностных прогнозов путём выборки нескольких возможных траекторий. Размер этой версии — 102,2 млн параметров; контекст составляет до 512 токенов. Репозиторий содержит веса Safetensors, а лицензия — Apache-2.0. Временные ряды кодируются как токены для архитектуры T5, поэтому результат относится к числовому прогнозированию, а не к обычной генерации текста. README сообщает, что Chronos-Bolt быстрее и точнее моделей исходного семейства Chronos сопоставимого размера; конкретные ограничения точности и поддерживаемые частоты зависят от данных и сценария применения.

31K5май 2024ctx512
textapache-2.0hugging-face
cstr
cld3-GGUF

cstr/cld3-GGUF — конверсия Compact Language Detector v3 (CLD3), компактного нейросетевого определителя языка от Google, ранее использовавшегося в Chromium. Модель принимает текст и относит его к одному из 109 языковых классов, включая отдельные метки для латинизированных вариантов некоторых языков. Архитектура включает шесть экстракторов признаков и таблиц эмбеддингов, объединённых в вектор размерности 80, а также два полносвязных слоя с размерами 80→208 и 208→109. Репозиторий содержит веса F16 в формате GGUF; файл занимает около 440 КБ. Модель предназначена для быстрой идентификации языка в браузерном и другом CPU-сценарии, где важны малый размер и низкая задержка. В README заявлены задержка менее миллисекунды и совпадение с эталонной реализацией pycld3 для 7 из 8 тестовых примеров. На коротких строках, особенно короче примерно 50 символов, предсказания могут быть ненадёжны и зависеть от языкового априорного распределения; рекомендуется учитывать уверенность. Упрощённая очистка текста в C++ runtime может также давать расхождения для HTML и текста с большим количеством пунктуации. Использование регулируется лицензией Apache-2.0; репозиторий меняет формат представления весов, но не обучает модель заново.

9290май 2026
textapache-2.0hugging-face
xingyaoww
CodeActAgent-Mistral-7b-v0.1

CodeActAgent-Mistral-7b-v0.1 — языковая модель-агент, разработанная авторами CodeAct на базе Mistral-7b-v0.1. Это плотная авторегрессионная модель класса MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов; она обучена на CodeActInstruct и обычных диалогах. Модель формирует ответы и исполняемые действия на Python, которые агент может передавать интерпретатору, получать результаты выполнения и учитывать их в следующих ходах. Модель предназначена для многошаговых агентных задач, особенно для работы с API и инструментами, где действия можно выражать кодом и корректировать после наблюдений. Авторы сообщают об улучшении успешности относительно действий в формате обычного текста или JSON на своих оценках, а также о сохранении общих диалоговых возможностей. Это исследовательская разработка, представленная как готовая модель для применения; в репозитории указана лицензия Apache-2.0.

11039янв. 2024ctx32.8K
textapache-2.0hugging-face
google
codegemma-7b

CodeGemma 7B — модель генерации кода от Google, построенная на базе Gemma. Это предварительно обученная декодерная модель с 7 млрд параметров, рассчитанная на дополнение кода и генерацию кода по текстовым запросам. Для дополнения в редакторе поддерживает заполнение пропусков между префиксом и суффиксом (fill-in-the-middle, FIM); также принимает фрагменты кода и запросы на естественном языке и может выдавать код и текст. Модель обучалась на дополнительных 500 млрд токенов, преимущественно на английском коде из открытых репозиториев, математических наборах данных и синтетически созданном коде. Подходит для автодополнения в IDE, генерации программного кода по описанию и учебных сценариев, связанных с кодом. Это базовый, не настроенный на инструкции вариант CodeGemma, поэтому карточка не заявляет о поддержке чата; для диалоговых сценариев предназначена отдельная версия codegemma-7b-it. Разработчик указывает на общие ограничения больших языковых моделей. Лицензия — Gemma Terms of Use.

2.9K223март 2024
textgemmahugging-face
Salesforce
codegen2-16B_P

CodeGen2-16B_P — авторегрессионная языковая модель для синтеза программного кода из семейства CodeGen2, разработанного Salesforce. Это плотная модель класса CodeGenForCausalLM с 16 млрд параметров; она принимает текст и генерирует продолжение, а также поддерживает заполнение пропусков в коде по контексту до 2048 токенов. Модель предназначена прежде всего для генерации исполняемого кода по подсказкам на английском языке в виде комментариев и для завершения частично написанных программ. Обучение проводилось на permissive-подмножестве дедуплицированного Stack v1.1. В карточке перечислена поддержка языков программирования C, C++, C#, Dart, Go, Java, JavaScript, Kotlin, Lua, PHP, Python, Ruby, Rust, Scala, shell, SQL, Swift, TypeScript и Vue. Проверка включала HumanEval и HumanEval-Infill. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Авторы указывают, что выпуск предназначен для исследовательских целей; перед применением следует оценить точность и безопасность результатов. Модель лучше всего подходит для синтеза кода, а качество и уместность сгенерированных программ требуют проверки.

46K45апр. 2023ctx2K
textapache-2.0hugging-face
Salesforce
codegen-350M-mono

Salesforce CodeGen-Mono 350M — авторегрессионная языковая модель для генерации программного кода. Это версия семейства CodeGen, содержащая 350 млн параметров и использующая плотную архитектуру CodeGenForCausalLM; модель работает в формате PyTorch и принимает контекст длиной до 2048 токенов. Модель дообучена на Python: она инициализирована весами CodeGen-Multi 350M и затем предварительно обучена на наборе BigPython, содержащем 71,7 млрд токенов Python. Основной сценарий — генерация исполняемого кода по подсказкам на английском языке, оформленным как комментарии, а также продолжение частично написанного кода. Модель оценивалась на HumanEval и MTPB. Модель выпущена Salesforce по лицензии BSD 3-Clause. Авторы позиционируют её как исследовательскую разработку и рекомендуют отдельно оценивать точность, безопасность и справедливость перед применением. Она специализирована на Python и не оценивалась для всех возможных прикладных сценариев.

39K101апр. 2022ctx2K
textbsd-3-clausehugging-face
codellama
CodeLlama-7b-Python-hf

CodeLlama-7b-Python-hf — языковая модель Meta из семейства Code Llama, предназначенная для генерации и понимания кода с особым упором на Python. Это авторегрессионная плотная Transformer-модель класса LlamaForCausalLM с 6,6 млрд параметров и контекстом до 16 384 токенов. Репозиторий содержит версию для Transformers в форматах PyTorch и Safetensors. Модель принимает текст и генерирует текст. Она подходит для автодополнения кода, генерации фрагментов на Python и помощи при разборе кода. Это не instruct-версия: карточка отмечает поддержку автодополнения, но не диалогового режима и не выполнения инструкций. Основной язык применения — английский; модель специализирована на Python. Модель разработала Meta и выпустила в августе 2023 года. Использование регулируется лицензией Llama 2 от Meta; перед применением следует соблюдать условия лицензии и правила допустимого использования. Модель может выдавать неточный или нежелательный код, поэтому результаты требуют проверки и тестирования в целевом приложении.

814149авг. 2023ctx16.4K
textllama2hugging-face
stojchet
d7

d7 — дообученная модель для генерации кода, созданная на основе deepseek-ai/deepseek-coder-1.3b-base и обученная на наборе данных generator. Она использует плотную архитектуру LlamaForCausalLM и содержит 1,3 млрд параметров. Модель предназначена для генерации текста и кода; базовая модель поддерживает продолжение, автодополнение и заполнение пропусков в коде. Контекст — до 16 384 токенов. В репозитории представлены веса в формате safetensors. Лицензия в доступных данных не указана.

190июль 2024ctx16.4K
texthugging-face
Openintelligent123
DeepSeek-R1-Distill-Qwen-14B

Карточка модели Openintelligent123/DeepSeek-R1-Distill-Qwen-14B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

360сент. 2026ctx131.1K
textmithugging-face
Openintelligent123
DeepSeek-R1-Distill-Qwen-1.5B

Карточка модели Openintelligent123/DeepSeek-R1-Distill-Qwen-1.5B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

270сент. 2026ctx131.1K
textmithugging-face
liruiyangnb666
DeepSeek-R1-Distill-Qwen-7B

Карточка модели liruiyangnb666/DeepSeek-R1-Distill-Qwen-7B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

230авг. 2026ctx131.1K
textmithugging-face
xiaozhibro
DeepSeek-R1-Distill-Qwen-7B

Карточка модели xiaozhibro/DeepSeek-R1-Distill-Qwen-7B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

4110сент. 2026ctx131.1K
textmithugging-face
bdbj
Dream-Coder-v0-Instruct-7B-SM

Dream-Coder-v0-Instruct-7B-SM — диффузионная языковая модель для генерации кода, разработанная командой Dream. По карточке, модель обучалась на открытых данных в несколько этапов: адаптация, supervised fine-tuning и обучение с подкреплением. Она предназначена для написания кода и диалоговой работы с запросами о программировании. В README указано значение pass@1 21,4% на LiveCodeBench (2410–2505); это результат конкретного бенчмарка, а не гарантия качества для других задач. Модель содержит 7,1 млрд параметров, использует плотную архитектуру DreamModel и рассчитана на контекст до 32 768 токенов. Репозиторий распространяет веса в формате safetensors; лицензия — Apache-2.0. Карточка не уточняет поддерживаемые языки программирования и естественные языки.

741янв. 2026ctx32.8K
textapache-2.0hugging-face
tartuNLP
EstBERT_NER_v2

EstBERT_NER_v2 — модель распознавания именованных сущностей в эстонском тексте, разработанная группой TartuNLP Института компьютерных наук Тартуского университета. Это дообученная на эстонских наборах данных NER модель на архитектуре BERT с 151,6 млн параметров и контекстом до 512 токенов. Она присваивает метки токенам текста, выделяя сущности, включая даты, события и географические названия. Модель подходит для извлечения сущностей из эстонских документов и подготовки текста для последующего поиска или анализа. На тестовой выборке указаны F1 0,7678 и точность 0,9672; результаты различаются по типам сущностей. Иногда модель отмечает как сущности отдельные части слов, поэтому может потребоваться постобработка. Лицензия — CC BY 4.0.

1271май 2022ctx512
textcc-by-4.0hugging-face
openbmb
Eurus-70b-sft

Eurus-70B-SFT — большая языковая модель OpenBMB, дообученная для рассуждений на основе CodeLLaMA-70B. Модель содержит 68,7 млрд параметров, использует плотную архитектуру LLaMA и принимает контекст до 16 384 токенов. Она обучена на корректных действиях из UltraInteract с небольшой примесью примеров UltraChat, ShareGPT и OpenOrca. Модель предназначена для диалогов и решения задач, требующих пошаговых рассуждений, в том числе математических и связанных с программированием. Для кода и математики авторы рекомендуют специальные шаблоны запросов, согласованные с форматами обучающих данных. В README заявлены высокие результаты на сравнительных оценках, но подробные результаты в карточке не приведены. Модель распространяется в формате safetensors по лицензии Apache 2.0.

1275апр. 2024ctx16.4K
textapache-2.0hugging-face
facebook
fasttext-ja-vectors

Это предварительно обученная модель векторных представлений fastText для японского языка, опубликованная Facebook. Она предназначена для получения векторов слов и использования этих представлений в задачах извлечения признаков, классификации текста и определения языка. Векторы обучены на данных Common Crawl и Википедии с помощью CBOW с позиционными весами. Размерность векторов — 300; модель использует символьные n-граммы длиной 5, окно контекста 5 и 10 отрицательных примеров. Для токенизации японского текста применялся MeCab. fastText рассчитан на работу на обычном оборудовании и может использоваться для прототипирования и в прикладных системах. Модель подходит для анализа семантической близости слов и подготовки признаков для классификаторов. Векторы отражают возможные предубеждения обучающих данных и могут приводить к смещённым результатам. Лицензия — CC BY-SA 3.0.

8256март 2023
textembeddingcc-by-sa-3.0hugging-face
EpistemeAI
Fireball-MathCoder-Llama-3.1-8B-v1dpo-16bit

Fireball-MathCoder-Llama-3.1-8B-v1dpo — текстовая авторегрессионная модель семейства Llama, разработанная EpistemeAI и дообученная на EpistemeAI/MathCoder-Llama3.1-8B-cot. Модель предназначена для генерации ответов на математические задачи и запросы, связанные с программированием. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В карточке указано дообучение с использованием Unsloth и TRL; доступен формат PyTorch. Основной указанный язык — английский. Лицензия — Apache-2.0.

140авг. 2024ctx131.1K
textapache-2.0hugging-face
knowledgator
gliclass-base-v2.0-rac-init

GLiClass base v2.0 RAC init — модель классификации последовательностей с нулевым примером от Knowledgator, основанная на microsoft/deberta-v3-base. Она использует признаки с разных слоёв сети и выполняет классификацию за один проход, что делает её вычислительно эффективной по сравнению с cross-encoder. Модель предназначена для тематической классификации, анализа тональности и повторного ранжирования в RAG-сценариях. Версия RAC обучена учитывать примеры, найденные по семантическому сходству, и использовать их при предсказании. В тестах добавление таких примеров повышало средний F1 с 0,3090 без примеров до 0,4707 с двумя примерами; результаты зависят от набора данных и числа примеров. В карточке указана поддержка английского и французского языков. Модель распространяется в формате Safetensors по лицензии Apache-2.0; автор заявляет, что данные обучения допускают коммерческое использование.

20112февр. 2025
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей