/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
3 271–3 300 из 23 488
MichaelAnthony
qwen-3.5-0.8b-Hedgehog

MichaelAnthony разработал qwen-3.5-0.8b-Hedgehog — дообученную текстовую модель семейства Qwen 3.5 для извлечения структурированных данных из документов в сценариях SimpleRAG. Это слитый чекпойнт r5 в формате FP16 для Transformers; адаптер LoRA не требуется. Метаданные указывают 581,4 млн параметров и контекст до 262 144 токенов, а README приводит размер 752 млн параметров. Модель предназначена для извлечения полей из найденных документов с выдачей данных по заданным JSON-путям и типам. В README рекомендуются температура 0 и отключённый режим рассуждений; режимы с рассуждениями и без них следует оценивать отдельно. В приведённых оценках r5 получил 71 балл на BenchLocal DataExtract-15 и 88 на BenchLocal Complex Documents; автор описывает его как стартовую модель, а не универсальный экстрактор с точностью 95%. Лицензия в предоставленных данных не указана.

900авг. 2026ctx262.1K
texthugging-face
hesamation
Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled

Модель hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled — текстовая reasoning-модель, созданная разработчиком @hesamation дообучением Qwen/Qwen3.6-35B-A3B. Она предназначена для задач, требующих последовательных рассуждений: помощи в программировании, планирования, математических задач и подготовки структурированных аналитических ответов. Обучение проводилось методом supervised fine-tuning с LoRA на текстовых рассуждениях, в основном полученных дистилляцией Claude Opus 4.6; адаптер объединён с базовой моделью. В основе — мультимодальная архитектура Qwen3.6 MoE с 35 млрд параметров, из которых активируется около 3 млрд. Базовая модель принимает изображения, однако этот этап дообучения использовал только текст, поэтому улучшения заявлены для текстовых задач, а не для изображений или видео. Нативная длина контекста базовой модели — 262 144 токена; README указывает возможность расширения до 1 010 000 токенов. В метаданных указан английский язык. Карточка приводит результат MMLU-Pro на 70 вопросах как ограниченную сравнительную проверку, а не полноценный бенчмарк релизного качества. Модель выпущена под лицензией Apache-2.0.

3.2K94апр. 2026ctx262.1K
textimageapache-2.0hugging-face
sajibsrs
raging1.0-0.5B-fp16

raging1.0-0.5B-fp16 — компактная языковая модель на 494 млн параметров, дообученная sajibsrs на Qwen/Qwen2.5-0.5B-Instruct для подготовки данных в конвейерах RAG. Это плотная авторегрессионная архитектура Qwen2, опубликованная в формате safetensors с точностью FP16; контекст — до 32 768 токенов. Модель предназначена для извлечения сущностей и отношений в виде JSON-троек, форматирования ответов по заданной схеме и краткого фактологического пересказа текста. Её можно использовать как быстрый первый этап обработки документов перед загрузкой в RAG-хранилище или граф знаний. В README приводятся улучшения точности извлечения троек и скорости относительно базовой модели, измеренные на небольшой выборке с 4-битной версией MLX; результаты зависят от оборудования и не являются гарантией качества FP16-модели. Лицензия — Apache-2.0. Модель ориентирована на одношаговое структурированное извлечение, а не на диалог. Она может объединять несколько сущностей в одну, оставлять местоимения вместо разрешённых имён и хуже справляться со сложными вложенными или условными JSON-схемами; результаты рекомендуется проверять по схеме, а при ошибках передавать более крупной модели.

100июнь 2026ctx32.8K
textapache-2.0hugging-face
redmadrobot-rnd
rubert-base-pii-ner

Русскоязычная модель Redmadrobot для распознавания персональных данных в тексте. Она дообучена для задачи классификации токенов на базе ai-forever/ruBert-base: архитектура BERT, 205,5 млн параметров, контекст до 512 токенов. Модель размечает 21 тип сущностей по схеме BIO, включая имена, адреса, контакты и номера российских документов — паспортов, СНИЛС, ИНН, полисов ОМС, водительских удостоверений и других. Модель предназначена для извлечения чувствительных данных как компонента систем обнаружения и обезличивания текста. Её обучали на 17 137 русских предложениях; на отдельном тестовом наборе из 2 841 предложения показатель F1 для модели отдельно составил 83,6 при точном совпадении границ сущностей. Для IP-адресов качество заметно ниже: модель может разделять их по точкам, поэтому авторы используют для этого типа регулярные выражения в конвейере pii-guard. Распространяется по лицензии Apache-2.0.

1.8K6сент. 2026ctx512
textapache-2.0hugging-face
InternScience
StructTable-InternVL2-1B

StructTable-InternVL2-1B — модель команды InternScience для извлечения структуры таблиц из изображений. Она дообучена на синтетических табличных данных и датасете DocGenome на базе InternVL2-1B; в карточке указана архитектура InternVLChatModel и размер около 1 млрд параметров. Модель преобразует изображения таблиц в LaTeX, HTML или Markdown и поддерживает связанные задачи, включая извлечение структуры и ответы на вопросы по таблице. Модель предназначена для оцифровки таблиц из научных публикаций, финансовых документов, счетов и веб-страниц, а также для последующего использования извлечённых данных. README отмечает улучшенную стабильность распознавания HTML и Markdown в версии v0.2 и ускоренный инференс. Карточка указывает английский и китайский языки, лицензию Apache-2.0. README не приводит контекстное окно или подробные оценки точности.

56449окт. 2024ctx8.2K
textapache-2.0hugging-face
microsoft
table-transformer-detection

Table Transformer Detection — модель обнаружения объектов на основе DETR, дообученная на наборе данных PubTables1M для поиска таблиц в документах. Разработана командой Table Transformer; модель представлена в работе Smock и соавторов о комплексном извлечении таблиц из неструктурированных документов. Архитектура использует Transformer и настройку DETR «normalize before», при которой нормализация слоёв применяется перед self-attention и cross-attention. Размер модели — 6,3 млн параметров. Модель принимает изображения документов и выдаёт обнаруженные области таблиц. Её можно использовать как этап обработки сканов и других неструктурированных документов перед извлечением содержимого таблиц. В репозитории доступны веса PyTorch и Safetensors. Лицензия — MIT.

408K438окт. 2022ctx1K
imagemithugging-face
microsoft
table-transformer-structure-recognition-v1.1-all

Table Transformer (TATR) — модель обнаружения объектов на основе Transformer, эквивалентная DETR. Она обучена на наборах PubTables1M и FinTabNet.c для распознавания структуры таблиц в документах. Вариант structure-recognition-v1.1-all предназначен для выявления элементов таблиц на изображениях документов. Модель можно применять для анализа структуры таблиц и обнаружения их компонентов в документе. В архитектуре используется нормализация до вычисления self-attention и cross-attention. Размер модели — 6,3 млн параметров; веса доступны в формате safetensors. Модель выпущена Microsoft под лицензией MIT. README описывает обнаружение таблиц и распознавание их структуры, но не приводит подробностей о поддерживаемых языках или предельных размерах изображений. Для извлечения текста из ячеек потребуется отдельный этап OCR.

208K92нояб. 2023
imagemithugging-face
nsugianto
tblstructrecog_finetuned_tbltransstrucrecog_v1_s1_370s

Модель nsugianto/tblstructrecog_finetuned_tbltransstrucrecog_v1_s1_370s — дообученная версия microsoft/table-transformer-structure-recognition для обнаружения структурных элементов таблиц на изображениях документов. Она использует архитектуру Table Transformer на базе DETR и содержит 6,3 млн параметров. Модель может находить строки, столбцы и другие элементы структуры таблицы; библиотека Transformers и формат весов safetensors указаны в метаданных. Модель подходит для извлечения структуры таблиц из документов и последующего преобразования её в машиночитаемое представление. Она опубликована под лицензией MIT. Датасет дообучения, результаты оценки и подробные сведения об ограничениях в карточке не описаны.

500май 2024ctx1K
imagemithugging-face
Armaggheddon
yolo11-document-layout

Armaggheddon разработал три варианта YOLOv11 — nano, small и medium — и дообучил их на DocLayNet для анализа структуры документов. Модели обнаруживают и классифицируют 11 типов элементов страницы: текстовые блоки, заголовки, таблицы, изображения, подписи, списки, формулы, колонтитулы и сноски. Модель предназначена для обработки изображений документов в конвейерах понимания документов и извлечения информации. Вариант nano ориентирован на скорость, small предлагает немного большую точность, а medium — максимальную точность среди описанных вариантов при более высоких вычислительных затратах. Обучение проводилось при разрешении 1280×1280; снижение до 640×640 ухудшало обнаружение мелких элементов. Это дообучение Ultralytics/YOLO11, распространяемое в формате PyTorch под лицензией MIT. README рекомендует nano для производственного применения.

84516сент. 2025
imagemithugging-face
arinze
address-match-abp-v2

arinze/address-match-abp-v2 — модель на основе BERT, созданная для сопоставления адресов. Она кодирует предложения и абзацы в плотные векторы размерностью 64, пригодные для поиска семантически похожих адресов, кластеризации и ранжирования кандидатов по сходству. Модель можно использовать через библиотеку Sentence-Transformers; она обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством. Модель содержит 25,9 млн параметров и принимает текст с контекстным окном до 512 токенов. В репозитории указаны веса PyTorch. Язык обучающих данных и лицензия в доступных сведениях не приведены, поэтому область применимости по языкам и условия использования определить нельзя.

1200нояб. 2022ctx512
textembeddinghugging-face
Ereeeeef3
DeepSeek-R1-Distill-Qwen-7b-IDKKKK

DeepSeek-R1-Distill-Qwen-7b-IDKKKK — объединённая языковая модель, созданная автором репозитория с помощью mergekit методом Linear из DeepSeek-R1-Distill-Qwen-7B, Qwen2.5-Coder-7B-Instruct и Qwen2.5-Math-7B-Instruct. Она предназначена для диалоговой генерации текста, решения математических задач и помощи с программным кодом. Модель построена на плотной архитектуре Qwen2 с 7,1 млрд параметров, работает через Transformers и принимает контекст длиной до 131 072 токенов. Объединение сочетает возможности исходных моделей для рассуждений, математики и кода; в метаданных также отмечен интерфейс вызова инструментов. Репозиторий содержит веса в формате safetensors. Языковая поддержка и лицензия в предоставленных данных не описаны.

320янв. 2025ctx131.1K
texthugging-face
naver-clova-ix
donut-base

Donut base — предварительно обученная модель для понимания изображений документов, разработанная командой NAVER CLOVA. Архитектура vision encoder-decoder сочетает визуальный энкодер Swin Transformer и текстовый декодер BART: по изображению модель авторегрессионно генерирует текст. Модель предназначена для дообучения под конкретные задачи, например классификацию изображений документов и извлечение структурированных данных из документов. Это базовый чекпойнт, а не готовое решение для конкретного типа документа; для прикладного использования обычно требуется дообучение. Распространяется по лицензии MIT.

24K255июль 2022
textimagemithugging-face
beki
flair-pii-distilbert

Модель beki/flair-pii-distilbert — модель распознавания именованных сущностей для выявления персональных данных в англоязычном тексте. Разработчик обучил её в Flair на трассировках протоколов, сгенерированных набором Privy; для представлений токенов используются эмбеддинги DistilBERT. Модель размечает пять классов сущностей, включая имена людей, названия мест и организаций. Модель предназначена для поиска и разметки PII в тексте, например при проверке журналов протоколов. В README приведён показатель F1 0,9522. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Указанная в карточке совместимость пакета spaCy — версии от 3.4.1 до 3.5.0.

4234окт. 2022
textmithugging-face
prithivMLmods
Gliese-OCR-7B-Post2.0-final

Gliese-OCR-7B-Post2.0-final — мультимодальная модель prithivMLmods на архитектуре Qwen2.5-VL, дообученная на базе prithivMLmods/Gliese-OCR-7B-Post1.0 для анализа документов. Модель содержит 7,1 млрд параметров, принимает текстовые запросы и изображения документов и выдаёт текстовые ответы; заявленная длина контекста — 128 000 токенов. В репозитории указаны формат safetensors и библиотека Transformers. Модель предназначена для OCR, распознавания структуры страниц, извлечения информации, ответов на вопросы и поиска сведений в сложных и многостраничных документах. Она также подходит для интерпретации таблиц, диаграмм и формул, включая преобразование уравнений в LaTeX. В карточке заявлена поддержка многоязычного OCR, но языковой тег метаданных указывает только английский. Лицензия Apache-2.0. Среди ограничений README отмечает снижение точности на сильно повреждённых или закрытых документах, высокие вычислительные требования, слабую оптимизацию для маломощных устройств и возможные ошибки в разметке или галлюцинации. Заявления о результатах на бенчмарках и поддержке видео приведены в карточке модели; отдельного pipeline-тега для видео нет.

616окт. 2025ctx128K
textimageapache-2.0hugging-face
gliner-community
gliner_medium-v2.5

gliner-community/gliner_medium-v2.5 — мультиязычная модель распознавания именованных сущностей из семейства GLiNER, разработанного Urchade Zaratiana, Ihor Stepanov, Nadi Tomeh, Pierre Holat и Thierry Charnois. Она использует двунаправленный энкодер на основе трансформера BERT и позволяет извлекать сущности типов, заданных пользователем, вместо работы только с фиксированным набором классов. Модель предназначена для разметки текста и извлечения сущностей в сценариях, где нужна гибкость NER при меньших вычислительных затратах, чем у крупных языковых моделей. Для работы используется библиотека GLiNER; модель публикуется в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

1.1K12июнь 2024
textapache-2.0hugging-face
gliner-community
gliner_small-v2.5

gliner-community/gliner_small-v2.5 — мультиязычная модель распознавания именованных сущностей GLiNER от сообщества GLiNER. Она использует двунаправленный трансформерный энкодер BERT-типа и позволяет задавать типы сущностей для извлечения, поэтому подходит для сценариев, где заранее заданный фиксированный набор меток неудобен. Модель работает с текстом через библиотеку GLiNER и возвращает найденные сущности с их типами и позициями. Модель предназначена для извлечения имен, организаций, мест и других заданных пользователем сущностей из документов и текстовых потоков. В README приведены результаты оценки на нескольких наборах данных NER, включая ACE 2004, ACE 2005 и AnatEM. Репозиторий содержит веса PyTorch и safetensors; лицензия Apache-2.0 разрешает использование в соответствии с её условиями. По сравнению с более крупными LLM, GLiNER ориентирована на практичное распознавание сущностей при ограниченных вычислительных ресурсах.

3.1K15июнь 2024
textapache-2.0hugging-face
ZeroXClem
Llama3.1-8B-Titanium-Forge

Llama3.1-8B-Titanium-Forge — языковая модель, созданная ZeroXClem методом слияния четырёх моделей ValiantLabs на базе семейства Llama 3.1. Она объединяет диалоговые навыки ShiningValiant2, математические способности Cobalt, генерацию кода Enigma и структурированный вывод Fireplace2. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст, выдавая текст; заявленная длина контекста — 131 072 токена. Модель предназначена для технических консультаций, решения математических задач, написания и объяснения кода, создания SQL-запросов и JSON, а также для диалоговых помощников и творческого письма. Карточка заявляет поддержку вызова инструментов через интерфейс модели. Основной язык — английский; метаданные не содержат отдельного перечня поддерживаемых языков. Весовые файлы опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0. Заявленные специализации происходят из карточки и не сопровождаются результатами оценивания; точность ответов, качество на длинном контексте и надёжность структурированного вывода следует проверять для конкретного применения.

211окт. 2024ctx131.1K
textapache-2.0hugging-face
MichaelAnthony
qwen-3.5-0.8b-Hedgehog-MLX

MichaelAnthony/qwen-3.5-0.8b-Hedgehog-MLX — FP16-экспорт модели для MLX на архитектуре Qwen 3.5. Это производная версия дообученного чекпойнта qwen-3.5-0.8b-Hedgehog, созданного для извлечения полей из документов в SimpleRAG. Компактная плотная модель содержит 581,4 млн параметров, поддерживает контекст до 262 144 токенов и работает с текстом; экспорт адаптирует структуру весов и тензоров для загрузчика mlx-lm. Модель предназначена для извлечения заданных полей из предоставленных документов и выдачи результата в указанной JSON-структуре с использованием найденных фрагментов документов. README рекомендует отключать режим рассуждений, использовать температуру 0 и явно задавать пути полей и типы значений. В описанной оценке версия Q8 набрала 71 балл на BenchLocal DataExtract-15; среди известных слабых мест — записи с несколькими сущностями и синтетические сложные счета-фактуры. Для запуска нужен MLX, а проверка инференса и производных квантованных сборок на Apple Silicon отдельно необходима. Лицензия в предоставленных данных не указана.

270авг. 2026ctx262.1K
texthugging-face
rotalabs
sakshi-pii-in

sakshi-pii-in — разработанная RotaVision модель классификации токенов на базе MuRIL-base-cased от Google. Она выделяет в неструктурированном тексте персональные данные индийского контекста: имена людей (PERSON), адреса (ADDRESS) и даты рождения (DOB), в том числе в смешанном хинглише и текстах на письме деванагари, бенгали и тамильском. Модель предназначена для слоя токенизации при приёме данных в платформу Sakshi; она рассчитана на сочетания английского и индийских языков и транслитераций. Это BERT-модель с 264,8 млн параметров и контекстом до 512 токенов. Обучающие данные полностью синтетические: шаблонные предложения, JSON-записи и чаты на английском, хинди, хинглише, бенгали и тамильском. В README приведены результаты на замороженном наборе из 2000 примеров: F1 0,988 для имён, 0,956 для адресов и 0,998 для дат рождения. Модель не предназначена для поиска структурированных идентификаторов вроде Aadhaar, PAN, IFSC, номеров телефонов и банковских счетов: для них README рекомендует отдельный детерминированный слой с регулярными выражениями и проверками контрольных сумм. Синтетическое обучение может ограничивать качество на OCR-ошибках и SMS-сокращениях; для других индийских письменностей ожидается более низкая полнота. Модель находит PII в тексте, но не оценивает законность обработки данных. Лицензия — Apache-2.0.

312июль 2026ctx512
textapache-2.0hugging-face
mann2107
setfitbcmpii

mann2107/setfitbcmpii — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для вычисления семантической близости, поиска по смыслу и кластеризации текстов. В качестве функции потерь при обучении использовалась CosineSimilarityLoss. Модель принимает текст и выдаёт векторные представления. Контекст составляет 514 токенов. Репозиторий содержит веса PyTorch; для работы подходят Sentence-Transformers и Transformers с соответствующей операцией pooling. Указаний на базовую модель, поддерживаемые языки и лицензию в предоставленных данных нет.

1220дек. 2022ctx514
textembeddinghugging-face
deepdoctection
tatr_tab_struct_v2

deepdoctection/tatr_tab_struct_v2 — модель распознавания структуры таблиц на основе Microsoft Table Transformer, дообученная на наборах PubTables-1M и FinTabNet. Она находит элементы структуры таблиц на изображениях документов, например строки и ячейки, и предназначена для включения в конвейеры анализа документов, в том числе deepdoctection. Модель имеет архитектуру TableTransformerForObjectDetection, содержит 6,3 млн параметров и доступна в форматах PyTorch и Safetensors для библиотеки Transformers. README рекомендует настроить параметры сегментации при использовании в deepdoctection Analyzer для улучшения предсказаний. Лицензия в предоставленных данных не указана.

873сент. 2023
imagehugging-face
dinalzein
xlm-roberta-base-finetuned-language-identification

Модель dinalzein/xlm-roberta-base-finetuned-language-identification — дообученная версия XLM-RoBERTa с классификационной головой для определения языка текста. Она принимает текст документа и относит его к одному из 20 языков: арабскому, болгарскому, немецкому, греческому, английскому, испанскому, французскому, хинди, итальянскому, японскому, нидерландскому, польскому, португальскому, русскому, суахили, тайскому, турецкому, урду, вьетнамскому или китайскому. Модель содержит 305,2 млн параметров, имеет контекст до 514 токенов и доступна в формате PyTorch. В README сообщается о точности 99,59% на оценочном наборе и 99,5% на тестовой выборке из 1000 предложений. Её можно использовать для автоматического определения языка коротких текстов и документов, например, перед маршрутизацией запросов или выбором языкового конвейера. Лицензия — MIT.

963май 2022ctx514
textmithugging-face
01-ai
Yi-Coder-1.5B-Chat

Yi-Coder-1.5B-Chat — диалоговая модель для генерации кода и помощи в программировании, выпущенная 01.AI. Она основана на плотной архитектуре Llama и содержит 1,3 млрд параметров; модель доступна в формате Safetensors и рассчитана на работу через Transformers. Модель принимает текстовые запросы в формате чата и генерирует текст, включая программный код. Семейство Yi-Coder предназначено для понимания длинного контекста до 128K токенов и поддерживает 52 основных языка программирования. Это позволяет использовать модель для написания и объяснения кода, а также работы с большими фрагментами программ. Лицензия — Apache-2.0.

1.1K42авг. 2024ctx131.1K
textapache-2.0hugging-face
rabbitcat
BashCopilot-6B-preview

Bash Copilot — языковая модель rabbitcat, дообученная на базе Yi-1.5-6B для преобразования описаний на естественном языке в команды Bash и shell-скрипты. Она поддерживает многошаговый диалог на английском и китайском языках: позволяет ссылаться на сущности из предыдущих реплик и постепенно уточнять или дополнять код. Модель семейства Llama с плотной архитектурой, около 5,8 млрд параметров, принимает текст и генерирует текст; длина контекста — 4096 токенов. Для обучения использован корпус из 21 тысячи многошаговых диалогов, собранных из популярных репозиториев GitHub. Лицензия — MIT. Примеры показывают генерацию команд для работы с файлами, JSON и циклами оболочки.

353июль 2024ctx4.1K
textmithugging-face
Gherman
bert-base-NER-Russian

Это модель Gherman для распознавания именованных сущностей в русскоязычном тексте. Она создана дообучением многоязычного энкодера BERT google-bert/bert-base-multilingual-cased и содержит около 205,1 млн параметров. Модель использует архитектуру BertForTokenClassification и принимает текст длиной до 512 токенов. Модель размечает имена и фамилии людей, отчества, а также географические названия: страны, регионы, города, районы, улицы и номера домов. Она предназначена для извлечения информации, анализа содержания и предварительной обработки текста для последующих NLP-задач; разметка выполняется в формате BIOLU. В карточке сообщается F1 0,988 на оценочном наборе, однако качество может меняться в зависимости от тематики и стиля текста. Модель распространяется по лицензии MIT. Она может хуже распознавать редкие или сложные имена и наследовать смещения обучающих данных; результаты следует проверять, особенно в приложениях, затрагивающих людей.

1.9K25сент. 2024ctx512
textmithugging-face
tim1900
bert-chunker-3

bert-chunker-3 — модель для разбиения документов на смысловые фрагменты, опубликованная пользователем tim1900. Она основана на BERT с архитектурой BertForTokenClassification и предсказывает начальные токены фрагментов; скользящее окно позволяет обрабатывать документы произвольной длины. Модель предназначена для подготовки текста к поиску и генерации с дополненным поиском (RAG), в том числе для неструктурированных и неаккуратно оформленных текстов. В README указано, что обучающие данные размечались языковой моделью, а обучающий процесс был изменён для повышения стабильности при сдвиге распределения данных. Модель содержит 25,9 млн параметров, принимает последовательности длиной до 512 токенов и распространяется по лицензии MIT. Карточка описывает её как альтернативу семантическому разбиению Kamradt; заявленные сравнения приведены в README, но доступный фрагмент таблицы неполон. README также сообщает о более новой версии bc-3.5, поэтому эта карточка относится к предыдущей версии семейства.

2.3K6февр. 2025ctx512
textmithugging-face
TheBloke
CodeLlama-7B-Python-fp16

CodeLlama 7B-Python fp16 — преобразованная в формат Transformers/Hugging Face версия модели Meta Code Llama 7B-Python, подготовленная TheBloke. Это авторегрессионная плотная трансформерная языковая модель на 6,6 млрд параметров, специализирующаяся на Python; веса опубликованы в fp16 и safetensors. Репозиторий содержит конверсию исходных весов Meta, а не отдельное дообучение TheBloke. Модель предназначена для генерации и понимания кода на Python: она может дополнять код, помогать с его написанием и разбором. Принимает и выдаёт текст. По метаданным нативная длина контекста составляет 16 384 токена; карточка модели также описывает обучение до 16K токенов и поддержку более длинного контекста при инференсе. Семейство Code Llama рассчитано на английский язык и языки программирования; вариант Python ориентирован прежде всего на код на Python. Для корректной загрузки этой fp16-конверсии README требует включить trust_remote_code=True из-за изменения значения RoPE Theta. Модель может выдавать неточный или нежелательный код и требует проверки результата и тестирования безопасности перед внедрением. Указана лицензия llama2; README ссылается на лицензию Code Llama с коммерческими условиями.

929авг. 2023ctx16.4K
textllama2hugging-face
lakshyakh93
deberta_finetuned_pii

lakshyakh93/deberta_finetuned_pii — дообученная модель на базе DeBERTa для поиска и классификации персональных данных в неструктурированном тексте. Она размечает фрагменты вроде имён учётных записей, номеров банковских карт, адресов электронной почты, телефонных номеров и адресов. Модель предназначена для выявления чувствительных сведений в документах, письмах и пользовательском контенте, например перед передачей текста на дальнейшую обработку или проверкой данных на конфиденциальность. Это модель классификации токенов на 151,8 млн параметров с контекстом до 512 токенов; для запуска README показывает использование Transformers pipeline с задачей token-classification. Модель принимает текст и выдаёт метки для фрагментов текста. В карточке указана лицензия MIT. Оценки качества и подробности о составе обучающих данных не приведены, поэтому результаты на конкретных категориях PII следует проверять на целевых данных.

2.4K59окт. 2023ctx512
textmithugging-face
lm-kit
docling-layout-heron-gguf

Docling Layout Heron GGUF — конверсия модели docling-project/docling-layout-heron, созданной проектом Docling, в формат GGUF для graph runner LM-Kit.NET. Это детектор структуры документов на архитектуре RT-DETRv2, а не языковая модель. Он принимает RGB-изображение страницы размером 640 × 640 и находит области документа, возвращая их границы, классы и оценки уверенности. Модель распознаёт 17 классов, включая текст, заголовки, таблицы, изображения, формулы, подписи, списки, колонтитулы, код, флажки, формы и области «ключ–значение»; число параметров — 42,1 млн. Модель подходит для выделения структуры страниц перед извлечением текста, разбором таблиц и обработкой форм. GGUF-файл хранит веса в полной точности F32, имеет размер около 168,5 МБ и запускается через LM-Kit.NET на CPU или GPU. Карточка не сообщает языковые ограничения; детекция макета основана на изображении и не предполагает генерацию текста. Лицензия — Apache-2.0.

4151сент. 2026
imageapache-2.0hugging-face
fluently
FluentlyQwen3-Coder-4B-0909

FluentlyQwen3 Coder 4B — языковая модель от Project Fluently, дообученная для генерации кода. Это плотный causal language model на архитектуре Qwen3ForCausalLM с примерно 3,7 млрд параметров; в карточке указаны 36 слоёв и grouped-query attention с 32 головами Q и 8 головами KV. Модель обучали с помощью SFT и GRPO, а затем последовательно объединяли версии. Она поддерживает контекст до 40 960 токенов по метаданным; README также указывает 32 768 токенов нативно и до 131 072 с YaRN. Модель предназначена для написания и дополнения кода в диалоговом режиме. README также сообщает об улучшениях в общении, переводе и математике. Есть режим с рассуждением и возможность его отключить; для генерации и общения используются текстовые входы и выходы. Карточка указывает английский и русский языки, а также код. Модель распространяется по лицензии Apache-2.0. Рекомендации README по параметрам генерации различаются для режимов с рассуждением и без него; для первого не рекомендуется жадное декодирование из-за возможного ухудшения качества и повторов.

648сент. 2025ctx41K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей