/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
3 601–3 630 из 23 488
divergentlabs
masker-mini

Masker Mini (v3) — модель Divergent Labs для обнаружения и разметки персональных данных в тексте. Это компактный шестислойный токен-классификатор на архитектуре BERT с 35,4 млн параметров по README; метаданные указывают 38,7 млн параметров. Модель принимает текст и размечает 12 типов сущностей, включая имена, адреса, телефоны, электронную почту, даты, номера карт и государственные идентификаторы, чтобы передать их на следующий этап обезличивания. Модель предназначена для локального офлайн-обнаружения PII на устройствах и в приложениях, где важно не отправлять исходный текст в облако. Для развёртывания доступны PyTorch fp16, ONNX fp16 и 4-битный ONNX, а также 4-битная Core ML-версия. Поддерживаются 23 европейских языка; контекст — до 512 токенов. В README описана дистилляция из Masker v2 с инициализацией весами первых шести слоёв Multilingual-MiniLM. По заявленным оценкам, 4-битные варианты почти совпадают с fp32 по разметке токенов. Ограничения включают более низкое качество распознавания имён по сравнению с полноразмерной Masker и остаточную ошибочную разметку компаний и других именованных сущностей как персон в нидерландских текстах. README рекомендует проверять качество на собственных данных и учитывать возможную утечку. Лицензия — Apache-2.0.

9053июль 2026ctx512
textapache-2.0hugging-face
TroyDoesAI
Mermaid-Can-Code

Mermaid-Coder-Llama-3-8B — объединённая модель генерации текста на базе Llama 3, созданная TroyDoesAI методом SLERP с помощью mergekit. Она объединяет две модели, дообученные для генерации кода и выполнения инструкций, поэтому подходит для ответов на запросы о коде и создания кода по описанию. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текстовые запросы, выдавая текст. Родной контекст составляет 8192 токена. Для работы нужны веса в формате safetensors и библиотека Transformers. Доступна по лицензии базовых моделей; сведения о конкретной лицензии в предоставленных данных отсутствуют.

120апр. 2024ctx8.2K
texthugging-face
TheodoraAdhara
MyAwesomeModel-TestRepo

MyAwesomeModel — модель, опубликованная в репозитории TheodoraAdhara/MyAwesomeModel-TestRepo и предназначенная для извлечения признаков из текста. В метаданных Hugging Face она классифицирована как feature-extraction, связана с архитектурой BERT и рассчитана на использование через библиотеку Transformers с фреймворком PyTorch.

3811сент. 2026
textembeddingmithugging-face
CATIE-AQ
NERmembert-base-4entities

NERmembert-base-4entities — модель CamemBERT, дообученная Лоиком Бурдуа из Centre Aquitain des Technologies de l'Information et Electroniques для распознавания именованных сущностей во французском тексте. Она размечает токены и выделяет четыре типа сущностей: людей (PER), организации (ORG), места (LOC) и прочие именованные сущности (MISC). Модель обучена на объединённом и очищенном наборе frenchNER_4entities примерно из 385 тысяч предложений, собранном из четырёх французских датасетов NER. Архитектура — CamembertForTokenClassification, размер — 137,8 млн параметров, максимальный контекст — 514 токенов. Модель принимает текст и возвращает метки сущностей для его фрагментов. Её можно использовать для извлечения имён людей, организаций и географических названий из французских документов, новостей и других текстов. Модель выпущена под лицензией MIT.

1542янв. 2024ctx514
textmithugging-face
opencsg
opencsg-CodeLlama-34b-v0.1

OpenCSG-CodeLlama-34b-v0.1 — созданная сообществом OpenCSG модель генерации кода, полученная полнопараметрической донастройкой CodeLlama-34b-hf. Это плотная авторегрессионная модель семейства Llama с 33,5 млрд параметров и контекстом до 16 384 токенов; опубликованные веса представлены в формате safetensors. Модель предназначена для генерации и дополнения программного кода. Её можно применять для написания функций по описанию, продолжения фрагментов кода и решения задач программирования; в карточке указано, что обучающие данные охватывают несколько языков программирования, хотя отдельные языки не перечислены. README приводит оценку серии на HumanEval, но показанный фрагмент не содержит результатов именно версии 34B. Модель распространяется по лицензии Llama 2. Результаты генерации зависят от промпта и параметров декодирования; представленных в карточке оценок недостаточно, чтобы судить о качестве версии 34B на разных практических задачах.

360янв. 2024ctx16.4K
textllama2hugging-face
zurichquants
OpenThinker-7B

OpenThinker-7B — языковая модель, разработанная командой OpenThoughts и дообученная на Qwen/Qwen2.5-7B-Instruct с использованием набора OpenThoughts-114k. Она предназначена для генерации текста в диалогах и решения задач, требующих рассуждений, в том числе математических задач, научных вопросов и задач по программированию. Данные OpenThoughts-114k получены методом дистилляции DeepSeek-R1. Модель имеет плотную архитектуру Qwen2, содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. В карточке приведены результаты оценивания по математике, научным вопросам и программированию; в отдельных тестах модель превосходит Bespoke-Stratos-7B, но уступает DeepSeek-R1-Distill-Qwen-7B. Доступна под лицензией Apache 2.0.

210сент. 2026ctx32.8K
textapache-2.0hugging-face
inovruzova
polygraf-ner-stage3-model

Polygraf NER Stage 3 — англоязычная модель для распознавания и классификации именованных сущностей в тексте. Разработана в рамках технического задания Polygraf Applied NLP и дообучена целиком на наборе inovruzova/polygraf-ner-stage2-expanded на базе энкодера ELECTRA Small Discriminator от Google. Архитектура — ElectraForTokenClassification, около 20,4 млн параметров по метаданным, контекст — до 512 токенов. Модель размечает восемь типов сущностей: людей, организации, места, дату и время, продукты, произведения искусства, профессии и суммы. Выпущена в формате safetensors. Подходит для извлечения сущностей из англоязычных текстов, например для предварительной разметки документов и поиска упоминаний людей, организаций, мест, товаров или денежных сумм. На тестовой выборке указана micro-F1 0,745; качество на обучающей выборке существенно выше, что указывает на запоминание обучающих примеров. Модель часто переопределяет сущности, хуже справляется с организациями, продуктами и произведениями искусства, а её некейсированный токенизатор не использует прописные буквы как признак имени. Весы распространяются по лицензии Apache 2.0; для повторного использования обучающих данных следует отдельно учитывать условия лицензий исходных корпусов.

90авг. 2026ctx512
textapache-2.0hugging-face
kaptaan45
QaptaanLM-0.75B-Instruct

QaptaanLM-0.75B-Instruct — компактная текстовая причинно-следственная языковая модель для программирования и технических задач, разработанная kaptaan45 на базе QaptaanLM-0.75B. Это плотная архитектура Qaptaan с числом параметров 581,4 млн по метаданным; README приводит другое значение — 752 млн. Модель дообучена на KapInstruct-100M с форматом Qwen ChatML и маскированием функции потерь только на ответах ассистента. Указана длина контекста 262 144 токена. Модель предназначена для генерации кода на разных языках программирования, алгоритмических рассуждений, отладки, исправления ошибок и следования инструкциям с ограничениями. В обучающих данных также представлены математика, общий диалог, STEM и научные вопросы. Поддерживает текстовый диалог и интерфейс вызова инструментов; карточка указывает поддержку английского языка. Репозиторий использует формат Safetensors, лицензия — Apache-2.0. Компактный размер удобен для локального применения, однако качество и надёжность ответов на сложных задачах требуют проверки.

2310авг. 2026ctx262.1K
textapache-2.0hugging-face
mlx-community
Qwen3-Coder-30B-A3B-Instruct-bf16

Это версия Qwen3-Coder-30B-A3B-Instruct, подготовленная сообществом mlx-community для запуска в формате MLX на устройствах Apple с библиотекой mlx-lm. Модель использует архитектуру Qwen3 MoE; метаданные указывают 2,4 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации кода и диалоговых сценариев программирования, включая работу с длинными запросами. Она принимает текст и выдаёт текст. README сообщает о конвертации исходной модели в MLX с помощью mlx-lm 0.26.2. Репозиторий распространяется по лицензии Apache-2.0.

4342авг. 2025ctx262.1K
textapache-2.0hugging-face
aiola
roberta-base-corener

aiola/roberta-base-corener — многоцелевая модель на базе RoBERTa, предназначенная для распознавания именованных сущностей, извлечения отношений, обнаружения упоминаний сущностей и разрешения кореференции. Модель разработала aiola; в карточке описаны совместное обучение задач и правила построения кластеров кореферентных упоминаний. NER и обнаружение упоминаний реализованы как классификация текстовых фрагментов, а извлечение отношений и разрешение кореференции — как классификация пар фрагментов. Модель распознаёт типы сущностей, включая людей, организации, географические объекты, даты, суммы и события, а также отношения вроде «работает в», «живёт в» и «расположено в». Это англоязычная модель на 151,8 млн параметров с контекстом до 514 токенов. Модель распространяется в формате PyTorch по лицензии Apache-2.0. В метаданных Hugging Face основная задача указана как заполнение пропусков (fill-mask), тогда как README описывает извлечение структурированной информации; поэтому поддержка этих прикладных задач в готовом интерфейсе Hugging Face не подтверждена метаданными.

578май 2022ctx514
textapache-2.0hugging-face
PaddlePaddle
RT-DETR-L_wired_table_cell_det

RT-DETR-L_wired_table_cell_det — модель PaddlePaddle для обнаружения ячеек в изображениях таблиц. Она находит области ячеек и выдаёт их ограничивающие рамки, которые затем использует конвейер распознавания таблиц для дальнейшей обработки. README указывает на совместное тестирование точности с моделью RT-DETR-L_wireless_table_cell_det. Модель предназначена для этапа обнаружения ячеек в задачах распознавания таблиц и может использоваться как компонент общего конвейера PaddleOCR, который извлекает данные из таблиц и формирует HTML или Excel. В метаданных указаны PaddleOCR и языки en и zh; сама задача обнаружения ячеек ориентирована на визуальную структуру, а не на распознавание текста. Репозиторий распространяется по лицензии Apache-2.0. README не приводит отдельной оценки качества для этой модели: отмечено, что результат получен при совместном тестировании с вариантом для беспроводных таблиц.

5.0K5июнь 2025
textimageapache-2.0hugging-face
PaddlePaddle
RT-DETR-L_wireless_table_cell_det_onnx

RT-DETR-L_wireless_table_cell_det_onnx — модель PaddlePaddle для обнаружения ячеек в таблицах на изображениях. Она предназначена для модуля распознавания таблиц: находит области отдельных ячеек и формирует ограничивающие рамки, которые затем могут использоваться в последующих этапах анализа структуры и содержимого таблицы. Разработчик — команда PaddlePaddle; модель интегрируется с PaddleOCR и поддерживает запуск через ONNX Runtime. Модель основана на RT-DETR-L, имеет размер около 124 МБ и предназначена для обработки изображений. В README указаны языки en и zh, однако для самого обнаружения ячеек языковая поддержка напрямую не характеризуется. Заявленная Top-1 accuracy составляет 82,7%; время инференса — 35 мс в обычном режиме и 10,45 мс в высокопроизводительном режиме на GPU, а на CPU — 495,51 мс. Эти показатели относятся к совместному тестированию с RT-DETR-L_wired_table_cell_det. Модель подходит для автоматического выделения ячеек в изображениях таблиц перед их распознаванием. Ограничения включают отсутствие в README сведений о размере контекста, точном наборе данных, поддерживаемых форматах изображений и качестве на отдельных типах таблиц. Модель распространяется по лицензии Apache-2.0.

2.2K1май 2026
textimageapache-2.0hugging-face
segment-any-text
sat-12l

sat-12l — многоязычная модель сегментации текста на предложения из проекта Segment any Text, разработанная для wtpsplit. Она относит токены к классам для определения границ предложений и предназначена для разбиения сплошного текста на предложения в системах обработки документов и текста. Модель использует архитектуру XLM для классификации токенов и содержит 12 слоёв трансформера, около 305,2 млн параметров и контекст длиной 514 токенов. Доступны веса PyTorch и ONNX. Метаданные указывают поддержку многих языков, включая английский, немецкий, французский, испанский, арабский, китайский?

9.0K7июнь 2024ctx514
textmithugging-face
pucpr-br
sbertimbau_news_2018

pucpr-br/sbertimbau_news_2018 — модель Sentence Transformers, созданная на базе neuralmind/bert-base-portuguese-cased и дообученная для получения векторных представлений предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, пригодные для семантического поиска, кластеризации и сравнения сходства текстов. Модель построена на архитектуре BERT и содержит 136,1 млн параметров. Она принимает текст на португальском языке; максимальная длина контекста составляет 512 токенов. Для использования доступны форматы Sentence Transformers и Transformers; в последнем случае для получения представления требуется подходящая операция pooling. Обучение проводилось с BatchAllTripletLoss. Карточка не приводит результатов оценки качества и подробностей обучающих данных, поэтому пригодность для конкретного корпуса следует проверять отдельно. Лицензия в предоставленных данных не указана.

1020апр. 2024ctx512
textembeddinghugging-face
shangrilar
sentence-encoder-klue-mrc

shangrilar/sentence-encoder-klue-mrc — модель семейства BERT, упакованная в формат safetensors и созданная на базе Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу и кластеризации. Обучение использовало MultipleNegativesRankingLoss с косинусным сходством. Модель принимает текст и возвращает векторные представления. Размер модели — 144 млн параметров, максимальная длина контекста — 512 токенов. Карточка указывает на KLUE-MRC в названии, но не описывает языки обучения и не приводит метрики качества или конкретные ограничения применения. Лицензия в предоставленных данных не указана.

1030нояб. 2023ctx512
textembeddinghugging-face
zzzmahesh
starcoder2-3b-instruct

zzzmahesh/starcoder2-3b-instruct — дообученная модель генерации кода на архитектуре StarCoder2, опубликованная пользователем zzzmahesh. Модель обучали на дополнительных 0,7 млрд токенов, связанных с кодом, в течение трёх эпох. Она принимает инструкции в формате Alpaca без системного промпта и предназначена для генерации и дополнения программного кода по запросу. В README указан результат 65,9 pass@1 на HumanEval-Python. Модель содержит 4,2 млрд параметров, работает с контекстом до 16 384 токенов и доступна в формате safetensors для Transformers. Лицензия — BigCode OpenRAIL-M. Карточка предупреждает, что модель может ошибаться и выдавать вводящий в заблуждение результат, слабо справляться с задачами вне программирования и прошла ограниченное тестирование; перед реальным применением рекомендуется дополнительная проверка безопасности.

500дек. 2024ctx16.4K
textbigcode-openrail-mhugging-face
nsugianto
tblstructrecog_finetuned_tbltransstrucrecog_v1_s1_394s_adjpar6_lr1e5_dec1e4_bs8

Модель nsugianto/tblstructrecog_finetuned_tbltransstrucrecog_v1_s1_394s_adjpar6_lr1e5_dec1e4_bs8 — дообученная версия модели распознавания структуры таблиц на базе Table Transformer. Она предназначена для обнаружения объектов на изображениях таблиц, например их структурных элементов. В README указано, что модель дообучена на неизвестном наборе данных, поэтому конкретные типы размечаемых элементов и качество не описаны. Модель содержит 6,3 млн параметров, использует архитектуру TableTransformerForObjectDetection и сохранена в формате safetensors. Для применения к изображениям таблиц подходит как компонент конвейера извлечения структуры документов. Лицензия — MIT.

1750июнь 2024ctx1K
imagemithugging-face
google
timesfm-2.0-500m-pytorch

TimesFM 2.0 500M — предварительно обученная фундаментальная модель временных рядов для прогнозирования, разработанная Google Research. Это декодерная модель семейства TimesFM с 573,4 млн параметров; репозиторий содержит веса в формате safetensors и предназначен для запуска через библиотеку TimesFM на PyTorch. Модель не является официально поддерживаемым продуктом Google. Модель прогнозирует одномерные временные ряды: принимает исторический контекст длиной до 2048 точек и строит прогноз на заданный горизонт; при работе можно указать частотный индикатор. Основной режим — точечный прогноз. Также доступны экспериментальные квантильные выходы, но они не калиброваны после предварительного обучения. Для корректной работы желательно подавать непрерывный ряд без пропусков и сохранять одинаковую частоту в контексте и горизонте; пропущенные значения README предлагает заполнять линейной интерполяцией. Модель подходит для прогнозирования временных рядов в различных областях, однако конкретные отраслевые гарантии качества в карточке не заявлены. Распространяется по лицензии Apache-2.0.

85K271дек. 2024
textapache-2.0hugging-face
google
timesfm-3.0-pytorch

TimesFM 3.0 — предварительно обученная модель прогнозирования временных рядов, разработанная Google Research. Этот репозиторий содержит официальные веса и конфигурации для PyTorch. Модель построена на архитектуре Stacked Mixing Transformer с Variate Attention и CPM Iterative RevIN. В ней 20 слоёв трансформера, размерность модели 1280 и 16 голов внимания. Длина входного контекста составляет 32, длина патча горизонта прогноза — 64; модель также поддерживает прогнозирование квантилей, медиана находится по индексу 4. При обучении использовались наборы GiftEvalPretrain, Wikipedia Pageviews, Google Trends, а также синтетические и дополненные данные. Модель предназначена для прогнозирования временных рядов и может применяться к задачам оценки будущих значений последовательностей на основе их истории. Метаданные указывают тег задачи time-series-forecasting, формат весов — safetensors. Лицензия обозначена как other; конкретные условия использования следует проверять в репозитории.

1.0M954авг. 2026
textotherhugging-face
Unravler
timesfm-3.0-pytorch

Карточка модели Unravler/timesfm-3.0-pytorch на Hugging Face совпадает с карточкой google/timesfm-3.0-pytorch, поэтому описание составлено по ней. TimesFM 3.0 — предварительно обученная модель прогнозирования временных рядов, разработанная Google Research. Этот репозиторий содержит официальные веса и конфигурации для PyTorch. Модель построена на архитектуре Stacked Mixing Transformer с Variate Attention и CPM Iterative RevIN. В ней 20 слоёв трансформера, размерность модели 1280 и 16 голов внимания. Длина входного контекста составляет 32, длина патча горизонта прогноза — 64; модель также поддерживает прогнозирование квантилей, медиана находится по индексу 4. При обучении использовались наборы GiftEvalPretrain, Wikipedia Pageviews, Google Trends, а также синтетические и дополненные данные. Модель предназначена для прогнозирования временных рядов и может применяться к задачам оценки будущих значений последовательностей на основе их истории. Метаданные указывают тег задачи time-series-forecasting, формат весов — safetensors. Лицензия обозначена как other; конкретные условия использования следует проверять в репозитории.

270сент. 2026
textotherhugging-face
Datadog
Toto-Open-Base-1.0

Toto-Open-Base-1.0 — открытая базовая модель временных рядов, разработанная Datadog для прогнозирования многомерных данных, особенно метрик наблюдаемости. Это декодерный Transformer с 151 млн параметров; он обрабатывает ряды высокой размерности, разреженные и нестационарные данные, поддерживает переменные длины контекста и горизонта прогноза и может работать без дообучения на конкретном ряду. Модель выдаёт точечные прогнозы и оценки неопределённости с помощью смеси распределений Стьюдента. Для обработки многомерных рядов применяется пропорциональное факторизованное пространственно-временное внимание. По README, обучение включало более 2 трлн точек данных, в том числе метрики внутренних систем Datadog без клиентских данных, публичные наборы GIFT-Eval и Chronos, а также синтетические данные. Модель подходит для прогнозирования метрик и других многомерных временных рядов, в том числе в сценариях наблюдаемости. В README заявлены высокие результаты на GIFT-Eval и BOOM, но конкретные значения метрик не приведены. Модель распространяется по лицензии Apache-2.0.

72K142апр. 2025
textapache-2.0hugging-face
weizhiwang
UniFilter-Qwen3-0.6B

UniFilter-Qwen3-0.6B — мультимодальный классификатор качества данных, разработанный авторами UniFilter для фильтрации наборов данных, используемых при обучении мультимодальных языковых моделей. Он оценивает качество пар изображение–текст и документов с чередующимися изображениями и текстом, выдавая оценку качества для отбора примеров. Модель объединяет языковую основу Qwen3-0.6B и визуальный энкодер SigLIP 2 SO400M; в метаданных архитектура указана как LlavaQwen3Classifier. Вместо языковой головы генерации текста используется голова оценки качества. Модель содержит 507,9 млн параметров, принимает изображения и текст и обучалась на синтетических парах примеров с оценками качества. Для репозитория указано контекстное окно 40 960 токенов. Модель предназначена для пакетного выставления оценок и фильтрации мультимодальных обучающих данных, включая подписи к изображениям и документы со смешанными текстовыми и визуальными фрагментами. Она компактнее упомянутой в README версии UniFilter на 1,5 млрд параметров. README описывает обучение классификатора и генерацию оценок, но конкретные показатели качества для этой версии не приводит. Лицензия — MIT.

801окт. 2025ctx41K
textimagemithugging-face
Edresson
wav2vec2-large-100k-voxpopuli-ft-Common-Voice_plus_TTS-Dataset-russian

Edresson/wav2vec2-large-100k-voxpopuli-ft-Common-Voice_plus_TTS-Dataset-russian — русскоязычная модель распознавания речи на архитектуре Wav2Vec2 Large с выходной головой CTC. Её дообучили на базе Wav2Vec2 Large 100k VoxPopuli с использованием Common Voice 7.0 и M-AILABS. Модель принимает аудио и преобразует русскую речь в текст. Она подходит для автоматической транскрибации записей и голосовых данных в приложениях на базе Transformers. Размер — 402,7 млн параметров; файлы представлены в формате PyTorch. Лицензия — Apache-2.0. README отсылает за результатами к статье, поэтому численные показатели качества здесь не приводятся.

366март 2022
textaudioapache-2.0hugging-face
jonatasgrosman
wav2vec2-xls-r-1b-spanish

Jonatas Grosman подготовил модель распознавания испанской речи, дообучив facebook/wav2vec2-xls-r-1b на обучающих и проверочных выборках Common Voice 8.0, MediaSpeech, Multilingual TEDx, Multilingual LibriSpeech и VoxPopuli. Это плотная модель Wav2Vec2ForCTC на 1,3 млрд параметров для автоматического преобразования речи в текст; она принимает аудио, записанное с частотой дискретизации 16 кГц, и предназначена для испанского языка. Модель подойдёт для транскрибации испанской речи в аудиозаписях и оценки систем распознавания речи. Для работы нужны веса PyTorch; модель распространяется по лицензии Apache-2.0. Карточка не приводит численных результатов оценки качества.

1.4K5март 2022
textaudioapache-2.0hugging-face
OmCodex
xlm-roberta-base-finetuned-panx-de

OmCodex/xlm-roberta-base-finetuned-panx-de — модель XLM-RoBERTa, дообученная для классификации токенов на основе FacebookAI/xlm-roberta-base. Она предназначена для разметки отдельных фрагментов текста, в частности для задач распознавания именованных сущностей на немецком языке, что следует из названия panx-de. В оценке на тестовом наборе указаны F1 0,8648 и loss 0,1384; подробности о наборе данных и метках не приведены. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForTokenClassification и принимает контекст до 514 токенов. Распространяется по лицензии MIT.

50июль 2026ctx514
textmithugging-face
hyperonym
xlm-roberta-longformer-base-16384

xlm-roberta-longformer-base-16384 — многоязычная модель кодирования текста на архитектуре Longformer, созданная на основе весов XLM-RoBERTa без дополнительного предварительного обучения. Версия base содержит 305,2 млн параметров, 12 слоёв и скрытый размер 768; окно внимания — 256 токенов, максимальная длина последовательности — 16 384 токена. Модель предназначена для дообучения под прикладные задачи, требующие представлений длинных текстов: её можно использовать как основу для извлечения признаков и построения специализированных классификаторов или других downstream-моделей. Она рассчитана на многоязычные тексты; среди языков в метаданных есть английский, русский, немецкий, французский, арабский и другие. Репозиторий содержит веса TensorFlow, лицензия — MIT. Это базовая модель представления текста, а не готовый диалоговый помощник или генератор. Качество для конкретной задачи зависит от последующего дообучения; README указывает, что дополнительного предобучения после инициализации весами XLM-RoBERTa не проводилось.

3420янв. 2023ctx16.4K
textembeddingmithugging-face
raulgdp
xml-roberta-large-finetuned-ner

raulgdp/xml-roberta-large-finetuned-ner — модель распознавания именованных сущностей, созданная дообучением FacebookAI/xlm-roberta-large-finetuned-conll03-english на наборе данных CoNLL-2002. Она использует архитектуру XLM-RoBERTa-large с классификацией токенов; размер составляет 658,7 млн параметров, контекст — до 514 токенов. В карточке приведены результаты на оценочной выборке: F1 0,8851, точность 0,8806, полнота 0,8897 и accuracy 0,9806. Модель предназначена для разметки токенов и извлечения именованных сущностей из текста. Лицензия и подробности о поддерживаемых языках в предоставленных данных не указаны.

350май 2024ctx514
texthugging-face
dice-research
amharic-property-retriever-afro-xlmr-base

Модель dice-research/amharic-property-retriever-afro-xlmr-base — Sentence Transformer, дообученный исследовательской группой DICE Research на базе Davlan/afro-xlmr-large-76L для сопоставления амхарских обозначений полей и свойств с соответствующими названиями на английском языке. Она преобразует предложения и короткие фрагменты текста в плотные векторы размерности 1024; близость векторов оценивается косинусным сходством. Модель построена на XLM-RoBERTa и предназначена для семантического поиска и ранжирования соответствий, в том числе для поиска названий свойств в схемах данных. Обучение проводилось на 1 224 парах примеров из набора amharic-property-mapping с функцией потерь MultipleNegativesRankingLoss. В README указана максимальная длина последовательности 64 токена; метаданные каталога приводят контекст 514 токенов. Для практического использования стоит ориентироваться на ограничение 64 токена, описанное в карточке Sentence Transformers. На тестовой выборке из 186 пар приведены метрики поиска, однако они не гарантируют качество на других данных. Модель распространяется по лицензии MIT.

2530март 2026ctx514
textembeddingmithugging-face
MostafaAhmed98
AraBert-Arabic-NER-CoNLLpp

AraBERT-NER — модель Mostafa Ahmed разработана на базе предварительно обученной AraBERT и дообучена для распознавания именованных сущностей в арабском тексте. Она присваивает метки отдельным токенам, выявляя, например, имена людей, организации, географические названия и другие сущности. Модель предназначена для извлечения сведений из арабских документов, разметки текста, категоризации документов и построения систем NER. В карточке указана оценка на тестовой выборке CoNLL-NER-AR: F1 0,859, точность 0,954, precision 0,855 и recall 0,863. Архитектура — BERT для классификации токенов, размер — 162,4 млн параметров, контекст — до 512 токенов. Модель поддерживает арабский язык, распространяется в формате Safetensors и доступна по лицензии MIT.

333июнь 2024ctx512
textmithugging-face
anchovy
autogluon-chronos-t5-mini

anchovy/autogluon-chronos-t5-mini — вариант Chronos-T5 Mini для вероятностного прогнозирования временных рядов. Chronos разработан на базе архитектуры T5: история ряда масштабируется и квантуется в последовательность из 4096 токенов, которую модель обрабатывает как языковую последовательность. По метаданным эта версия содержит 9,8 млн параметров и имеет контекст длиной 512 токенов. Модель принимает исторические значения временного ряда и генерирует несколько возможных траекторий будущих значений, формируя прогнозное распределение. Chronos обучался на общедоступных временных рядах и синтетических данных, созданных с помощью гауссовских процессов. Модель подходит для прогнозирования временных рядов; README описывает семейство Chronos, а не конкретную публикацию этого чекпойнта. Репозиторий содержит веса в формате Safetensors. Указана лицензия Apache-2.0. Число параметров в метаданных отличается от значения для Mini в таблице README, поэтому здесь приведено значение из метаданных Hugging Face.

300авг. 2024ctx512
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей