II.8Инженерия данных и аналитика

onnx-community/multilang-pii-ner-ONNX — ONNX-версия модели Ar86Bat/multilang-pii-ner, автоматически конвертированная для использования, в частности, через Transformers.js. Модель разработана на базе XLM-RoBERTa Base и дообучена для извлечения именованных сущностей, связанных с персональными данными (PII), в англоязычных, немецких, итальянских и французских текстах. Модель предназначена для обнаружения и маскирования персональных данных в сценариях обезличивания текста и защиты конфиденциальности. Она обучалась на датасете ai4privacy/open-pii-masking-500k-ai4privacy в формате CoNLL. Заявлены общая accuracy 99,24%, macro F1 0,954 и weighted F1 0,992; особенно высокие показатели отмечены для адресов электронной почты и дат, а также распространённых типов сущностей. Для редких или неоднозначных категорий, включая номера водительских удостоверений, паспортов, пол, фамилии и другие чувствительные типы, качество ниже, поэтому модель не предназначена для сценариев, требующих идеальной точности без дополнительного дообучения. Модель относится к задачам token classification и поддерживает инференс в экосистеме Transformers.js. Размер контекста и точное число параметров в представленном описании не указаны. Модель распространяется по лицензии MIT.

MyAwesomeModel — модель на базе архитектуры BERT, предназначенная для извлечения признаков из текста через библиотеку Transformers и PyTorch. В метаданных Hugging Face она классифицирована для задачи feature extraction; разработчик модели в доступных материалах не назван. Модель распространяется под лицензией MIT. README описывает заявленные возможности рассуждения, программирования, математики, классификации, суммаризации, диалогов, перевода и function calling, однако эти сведения не согласуются с метаданными, где указаны BERT и задача feature extraction. Поэтому для каталога надёжнее рассматривать модель как инструмент получения векторных представлений текста, пригодный для последующей классификации, поиска или кластеризации.

tesemnikov-av/NER-RUBERT-Per-Loc-Org — русскоязычная модель распознавания именованных сущностей, созданная дообучением cointegrated/rubert-tiny. Она размечает токены в тексте тремя классами: PER для персон, LOC для мест и ORG для организаций. Модель предназначена для извлечения таких сущностей из предложений и документов на русском языке. Модель построена на архитектуре BERT и содержит 12,1 млн параметров. Максимальная длина контекста — 512 токенов; формат весов — PyTorch. Для дообучения использовались предложения из Википедии, автоматически размеченные тегами PER, LOC и ORG на основе corus/WiNER. Лицензия — MIT.

Kushtrim Visoka разработал Kushtrim/norbert3-large-ner — модель распознавания именованных сущностей, дообученную на базе энкодерной NorBERT 3 Large от Language Technology Group. Модель обрабатывает норвежский текст и размечает сущности по токенам, включая персон, организации, географические места и другие категории. Модель предназначена для извлечения именованных сущностей из норвежских текстов, например для анализа документов и подготовки текстовых данных к поиску или последующей обработке. Для дообучения использованы WikiANN и norne. Репозиторий содержит веса в формате Safetensors; лицензия — CC BY 4.0. Для загрузки в README приведён пример использования через Transformers с trust_remote_code=True.

mlx-community/openai-privacy-filter-8bit — 8-битная модель для MLX, созданная сообществом mlx-community на основе openai/privacy-filter и подготовленная с помощью mlx-embeddings 0.1.1. Это двунаправленный разреженный MoE-классификатор токенов: он размечает BIOES-фрагменты с персональными данными в восьми категориях — имя человека, адрес электронной почты, телефон, URL, адрес, дата, номер счёта и секрет. Модель предназначена для локального обнаружения и последующего маскирования персональных данных в тексте. Репозиторий содержит 145,4 млн параметров и использует формат safetensors; указанное окно контекста — 131072 токена. Лицензия — Apache-2.0. README описывает конверсию в формат MLX, а метаданные классифицируют связь с базовой моделью как дообучение.

opencsg-starcoder2-3b-v0.1 — модель генерации кода от исследовательской команды OpenCSG, полученная полнопараметрической донастройкой StarCoder2. Она предназначена для генерации и дополнения программного кода; исходное семейство обучалось на данных более чем по 80 языкам программирования из The Stack. Модель имеет плотную архитектуру StarCoder2ForCausalLM, содержит 4,2 млрд параметров и поддерживает контекст до 16 384 токенов. В карточке приведён результат 42,68% pass@1 на HumanEval для Python при жадном декодировании; авторы отмечают, что результат зависит от метода декодирования и параметров. Данные бенчмарка ограничены задачами HumanEval и не устанавливают качество для всех языков и сценариев разработки. Указана лицензия BigCode OpenRAIL-M.

Карточка модели aria220/privacy-filter-nemotron на Hugging Face совпадает с карточкой OpenMed/privacy-filter-nemotron, поэтому описание составлено по ней. OpenMed разработала privacy-filter-nemotron — модель токенной классификации для выявления и типизации персональных данных в тексте. Это полное дообучение openai/privacy-filter на наборе nvidia/Nemotron-PII. Модель использует архитектуру MoE и разметку BIOES: 55 категорий PII представлены 221 классом токенов. В метаданных указаны 145,4 млн параметров и контекст до 131 072 токенов; веса опубликованы в формате safetensors для Transformers. Модель предназначена для извлечения фрагментов с персональными данными и передачи их в конвейеры маскирования или деидентификации. В тестировании на отложенной выборке из Nemotron-PII заявлены macro B-F1 0,9533 и точность токенов 0,9910; для декодирования границ авторы рекомендуют Viterbi. Лицензия — Apache-2.0. Обучающие данные преимущественно англоязычные, поэтому качество для других языков не гарантируется. Категории вроде профессии, языка, пола и политических взглядов менее надёжны, чем формально записываемые идентификаторы; синтетические данные также могут отличаться от реальных медицинских, юридических и веб-текстов. Для важных сценариев нужна проверка на данных целевого домена и дополнительный контроль результатов.

Agnuxo представляет локальную инструктивную модель для генерации кода на базе семейства Qwen2. Модель содержит 7 млрд параметров и опубликована в формате GGUF F32; карточка заявляет поддержку Python и навыки работы с научными вычислениями и машинным обучением. Метаданные указывают на диалоговый режим, а языковые теги — на английский и испанский языки. Модель предназначена для генерации и объяснения кода, в том числе для задач с NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. Также заявлены возможности координации агентных задач и интеграции MCP и A2A. Лицензия репозитория — Apache-2.0. Результаты выполнения кода и заявленные навыки в карточке не подтверждены оценками; перед использованием код следует проверять.

SpanMarker — модель для распознавания именованных сущностей в английском тексте, разработанная и обученная на датасете FewNERD. Она использует дообученный энкодер roberta-large и библиотеку SpanMarker для разметки сущностей. Модель предназначена для извлечения и классификации названий людей, организаций, произведений и других сущностей в предложениях и документах. Максимальная длина последовательности составляет 256 токенов, а максимальная длина распознаваемой сущности — 8 слов. Модель можно применять для извлечения сущностей из текста и дообучать на собственных данных. Она принимает текст и выдаёт метки сущностей для его фрагментов. Лицензия — CC BY-SA 4.0.

Модель tomaarsen/span-marker-roberta-large-ontonotes5 — модель распознавания именованных сущностей на основе архитектуры SpanMarker и энкодера roberta-large. Она обучена на наборе данных OntoNotes 5 и предназначена для выделения в тексте сущностей и присвоения им меток. Для запуска используется библиотека span_marker; веса доступны в форматах PyTorch и safetensors, лицензия — Apache-2.0. Модель подходит для извлечения имен людей, организаций, мест и других типов сущностей из текста. В карточке указан английский язык. Качество обработки может зависеть от токенизации: модель работает лучше, когда знаки препинания отделены от предшествующих слов.

Speech Truncation Detection (12M) — модель MythicInfinity для определения, заканчивается ли речевая запись резким обрывом или естественной паузой. Она предназначена для проверки качества наборов речевых данных, валидации аудио при загрузке и отбора записей перед распознаванием речи или исправлением транскриптов. Модель использует плотную архитектуру SpeechTruncationDetectionModel и обрабатывает аудио покадрово. Она выдаёт вероятность обрыва для каждого кадра, общую оценку уверенности и булево решение для записи. Число 12M в названии указывает на размер модели; веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Модель рассчитана на речевые записи и не предназначена для классификации музыки, окружающих звуков или общих акустических событий. Для загрузки через Transformers README показывает вариант с пользовательским кодом репозитория.

Starcoder-2-chat — дообученная по инструкциям модель для генерации кода, созданная на базе bigcode/starcoder2-7b с помощью LoRA. В качестве обучающих данных использован набор glaiveai/glaive-code-assistant-v2. Модель построена на архитектуре StarCoder2 и содержит 9,9 млрд параметров; она принимает текстовые запросы и выдаёт текст, включая код. Контекстное окно составляет 16 384 токена. Модель предназначена для общения с помощником по программированию: она может генерировать код по инструкциям и отвечать на вопросы о коде. В README приведены результаты оценок HumanEval, HumanEvalPlus и Instruct-HumanEval. Модель рассчитана прежде всего на английский язык. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

h1nadesu/xlm-roberta-base-finetuned-panx-all — модель XLM-RoBERTa, дообученная для классификации токенов. Она предназначена для разметки последовательностей, в частности для задач распознавания сущностей по токенам в разных языках. Модель содержит 305,2 млн параметров, принимает текст и имеет контекст до 514 токенов. В README приведён результат на оценочной выборке: F1 0,8683. Модель разработана на основе FacebookAI/xlm-roberta-base и распространяется в формате safetensors под лицензией MIT. Карточка не раскрывает состав обучающего набора и детальные ограничения; название указывает на дообучение на PAN-X для нескольких языков.

Это модель для распознавания именованных сущностей в русском тексте, разработанная Сергеем Бирюковым. Она основана на XLM-RoBERTa Large и дообучена на русской части датасета WikiANN для задачи классификации токенов. Модель содержит около 658,7 млн параметров, принимает текст и присваивает метки его токенам, выделяя сущности. Для неё указаны контекст до 514 токенов, библиотека Transformers и лицензия MIT. Карточка не приводит перечень типов сущностей или оценку качества, поэтому точность для конкретных данных по имеющимся сведениям оценить нельзя.

Agnuxo/Agente-Director-Qwen2-7Bron-Instruct_CODE_Python_English_GGUF_16bit — локальный чат-ассистент для генерации кода, опубликованный Франсиско Ангуло де ла Фуэнте под именем Agnuxo. По README, модель основана на Qwen2, имеет 7 млрд параметров и предназначена для запуска локально; в репозитории указаны веса GGUF в формате F16 и лицензия Apache-2.0. Модель помогает писать и обсуждать код на Python, JavaScript, TypeScript, Rust, Go и C++, а также работать с научными вычислениями и библиотеками NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. README также заявляет навыки координации агентов через MCP и A2A и декомпозиции задач. Модель принимает текстовые запросы и генерирует текстовые ответы; контекст и подтверждённый перечень языков естественного языка в доступных данных не описаны. Указанные автором возможности не подкреплены результатами независимой оценки качества.

Модель Surrey NLP — версия ALBERT large v2, дообученная для классификации токенов на наборе PLOD-unfiltered. Она предназначена для распознавания и разметки сущностей в англоязычном тексте; README сообщает о F1 0,9632, точности 0,9589, precision 0,9655 и recall 0,9608 на оценочной выборке. Модель использует архитектуру ALBERT и принимает текстовые последовательности длиной до 512 токенов. Доступна в форматах PyTorch и Safetensors, лицензия Apache-2.0. Подробности о типах меток и ограничениях в карточке не раскрыты.

dbmdz/bert-base-cased-finetuned-conll03-english — англоязычная модель распознавания именованных сущностей, разработанная в сообществе dbmdz на основе bert-base-cased и дообученная на CoNLL-2003. Она присваивает метки токенам текста, чтобы выделять сущности, например людей, организации и географические названия. Архитектура — BERT для классификации токенов; модель содержит около 135,5 млн параметров и принимает последовательности длиной до 512 токенов. Доступны веса в форматах PyTorch, TensorFlow и Flax. Модель ориентирована на английский язык и задачу NER; перенос на другие языки или существенно отличающиеся типы текста может требовать дополнительной адаптации.

marquesafonso опубликовал модель для распознавания именованных сущностей в тексте на португальском языке. Это Bertimbau Large на базе BERT с классификацией токенов; в карточке она описана как вариант BERT-CRF для сценария total с 10 классами сущностей: человек, организация, место, время, значение, абстракция, событие, предмет, произведение и прочее. Модель содержит 136,1 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и Safetensors. Модель предназначена для извлечения и разметки сущностей в португальских текстах, например для индексирования документов и структурирования упоминаний людей, организаций и мест. Для загрузки используются AutoTokenizer и AutoModelForTokenClassification из Transformers. Лицензия — MIT. Качество зависит от соответствия текста и домена данным обучения; README не приводит метрик оценки.

onnx-community/bert-small-pii-detection-ONNX — ONNX-версия модели gravitee-io/bert-small-pii-detection, разработанная сообществом onnx-community и автоматически конвертированная для использования с Transformers.js. Модель дообучена на базе prajjwal1/bert-small для задачи классификации токенов и обнаружения персональных и конфиденциальных данных в англоязычных текстах. Модель предназначена для выявления и последующего маскирования PII в журналах службы поддержки, тестовых и разработческих средах, API-трассировках, статьях, а также для подсказок в режиме реального времени при заполнении форм. Она распознаёт возраст, координаты, номера кредитных карт, даты и время, адреса электронной почты, финансовые данные, IBAN, IMEI, IP- и MAC-адреса, местоположения, организации, пароли, имена людей, телефоны, должности, URL и ряд американских идентификаторов. Ключевые преимущества — небольшой размер исходной BERT-модели, поддержка ONNX и удобное применение через Transformers.js, что подходит для сценариев с ограниченными ресурсами. По приведённой оценке micro F1 составляет 0,8460, macro F1 — 0,9178. Модель ориентирована преимущественно на английский язык, поэтому на других языках качество может снижаться; из-за возможного расхождения доменов необходима проверка на собственных данных. Распространяется по лицензии Apache-2.0.

bertspan4ner-base-chinese — модель на архитектуре BERT для распознавания именованных сущностей в китайском тексте, опубликованная shibing624. Она выполняет токенную классификацию с использованием подхода BertSpan и рассчитана на извлечение сущностей из китайских предложений; пример из карточки находит имя человека и дату. В метаданных указаны 129,5 млн параметров, контекст до 512 токенов и библиотека Transformers с весами PyTorch. На тестовой выборке PEOPLE для модели приведены точность 0,9610, полнота 0,9600 и F1 0,9605; карточка заявляет результат уровня SOTA на этом наборе. Указана лицензия Apache-2.0. Результаты приведены для конкретного набора данных и сами по себе не гарантируют такого же качества на других источниках или типах китайского текста.

gpancardo/beto-pii — дообученная модель BETO для обнаружения и классификации персональных данных в испанском тексте. Она использует архитектуру BERT-base для классификации токенов и BIO-разметку с 24 типами PII; в метаданных указано 137,1 млн параметров, а контекстное окно составляет 512 токенов. Модель предназначена для поиска фрагментов с именами, адресами, телефонами, электронной почтой, идентификаторами и финансовыми данными, например для их маскирования, анонимизации или удаления. Модель разработана как испаноязычный энкодер для исследовательского сравнения подходов к обнаружению PII. Её можно применять к отдельным документам или пакетам текстов и подключать через Transformers pipeline. Она обучена на испанской части синтетического набора ai4privacy/pii-masking-200k; адаптация BETO к испанскому может помогать распознавать особенности испанских имён и документов. Лицензия — MIT. Модель рассчитана на испанский язык, хуже подходит для текстов без контекста и не проверялась на устойчивость к намеренной обфускации и опечаткам. Синтетические обучающие данные могут отличаться от реальных текстов, поэтому качество на реальных данных может меняться; для длинных документов README рекомендует разбиение на фрагменты.

BROS-large-uncased — предварительно обученная модель семейства BROS, разработанная командой Naver Clova OCR. Она использует архитектуру BrosModel и сочетает текст с пространственной информацией о расположении слов на документе. На вход подаются результаты OCR в виде пар «текст и ограничивающая рамка»; модель предназначена для извлечения ключевой информации из документов, например упорядоченных позиций из чеков. Модель содержит около 433,9 млн параметров, принимает последовательности длиной до 512 токенов и доступна в формате PyTorch. Модель служит основой для задач понимания структуры документов и извлечения данных с учетом их расположения. README описывает предварительное обучение, а не конкретную тонкую настройку под отдельный документный сценарий; заявленная задача в метаданных — извлечение признаков. Сведения о лицензии в предоставленных источниках отсутствуют.

TechxGenus/CodeGemma-7b — модель генерации кода, созданная дообучением Gemma-7b на 0,7 млрд дополнительных высококачественных токенов, связанных с программированием, в течение трёх эпох. Модель использует плотную архитектуру GemmaForCausalLM, содержит 8,2 млрд параметров и рассчитана на контекст до 8192 токенов. Для запросов применяется формат инструкций Alpaca без системного сообщения. Модель предназначена для генерации и дополнения кода по текстовым инструкциям. В README указана оценка 67,7 pass@1 на HumanEval-Python. Она работает через библиотеку Transformers и хранится в формате safetensors. Карточка отмечает ограниченную проверку: ответы могут содержать ошибки и вводить в заблуждение, а качество на задачах вне программирования может быть слабым. Лицензия указана как other; конкретные условия использования следует сверить с лицензией базовой модели и карточкой репозитория.

yonigo/deberta-v3-base-pii-en — англоязычная модель для разметки токенов, созданная дообучением microsoft/deberta-v3-base на примерах из ai4privacy/pii-masking-300k. Она предназначена для обнаружения персональных данных в тексте, например имён, адресов и телефонных номеров, чтобы размечать их перед маскированием или другой последующей обработкой. Модель использует архитектуру DeBERTa V2 для классификации токенов, содержит 211,6 млн параметров и рассчитана на контекст до 512 токенов. Модель принимает текст и возвращает метки для его фрагментов; для объединения меток в сущности в примере README используется pipeline Transformers с aggregation_strategy="first". Обучение проведено на англоязычных примерах, поэтому применение к другим языкам не подтверждено. Лицензия — MIT.

DeepCode-7B-Aurora — объединённая модель генерации текста, созданная с помощью LazyMergekit на основе моделей DeepSeek-Math-7B-Instruct, DeepSeek-Math-7B-Base и DeepSeek-Coder-7B-Instruct-v1.5. Модель разработана для генерации кода и математических рассуждений в диалоговом формате. Это плотная авторегрессионная модель семейства Llama с 6,5 млрд параметров и контекстом 4096 токенов. Она принимает текст и генерирует текст. Репозиторий содержит веса в формате safetensors; лицензия — MIT.

Карточка модели LUTingYu/DeepSeek-R1-0528-Qwen3-8B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-0528-Qwen3-8B, поэтому описание составлено по ней. DeepSeek-R1-0528-Qwen3-8B — плотная языковая модель семейства Qwen3, разработанная DeepSeek. Это версия Qwen3 8B, дообученная на цепочках рассуждений DeepSeek-R1-0528; число параметров составляет 7,6 млрд. Модель предназначена для диалогов и генерации текста с акцентом на многошаговые рассуждения, математику, программирование и логические задачи. В метаданных указаны интерфейс для вызова инструментов и контекст до 131 072 токенов. По описанию разработчика, модель улучшает результаты Qwen3 8B на AIME 2024 и сопоставима с Qwen3-235B-thinking в этой оценке. README также отмечает пригодность для академических исследований рассуждающих моделей и разработки компактных моделей. Модель принимает и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Лицензия — MIT, допускающая широкое использование в соответствии с её условиями.

ai4data разработала DevData Search MiniLM L6 CGIST — биэнкодер для получения векторных представлений и поиска по структурированным статистическим метаданным. Модель дообучена на DevDataBench на основе sentence-transformers/all-MiniLM-L6-v2 с функцией потерь CGIST. Архитектура — плотный BERT-энкодер примерно на 25,9 млн параметров; максимальная длина последовательности — 512 токенов. При обучении использовались перестановка порядка полей и исключение части полей, чтобы модель связывала значения с названиями полей, а не с их позицией в записи. Она подходит для векторизации запросов и описаний наборов данных, семантического поиска и сравнения статистических метаданных. Это модель для построения retrieval-систем, а не готовый хостинг поиска. Лицензия — Apache-2.0.

es_core_news_md — испаноязычный NLP-конвейер, разработанный компанией Explosion на базе spaCy 3.7.0. Модель оптимизирована для работы на CPU и предназначена для обработки текстов на испанском языке: токенизации, морфологического анализа, определения частей речи и грамматических признаков, лемматизации, синтаксического анализа зависимостей, выделения границ предложений и распознавания именованных сущностей. Она подходит для информационного поиска, анализа документов, подготовки текстовых данных и других задач классического NLP. В состав входят компоненты tok2vec, morphologizer, parser, senter, attribute_ruler, lemmatizer и ner. Модель использует 300-мерные векторы: заявлено 500 000 ключей и 20 000 уникальных векторов. Обучение опирается на UD Spanish AnCora, WikiNER, данные spaCy lookups и fastText-векторы Explosion. В README не указаны ограничения по длине контекста и перечень дополнительных модальностей, поэтому модель следует рассматривать как предназначенную для текстовых данных на испанском языке. Среди заявленных результатов — F1 0,894 для NER, точность 0,985 для UPOS, 0,980 для морфологических признаков, 0,965 для лемматизации, UAS 0,913, LAS 0,880 и F1 0,988 для определения предложений. Ограничениями являются специализация на испанском языке, CPU-ориентированная архитектура и то, что показатели зависят от домена и качества входного текста. Модель распространяется по лицензии GNU GPL 3.0, что необходимо учитывать при использовании и интеграции.

jonatasgrosman/exp_w2v2t_ru_hubert_s818 — модель распознавания русской речи, дообученная автором jonatasgrosman с помощью HuggingSound на обучающей части Common Voice 7.0. Она основана на facebook/hubert-large-ll60k и использует архитектуру HuBERT с CTC-головой; размер составляет 402,7 млн параметров. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Подходит для автоматической транскрипции русскоязычных записей. Распространяется по лицензии Apache-2.0.

Crystalcareai/gemma-coder — дообученная плотная языковая модель семейства Gemma для генерации текста и помощи с программированием, в частности с Python. Согласно карточке, обучение проводилось в течение трёх эпох на датасете Vezora/Tested-143k-Python-Alpaca. Модель содержит 8,2 млрд параметров, использует архитектуру GemmaForCausalLM и принимает контекст до 8192 токенов. Модель предназначена для генерации и объяснения Python-кода и ответов на инструкции по программированию. В README указано, что она сохраняет компактную архитектуру Gemma и рассчитана на применение при ограниченных вычислительных ресурсах. Доступна в формате safetensors. Лицензия в предоставленных данных не указана.