II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейjoeddav/distilbert-base-uncased-agnews-student — компактная DistilBERT-модель для классификации новостных текстов по категориям AG's News. Её автор — joeddav; модель получена дистилляцией предсказаний zero-shot классификатора на неразмеченном наборе AG's News. В качестве учителя использовалась roberta-large-mnli с шаблоном гипотезы «This text is about {}.». Модель предназначена для быстрого отнесения новостей к категориям набора AG's News и демонстрации переноса знаний от ресурсоёмкого NLI-классификатора к более компактной модели. Архитектура — DistilBertForSequenceClassification; модель принимает текст и выдаёт метку класса. Поддерживается английский язык, длина контекста составляет 512 токенов. Доступны веса PyTorch и TensorFlow. По описанию автора, качество может быть ниже, чем у модели, обученной на полностью размеченных данных AG's News. Лицензия — MIT.
Это модель классификации текста на основе DistilBERT, дообученная автором jasonyim2 на наборе данных emotion. Она предназначена для определения эмоциональной категории текста. В README для оценки на тестовой выборке указаны accuracy и F1 по 0,9215 и loss 0,2227. Модель принимает текст и выдаёт метки классов. Она построена на архитектуре DistilBertForSequenceClassification, работает с контекстом до 512 токенов и распространяется в формате PyTorch. Лицензия — Apache-2.0. Карточка не сообщает список эмоциональных классов и подробности обучающих данных, поэтому результаты на других языках и типах текста не подтверждены.
leomaurodesenv выпустил дообученную модель DistilBERT для классификации текста. Она основана на distilbert/distilbert-base-uncased и использует архитектуру DistilBertForSequenceClassification. Модель предназначена для классификации последовательностей; конкретные классы и область применения в карточке не описаны. Модель работает с текстом и имеет контекстное окно до 512 токенов. На указанном в README наборе для оценки достигла accuracy 0,8432 и loss 0,3496; данные и методика оценки не раскрыты. Модель распространяется в формате safetensors по лицензии Apache-2.0.
fractalego/fewrel-zero-shot — модель для извлечения отношений между сущностями с нуля, основанная на статье «Exploring the zero-shot limit of FewRel». В этой версии используется BERT Large, дообученный на SQuAD; в метаданных указаны архитектура BertForQuestionAnswering, 433,9 млн параметров и контекст до 512 токенов. Модель предназначена для классификации отношений между сущностями в тексте без примеров целевых классов. README приводит результаты для сценариев с 5 и 10 вариантами отношений, но не описывает языки, лицензию или ограничения по применению. Репозиторий содержит веса PyTorch.
teomotun/finetuning-sentiment-model-for-c2er — модель классификации текста на основе DistilBERT, дообученная на базе distilbert-base-uncased. Она предназначена для анализа тональности текста. В README указаны результаты на оценочной выборке: accuracy 0,9523 и F1 0,9511; также приведено значение loss 0,1404. Модель принимает текст и выдаёт метку класса. Контекст составляет до 512 токенов. Датасет, схема меток и подробности предполагаемого применения не описаны, поэтому приведённые метрики нельзя уверенно переносить на другие данные. Модель распространяется по лицензии Apache-2.0.
Wiebke дообучила DistilBERT на основе distilbert/distilbert-base-german-cased для классификации текста. Модель предназначена для отнесения немецкоязычных текстов к классам; конкретные классы и область применения в карточке не раскрыты. Архитектура — DistilBertForSequenceClassification, формат весов — safetensors, библиотека — Transformers. Контекст составляет 512 токенов. В README указаны Accuracy 0,9298 и F1 0,9296 на оценочном наборе, однако его состав и данные обучения не описаны. Модель распространяется по лицензии Apache-2.0.
Mitchins разработал классификатор изображений на базе EfficientNet-B0 из timm, дообученный для отнесения изображений к одному из трёх классов: anime, real и rendered. Модель принимает RGB-изображения размером 224×224 пикселя и содержит 5,3 млн параметров. Классификатор предназначен для быстрой проверки, является ли изображение фотографией, аниме-кадром или 3D-рендером. В README указана точность 97,44% на валидационной выборке; скорость инференса около 20 мс на RTX 3060. Модель опубликована в формате safetensors и распространяется по лицензии OpenRAIL. Ошибки возможны на пограничных примерах: фотореалистичные игровые сцены могут распознаваться как фотографии, стилизованные игры — как аниме, а изображения в стиле Pixar могут давать смешанную уверенность. Для важных решений README рекомендует учитывать порог уверенности выше 85% и анализировать матрицу ошибок.
IndoBERT-Lite Base Model (phase1, uncased) — предварительно обученная языковая модель для индонезийского языка, разработанная командой IndoBenchmark. Она основана на архитектуре ALBERT и обучена на корпусе Indo4B с задачами masked language modeling и next sentence prediction. Модель предназначена для извлечения контекстных представлений текста, которые можно использовать в прикладных системах обработки индонезийского языка. Модель содержит 136,3 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Доступны веса PyTorch и TensorFlow. Лицензия — MIT. Карточка описывает предварительное обучение; качество на конкретных прикладных задачах зависит от последующего использования или дообучения.
IndoBERT-Lite Base phase 2 uncased — предварительно обученная языковая модель для индонезийского языка, разработанная командой IndoBenchmark. Она основана на архитектуре ALBERT и обучена на корпусе Indo4B с задачами masked language modeling и next sentence prediction. Модель содержит 136,3 млн параметров и поддерживает контекст до 512 токенов. Модель предназначена для извлечения контекстных векторных представлений текста, которые можно использовать как основу для задач обработки индонезийского языка и последующего дообучения. Доступны веса PyTorch и TensorFlow; в карточке показано использование через Transformers. Лицензия — MIT. Модель рассчитана на индонезийский текст; качество на других языках и в специализированных областях карточкой не подтверждено.
yhchoi/klue-emotional-finetuned-emotion — модель классификации текста, дообученная на базе klue/roberta-small. Она предназначена для определения эмоциональных классов в тексте. Модель построена на архитектуре RoBERTa и содержит 81,2 млн параметров; максимальная длина контекста составляет 514 токенов. Доступны веса PyTorch. Карточка не раскрывает набор эмоциональных классов, обучающие данные, качество на тестах и конкретные сценарии применения. Условия лицензии в предоставленных данных не указаны.
KuBERT-Central-Kurdish-BERT-Model — модель на архитектуре BERT, разработанная AsoSoft для обработки центральнокурдского языка. Она предназначена для классификации текста без заранее заданного набора классов: пользователь задаёт варианты меток, а модель оценивает их соответствие тексту. Чекпойнт содержит около 95 млн параметров и поддерживает контекст до 512 токенов. Модель обучена на корпусе примерно из 296,5 млн токенов, собранном из материалов AsoSoft, текстов Арама Рафика и Мухаммада Азизи, а также корпуса OSCAR 2019. В README также указаны специализированный токенизатор для курдского языка и использование BERT. Это языковая модель общего назначения для центральнокурдских текстов; карточка не сообщает лицензию и не приводит оценок качества, поэтому их нельзя установить по доступным сведениям.
KwaiCoder-23B-A4B-v1 — открытая модель автодополнения кода, разработанная командой Kwaipilot компании Kuaishou. Она предназначена для продолжения фрагментов кода и вставки кода в заданный контекст. Модель использует архитектуру MoE семейства Mixtral; в метаданных указано 1,8 млрд параметров и контекст до 4096 токенов. README описывает обучение с применением обрезки модели, дистилляции знаний и тонкого слияния, но базовая модель не указана. Метаданные отмечают поддержку многоязычности, однако конкретные языки программирования и естественные языки не перечислены. Модель распространяется по лицензии MIT. Заявление README о высоких результатах на нескольких наборах оценки не сопровождается названиями бенчмарков или численными результатами; качество для конкретных языков и сценариев по имеющимся данным оценить нельзя.
LibreSAM2small — распространённая LibreYOLO копия SAM 2.1 Hiera Small, исходно разработанной FAIR и опубликованной в репозитории facebook. Модель предназначена для сегментации изображений по подсказкам: например, пользователь может задать точку и получить маску соответствующего объекта. Она также относится к семейству SAM2 для видео, однако README описывает пример только для изображения. Веса не изменены: репозиторий зеркалирует совместимые с Transformers файлы базовой модели и добавляет упаковку для LibreYOLO. Доступны файлы Safetensors; лицензия — Apache-2.0. Размер модели и длина контекста не указаны в предоставленных данных.
MeridianPII te-v1 — это компактная модель распознавания персональных данных в тексте на телугу, разработанная Plingampally. Модель дообучена на Microsoft Multilingual-MiniLM-L12-H384 и выполняет токенную классификацию с 35 BIO-метками для имён, адресов и других сущностей. Репозиторий содержит веса Safetensors и квантованную INT8-версию ONNX; заявленный размер ONNX — 54 МБ. Модель рассчитана на запуск на устройстве, в том числе в браузере через transformers.js, и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для выявления PII в тексте на телугу, включая письмо телугу, латинскую транслитерацию и переключение между телугу и индийским английским. Она может находить имена и адресные сведения, а некоторые структурированные идентификаторы и контактные данные предполагается предварительно обрабатывать отдельным детерминированным слоем на основе регулярных выражений и проверок контрольных сумм. В описанном тесте на синтетическом наборе из 1500 примеров заявлены полнота 97,8% для письма телугу и 98,7% в целом; эти результаты не гарантируют такое же качество на реальных данных. Лицензия модели — Creative Commons Attribution 4.0 (CC-BY-4.0). Модель предназначена для телугу и не подходит как универсальный детектор PII для других языков; географические сущности за пределами Индии находятся вне области применения, а структурированные идентификаторы требуют отдельного детерминированного слоя. Набор меток включает CITY, STATE и ZIP_CODE, которые в рекомендованной конфигурации сохраняются, а не редактируются.
MobileLLM-R1-360M — компактная языковая модель Meta из семейства MobileLLM-R1, дообученная для решения математических, программных и научных задач. Это SFT-модель примерно на 359 млн параметров с текстовым вводом и выводом, предназначенная для генерации ответов и рассуждений; она не рассчитана на роль универсального чат-бота. В архитектуре 15 слоёв, 16 attention heads и 4 KV heads. Контекст базовой версии — 4 тыс. токенов; модельный словарь содержит 128 тыс. токенов. Карточка указывает английский язык. Модель подходит для компактных сценариев решения задач по математике, написания и анализа кода на Python и C++, а также ответов на научные вопросы. Она заметно меньше крупных языковых моделей, но качество следует оценивать отдельно для конкретных задач и условий использования. Лицензия указана как other, поэтому перед использованием нужно проверить условия в репозитории модели.
MyAwesomeModel-TestRepo — репозиторий с моделью на основе BERT, опубликованный пользователем Hongxuan111. По метаданным Hugging Face, модель использует Transformers и PyTorch и предназначена для извлечения признаков из входного текста; лицензия — MIT. Извлечённые признаки можно использовать как векторные представления текста в последующих задачах машинного обучения. В доступных метаданных не указаны размер модели, языки и длина контекста. Поиск обнаружил лишь вторичное описание репозитория как тестового и не подтвердил его назначение независимой карточкой разработчика.
Parable-SmolLM3-3B-Claude-Fable-5 — модель серии Parable, разработанная AnkitAI и дообученная на трассах работы агентных моделей. Это плотная авторегрессионная языковая модель SmolLM3 на 3,1 млрд параметров для генерации текста и диалогов; она рассчитана на локальное использование как помощник по программированию, который формирует рассуждение перед ответом. Контекст модели — 65 536 токенов. Модель дообучена методом QLoRA на 4-битной базовой модели, а в этом репозитории размещено объединение весов в формате F16 safetensors. Обучение на 4 076 примерах из трасс Claude Fable 5 и терминальных диалогов улучшило loss на отложенном наборе трасс относительно базовой SmolLM3-3B; README не заявляет об улучшении общих бенчмарков. Модель предназначена для генерации ответов в стиле агентных рассуждений и помощи с кодом, но не обучалась навигации по многофайловым репозиториям, работе с изображениями или другим языкам, кроме английского. Она унаследовала ограничения знаний базовой модели; сгенерированные команды следует проверять. Лицензия весов — Apache-2.0, однако README предупреждает, что условия лицензий использованных наборов трасс могут иметь значение для коммерческого использования.
presentation_emotion_31415 — модель классификации текста на базе DistilBERT, дообученная разработчиком aXhyra на наборе tweet_eval. Она предназначена для отнесения коротких текстов, в частности сообщений из Twitter, к категориям классификации. В README приведён результат F1 0,7149 на оценочной выборке; модель использует архитектуру DistilBertForSequenceClassification, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель доступна по лицензии Apache-2.0. Карточка не раскрывает точный набор меток и подробности обучения, поэтому качество для других данных и конкретных прикладных сценариев оценить нельзя.
Модель veronica320/QA-for-Event-Extraction — компонент системы извлечения событий, представленной в статье ACL 2021 «Zero-shot Event Extraction via Transfer Learning: Challenges and Insights». Это модель вопросно-ответного типа на архитектуре RoBERTa-large с 454,1 млн параметров, дообученная на QAMR. Она принимает вопрос и текстовый контекст и извлекает из контекста ответ, например участника события, о котором спрашивает пользователь. Модель предназначена для использования отдельно через Transformers AutoModelForQuestionAnswering или как часть системы извлечения событий из статьи. Контекст составляет до 514 токенов. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
Qwen2-1.5B-Instruct-Exp — дообученная Alibaba PAI версия Qwen2-1.5B-Instruct для расширения инструкций: по запросу она формулирует новые запросы того же типа, но с другим содержанием. Для обучения использованы выборки из OpenHermes и LCCD; обучающие примеры размечались с помощью Qwen-max и авторских примеров. Модель предназначена, в частности, для генерации синтетических вариантов заданий и расширения наборов данных. Это плотная авторегрессионная языковая модель Qwen2 с 1,5 млрд параметров, рассчитанная на диалоговый формат и работающая через Transformers. Метаданные указывают контекст до 131 072 токенов и формат safetensors. В README приведены результаты оценки влияния аугментации на наборы Elementary Math и Implicature, но они не устанавливают качество на других задачах. Лицензия в предоставленных данных не указана.
mp-juuuns/qwen35-standalone4l-classification-base — компактная текстовая основа для создания пользовательских классификаторов, опубликованная mp-juuuns на базе Qwen3.5-0.8B. Это плотная четырёхслойная модель Qwen3.5TextModel с чередованием линейного и полно-внимательного слоёв; она принимает текст и выдаёт представления, но не содержит классификационной головы и готовых меток. Для классификации нужно добавить голову и дообучить модель на размеченных данных. Веса получены дистилляцией и сокращением глубины исходной модели, а затем выполнено сопоставление токенизатора с уменьшенным словарём на 128 000 токенов. Модель рассчитана на многоязычный ввод, однако качество классификации на других языках, кроме английского, не проверено. Контекстное окно составляет 262 144 токена. В README приведены результаты на одной задаче и одном наборе условий; они исследовательские и не подтверждают качество в других сценариях. Лицензия — Apache-2.0.
Это модель извлечения признаков изображений на основе зрительной части Qwen3.5-0.8B, преобразованной в формат timm. Она предназначена для получения пространственных признаков и векторных представлений изображений, а также для подготовки основы под классификатор, который нужно дообучить на целевых данных. Модель сохраняет пространственный merger и проекцию до ширины 1024, затем применяет усредняющий пулинг и LayerNorm без аффинных параметров. Зрительная основа имеет ширину 768; используются MLP с GELU-tanh, обучаемые абсолютные позиционные эмбеддинги и осевой 2D RoPE. Заявленный размер изображения — 768 × 768. Поддерживаются прямоугольные изображения; размеры сторон должны делиться на 16, а для вариантов с merger 2×2 — на 32. Для изображений временные веса Conv3d сводятся к Conv2d. Чекпойнт содержит около 100 млн параметров и веса зрительной части, но не содержит языковую модель и обученную классификационную голову. Для классификации новую линейную голову необходимо обучить на целевом наборе данных. Веса опубликованы в формате safetensors; лицензия — Apache 2.0.
Модель robertou2/roberta-base-bne-finetuned-amazon_reviews_multi — испаноязычная RoBERTa, дообученная на наборе amazon_reviews_multi для классификации текстов отзывов. Она содержит 151,8 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в формате PyTorch. В README модель названа учебной пробой курса NLP; на оценочной выборке указаны accuracy 0,9325 и loss 0,2368. Модель подходит для автоматической классификации отзывов Amazon и экспериментов с анализом пользовательских мнений. Карточка не уточняет набор меток, разбиение данных и ограничения применения, поэтому конкретную интерпретацию классов следует проверить перед использованием. Лицензия — Apache-2.0.
Это модель классификации эмоций в тексте, созданная дообучением RoBERTa-base автором bhadresh-savani на наборе данных emotion с помощью Hugging Face Trainer. Она принимает текст и предсказывает эмоциональную категорию; карточка приводит сравнение качества на наборе твитов с упоминанием эмоциональной разметки. Модель содержит 151,8 млн параметров, имеет контекст до 514 токенов и поддерживает английский язык. Модель подходит для анализа эмоциональной окраски коротких сообщений, например публикаций и комментариев в социальных сетях. В README указаны точность 93,95% и F1 93,97% на использованном наборе для оценки. Эти показатели относятся к описанному эксперименту и не гарантируют такое же качество на других данных. Лицензия — Apache-2.0.
Bhumika/roberta-base-finetuned-sst2 — модель классификации текста на базе RoBERTa, обученная на наборе данных GLUE. По названию репозитория она предназначена для определения тональности по задаче SST-2 и выдаёт метку класса для входного текста. Архитектура — RobertaForSequenceClassification, размер — 151,8 млн параметров; контекст составляет до 514 токенов. Модель распространяется в формате PyTorch. В карточке приведён результат оценки на тестовом наборе: accuracy 0,945 и loss 0,300. Разработчик не описал дополнительные сценарии применения и ограничения. Лицензия в предоставленных данных не указана.
akahana/roberta-base-indonesia — модель RoBERTa для индонезийского языка с 151,8 млн параметров, представленная в форматах PyTorch, Safetensors и TensorFlow. Она предназначена для извлечения признаков из текста и может использоваться как маскированная языковая модель для подстановки пропущенных слов; README показывает пример с индонезийским предложением. Модель подходит для получения текстовых представлений и как основа для задач обработки индонезийского текста. Контекст составляет до 514 токенов. Распространяется по лицензии MIT.
nie3e/sentiment-polish-gpt2-small — модель классификации тональности польского текста, обученная разработчиком nie3e на базе польской версии GPT-2 small с использованием датасета polemo2-official. Она относит текст к одной из четырёх категорий: нейтральная, негативная, позитивная или неоднозначная тональность. Модель построена на архитектуре GPT-2 для классификации последовательностей и принимает текст, выдавая метку класса. Контекст модели составляет 2048 токенов. В README приведены результаты оценки на тестовом наборе: accuracy 0,9627 и loss 0,4659. Модель предназначена для анализа польских текстов; её качество на других языках и доменах не подтверждено. Модель распространяется под лицензией MIT. Для использования предусмотрен Transformers AutoModel.
Silero VAD v6.2.1 MLX — порт модели Silero VAD проекта snakers4 в формат MLX для запуска на устройствах Apple Silicon. Модель содержит 309 121 параметр, использует веса Float32 без квантизации и распространяется в формате MLX safetensors. Лицензия — MIT. Модель предназначена для обнаружения речевой активности в аудио и выделения речевых сегментов, в том числе при потоковой обработке. В README приведены замеры на Apple Silicon для аудио 16 кГц: задержка составляет около 0,5 мс на фрагмент; также заявлено совпадение преобразованных весов с исходным состоянием Silero VAD v6.2.1. Это конвертированный порт, ориентированный на MLX и Apple Silicon; приведённые показатели относятся к указанной тестовой конфигурации.
Meena/table-question-answering-tapas — дообученная модель TAPAS на основе BERT, разработанная для ответов на вопросы по табличным данным. Она извлекает ответы из таблицы и связанного с ней текста; TAPAS кодирует структуру таблицы с помощью относительных позиционных эмбеддингов и семи типов токенов. Модель содержит 136,7 млн параметров, принимает текстовые таблицы и вопросы, а её контекст составляет 1024 токена. В карточке указана настройка на датасете SQA; описание семейства также упоминает WTQ и WikiSQL. Модель рассчитана на англоязычные таблицы. Возможные сценарии — извлечение значений из таблиц и ответы на вопросы по их содержимому. Лицензия Apache-2.0. Известное ограничение: модель плохо справляется с большими входными файлами.
megagonlabs/transformers-ud-japanese-electra-base-ginza-510 — японская модель на архитектуре ELECTRA, разработанная Megagon Labs для использования в NLP-конвейере spaCy v3 и GiNZA. Она предварительно обучена примерно на 200 млн японских предложений из mC4, а затем дообучена на UD_Japanese_BCCWJ r2.8. Базовая модель — megagonlabs/transformers-ud-japanese-electra-base-discrimininator. Модель предназначена для извлечения контекстных признаков из японского текста и применения в задачах японского языкового анализа через экосистему GiNZA; дополнительные компоненты GiNZA распознают структуры bunsetu-фраз. Чекпойнт содержит 136,4 млн параметров, поддерживает контекст до 512 токенов и распространяется в формате PyTorch. Лицензия — MIT.