II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейtangminhanh/ts_subcate — дообученная модель классификации последовательностей на основе tangminhanh/ts_cate, разработанная автором репозитория tangminhanh. Она использует архитектуру DeBERTa v2 с примерно 155 млн параметров и контекстом до 512 токенов. Модель предназначена для классификации текста по подкатегориям; конкретная схема меток и область применения в карточке не описаны. На указанном наборе оценки модель показала accuracy 0,7013, F1 0,7812, precision 0,8815 и recall 0,7014. Данные о языках и обучающем наборе не приведены. Модель распространяется под лицензией MIT.
Это модель Cardiff NLP на архитектуре RoBERTa-large, дообученная на наборе X-Sensitive для многометочной классификации чувствительного содержимого в сообщениях. Базовая RoBERTa обучалась на 154 млн твитов до конца декабря 2022 года; модель различает конфликтный контент, ненормативную лексику, сексуальные темы, наркотики, самоповреждение, спам и сообщения без чувствительного содержимого. Модель предназначена для разметки англоязычных текстов, в том числе публикаций в социальных сетях, по категориям чувствительности. Она содержит около 454,1 млн параметров, принимает текст и выдаёт метки классификации; максимальный нативный контекст составляет 514 токенов. Распространяется в формате Safetensors по лицензии MIT.
TY-ecomm-siglip2-turkish-v1 — мультимодальная модель Trendyol для получения эмбеддингов изображений товаров и их названий. Она дообучена на базе Google SigLIP 2 Large (ViT-L/16, входное разрешение 384×384) примерно на 4,1 млн пар «первое изображение товара — название». Модель создаёт совместимые 1024-мерные векторы текста и изображения; это эмбеддер, а не готовый классификатор или генеративная VLM. Модель предназначена для понимания и модерации товарных каталогов: эмбеддинги можно использовать для поиска по изображениям и тексту, поиска похожих товаров, ранжирования и рекомендаций, а также как признаки для обучаемых классификаторов категорий и запрещённых или откровенных товаров. Основной язык названий — турецкий; в данных также встречаются английские и смешанные названия. Репозиторий распространяется по лицензии CC BY 4.0. Модель лучше подходит для турецких каталогов и товарных фотографий. Длинные запросы могут обрезаться до 64 токенов, а растягивание изображений до 384×384 может искажать фото с необычными пропорциями. Эмбеддинги сами по себе не выдают метки и не заменяют отдельный классификатор или проверку человеком при принятии решений по безопасности.
Модель vitouphy/wav2vec2-xls-r-300m-japanese — дообученная на Common Voice 8.0 японская система автоматического распознавания речи, созданная на основе facebook/wav2vec2-xls-r-300m. Она преобразует аудио в японский текст, выводя его в хирагане. Для подготовки текста и токенизации автор преобразовал кандзи и катакану в хирагану с помощью pykakasi и использовал fugashi. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. В README приведены результаты оценки на Common Voice и speech-recognition-community-v2, включая CER и WER; применение языковой модели улучшает указанные метрики. Модель подходит для транскрибирования японской речи, когда требуется запись хираганой. Лицензия — Apache-2.0.
LegionIntel разработала эту модель генерации кода на основе семейства CodeGen: модель дообучена на Python-коде из поднабора открытых репозиториев GitHub в BigQuery. Она содержит 350 млн обучаемых параметров; веса разрежены на 30%, хотя представление класса сети остаётся плотным. Модель предназначена для автодополнения частично написанных сигнатур функций и классов, а также для генерации кода по текстовому запросу или комментарию. Модель принимает текстовые фрагменты кода и подсказки на естественном языке и продолжает текст в виде программного кода. Для запуска указан формат PyTorch, контекст составляет 2048 токенов, лицензия — BSD 3-Clause. Карточка отмечает хорошее автодополнение сигнатур и приемлемую генерацию по текстовым запросам; независимые показатели качества не приведены.
Ziya Coding 34B v1.0 — это языковая модель для генерации и дополнения программного кода, разработанная Fengshenbang-LM (IDEA-CCNL). Представленная версия распространяется в формате GGUF и квантована TheBloke для запуска через llama.cpp и совместимые интерфейсы и библиотеки, включая text-generation-webui, LM Studio и llama-cpp-python. Модель основана на архитектуре Llama и имеет 34 млрд параметров. Она предназначена прежде всего для завершения функций по их docstring и других задач генерации кода. В заявленных языках указаны китайский и английский. Модель относится к текстовым, поэтому сведений о поддержке изображений, аудио или других модальностей нет. Размер контекста в README не указан. Основное преимущество версии GGUF — наличие вариантов квантования от 2 до 8 бит, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса на CPU и GPU. Ограничения включают возможную потерю качества при сильном квантовании, а также отсутствие в README подробных результатов тестирования и информации о фактической эффективности на разных языках программирования. Для использования указаны лицензия GPL-3.0 исходной модели и дополнительные условия Meta Llama 2; из-за заявленного двойного лицензирования следует отдельно проверить совместимость условий для конкретного сценария.
AceReason-Nemotron-14B — языковая модель NVIDIA для решения задач по математике и программированию. Модель построена на плотной архитектуре Qwen2 и содержит 14 млрд параметров; она принимает текст и генерирует текст. Контекстное окно составляет 131 072 токена. Модель обучена с помощью обучения с подкреплением на базе DeepSeek-R1-Distilled-Qwen-14B. Она предназначена для пошагового математического рассуждения, решения олимпиадных задач и генерации кода. В README сообщаются результаты на AIME 2024/2025 и LiveCodeBench; также доступны обучающие материалы и инструменты оценки. Для использования опубликованы веса в формате safetensors. Лицензия указана как other, поэтому условия использования следует уточнить в карточке модели NVIDIA. README рекомендует передавать инструкции в пользовательском запросе и задавать модели просьбу рассуждать пошагово; результаты могут зависеть от промпта и параметров генерации.
THemidli разработал Applied NER Stage 3 — компактную модель распознавания именованных сущностей на английском языке. Это двухслойная uncased BERT-модель с архитектурой BertForTokenClassification, дообученная на основе google/bert_uncased_L-2_H-128_A-2. Она содержит около 4,4 млн параметров, принимает текст и поддерживает контекст до 512 токенов; репозиторий использует формат safetensors и библиотеку Transformers. Модель размечает токены в восемь категорий с BIO-кодированием: PERSON, ORGANIZATION, LOCATION, TIMEDATE, PRODUCT, WORKOFART, JOB и AMOUNT. Её можно применять для извлечения людей, организаций, мест, дат и времени, продуктов, произведений, должностей и денежных сумм из английских текстов, в том числе как лёгкую базовую модель для экспериментов и обработки коротких фрагментов. На тестовой выборке точность по точным границам сущностей составила F1 0,4685, а на 40 вручную размеченных диагностических примерах — 0,4785. Модель обучена на небольшом разнородном наборе данных; слабее распознаёт редкие произведения и продукты, различает компании и продукты по контексту, а также ошибается в точных границах и именах с большим числом субслов. Автор характеризует её как компактную базовую модель, а не готовую систему для защиты персональных данных. Лицензия — Apache-2.0.
LocalDoc разработала компактную модель распознавания отдельных строк азербайджанского текста на основе CRNN с CTC-декодированием. Она принимает изображение уже обрезанной строки и выдаёт текст латиницей или кириллицей; для распознавания целых страниц её можно сочетать с детектором строк. Модель содержит 8,5 млн параметров, занимает около 34 МБ и работает на CPU. В README приведены результаты на наборе LocalDoc/azerbaijani-ocr-benchmark: CER 0,0242 и WER 0,0565. Модель подходит для распознавания строк в сканах книг и документов на азербайджанском языке, в том числе при пакетной обработке страниц через отдельный детектор. Она использует жадное CTC-декодирование без языковой модели; заявлена лицензия CC BY 4.0. Карточка рекомендует учитывать качество исходных сканов и особенности обучающих меток при оценке результатов.
bhadresh-savani/bert-base-go-emotion — модель классификации текста на основе DistilBERT, дообученная для распознавания эмоций по набору GoEmotions. Она предназначена для присвоения тексту эмоциональных меток и подходит для анализа эмоциональной окраски коротких фрагментов текста. Модель содержит 136,7 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате PyTorch. В README указано обучение на 169 208 примерах в течение трёх эпох. Карточка связывает модель с английским языком и датасетом GoEmotions. Лицензия — Apache-2.0. Оценочные результаты и перечень распознаваемых меток в предоставленном README не приведены.
emrecan/bert-base-turkish-cased-allnli_tr — дообученная модель BERT для турецкого языка, созданная на основе dbmdz/bert-base-turkish-cased. Она предназначена для классификации текста с нулевым обучением и задач на основе NLI, например отнесения текста к пользовательским категориям по заданным меткам. Модель содержит 137,8 млн параметров, использует регрессионно-классификационную архитектуру BertForSequenceClassification и принимает текстовые последовательности длиной до 512 токенов. В карточке приведены результаты оценки: loss 0,5771 и accuracy 0,7978; описание набора данных и ограничения в README не раскрыты. Модель опубликована в формате PyTorch под лицензией MIT.
boltuix/bert-medium — англоязычная модель BoltUIX на архитектуре BERT, дообученная на основе google/bert-base-uncased. Модель содержит 49,2 млн параметров, использует маскированное языковое моделирование и имеет контекстное окно 512 токенов. По карточке, при предобучении использовались BookCorpus и английская Википедия; модель доступна в формате safetensors и распространяется по лицензии MIT. Основная задача модели — восстановление замаскированных слов в тексте. Её также предлагают дообучать для классификации последовательностей и токенов, ответов на вопросы и распознавания текстовых следствий. BERT кодирует текст и не предназначен для генерации связного текста; карточка отмечает ограничения для неанглийских задач и возможные смещения, унаследованные от обучающих данных.
dustyatx/bge-base-financial-matryoshka — англоязычная модель Sentence Transformer, дообученная разработчиком на базе BAAI/bge-base-en-v1.5 на финансовых текстовых парах. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения предложений и извлечения релевантных фрагментов. Архитектура включает BERT, пулинг CLS-токена и нормализацию; сходство векторов оценивается косинусной мерой. Контекст ограничен 512 токенами. Matryoshka-обучение позволяет использовать укороченные представления размерностью 512, 256, 128 или 64 с некоторым снижением качества поиска. Модель подходит для поиска по финансовым документам, подбора текстов по смыслу, кластеризации и классификации текстов на основе эмбеддингов. В README приведены оценки информационного поиска на наборах данных для нескольких размерностей векторов; состав и происхождение оценочных наборов описаны ограниченно, поэтому результаты не гарантируют качество на других данных. Модель принимает текст и выдаёт векторы, не генерируя ответы. Лицензия — Apache-2.0.
Bolt CLS PII — англоязычный бинарный классификатор текста от AI Squared для выявления вероятного наличия персональных данных в тексте запросов. Модель предназначена для предварительной фильтрации в конвейере безопасности: она присваивает тексту оценку, по которой можно направить подозрительный запрос на дополнительную проверку. Также её можно применять отдельно, когда достаточно бинарного флага о возможном наличии PII. Модель построена на ModernBERT-base с архитектурой ModernBertForSequenceClassification: базовые веса заморожены, обучалась только классификационная голова. Максимальная длина входа — 8192 токена. Обучение использовало взвешенную focal loss с повышенным весом положительного класса, чтобы увеличить полноту обнаружения. В README рекомендован порог 0,5238 для самостоятельной классификации и более низкий порог 0,10 для предварительного фильтра, за которым следует проверяющая модель. Модель определяет наличие PII на уровне всего текста, но не находит конкретные фрагменты и не выполняет извлечение или редактирование персональных данных. Качество на типах данных и в предметных областях, отсутствовавших в оценочном наборе, не гарантируется; порог следует проверить для нового сценария. В карточке Hugging Face указана лицензия other; конкретные условия лицензии в доступных данных не раскрыты.
ChatTime-1-7B-Base — мультимодальная базовая модель для временных рядов и текста, разработанная Chengsen Wang и соавторами. Она рассматривает временные ряды как отдельный язык и построена непрерывным предварительным обучением LLaMA-2-7B-Base на наборе ChatTime-1-Pretrain-1M. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 4096 токенов. Модель предназначена для прогнозирования временных рядов без дообучения, прогнозирования с контекстными подсказками и ответов на вопросы о временных рядах. Она поддерживает двунаправленный обмен данными между временными рядами и текстом: принимает и выдаёт оба типа данных. В README заявлены эксперименты на нескольких задачах и сценариях, но конкретные показатели качества здесь не приведены. Лицензия — Apache-2.0.
Это экспериментальный чекпойнт языковой модели Qwen3-4B-Instruct-2507, дообученный методом обучения с подкреплением GRPO командой, опубликовавшей репозиторий agurung/cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp10-base-q4v3. Модель предназначена для генерации кода и решения задач программирования: награда при обучении зависела от прохождения тестов, а примеры отбирались среди задач, которые базовая модель решала редко. Чекпойнт сохранён на 24-м шаге обучения; в описанной оценке хотя бы один из восьми ответов решил 12,44% задач отложенной выборки. Модель плотная, содержит 3,7 млрд параметров, построена на архитектуре Qwen3 и принимает текст для генерации текста. Контекст составляет до 262 144 токенов. Обучение проводилось на английских задачах программирования; карточка не подтверждает поддержку других языков. В README не приведены условия лицензии, поэтому их нельзя уточнить по имеющимся данным.
Это экспериментальный чекпойнт языковой модели Qwen3-4B, созданный командой agurung методом обучения с подкреплением OpenRLHF GRPO на базе Qwen/Qwen3-4B-Instruct-2507. Обучение проводилось без предварительного SFT-этапа: награда зависела от того, проходит ли сгенерированная программа тесты. Чекпойнт сохранён на шаге 72; в указанном запуске он показал лучший результат pass@8 среди проверенных чекпойнтов. Модель предназначена прежде всего для генерации кода и решения задач программирования. Она построена на плотной архитектуре Qwen3ForCausalLM, содержит около 3,7 млрд параметров, принимает текст и поддерживает контекст до 262 144 токенов. В README приведены результаты на специальном наборе сложных задач по программированию: pass@1 — 6,3831, pass@8 — 9,8652; эти показатели относятся к описанной процедуре оценки и не гарантируют качество на других задачах. Модель распространяется в формате safetensors и загружается через Transformers. Сведения о лицензии в предоставленных данных отсутствуют.
Salesforce CodeGen-NL 16B — авт autoregressive-языковая модель для генерации программного кода по запросам на естественном языке и продолжения частично написанного кода. Модель содержит 16 млрд параметров, использует архитектуру CodeGenForCausalLM и доступна в формате PyTorch; базовая длина контекста — 2048 токенов. Вариант NL предварительно обучен на корпусе The Pile, включающем данные с кодом. Модель предназначена прежде всего для синтеза программ: она генерирует исполняемый код по англоязычным подсказкам, оформленным как комментарии, а также может дополнять фрагменты кода. Разработчик оценивал модели семейства на HumanEval и MTPB. Для применения нужны значительные вычислительные ресурсы из-за размера 16B; точность и безопасность результатов следует проверять. Лицензия — BSD-3-Clause; выпуск заявлен для исследовательских целей.
CoPE-B-A4B-MM — мультимодальная модель классификации контента от Zentropi, дообученная на Google Gemma-4-26B-A4B-it. Она принимает текст, изображения и видео по отдельности или вместе и проверяет содержание по заданной разработчиком политике и набору меток. Модель предназначена для модерации, разметки контента, оценки рисков во входах и ответах LLM, а также подготовки признаков для ранжирования ленты и фильтрации обучающих данных. Архитектура Mixture-of-Experts содержит 25,2 млрд параметров, из которых 3,8 млрд активны при одном проходе; LoRA-дообучение слито с базовой моделью. Контекстное окно — до 256 тыс. токенов на политику и содержимое вместе. Выход — бинарная классификация: наличие или отсутствие заданных меток. Модель оптимизирована для американского английского; качество на других языках и локалях может снижаться. Она не проверяет факты по внешним источникам и не оптимизирована для агентных сценариев. Для использования действует коммерческая лицензия; подробные условия в карточке модели не приведены.
DASD-30B-A3B-Thinking-Preview — предварительная языковая модель Alibaba Apsara на архитектуре Qwen3 MoE, предназначенная для рассуждений с длинной цепочкой вывода, решения математических и научных задач и генерации кода. Модель дообучена на основе Qwen3-30B-A3B-Instruct-2507 и дистиллирована из gpt-oss-120b методом распределённо-согласованной последовательной дистилляции. В README указано обозначение 30B-A3B, тогда как метаданные каталога сообщают 2,6 млрд параметров. Модель принимает текст и генерирует текст; поддерживает контекст до 262 144 токенов. Карточка описывает её как специализированную на математике, программировании и научных рассуждениях, но не приводит список поддерживаемых естественных языков. Для работы авторы рекомендуют включать системный промпт, использованный при обучении, и задавать Temperature=1.0 и TopP=1.0. Это предварительный исследовательский артефакт, обученный только на первой стадии рецепта с примерно 105 тысячами примеров и без дополнительного RL. README указывает, что модель не интегрирована с инструментами и не может взаимодействовать с исполнителями кода или API; при этом метаданные каталога отмечают интерфейс вызова инструментов. Использовать следует с учётом этого расхождения. Лицензия — Apache-2.0.
DeepSeek-Coder-Instruct-8x1.3b — чат-модель для генерации текста, опубликованная SanjiWatsuki. Это объединение нескольких моделей с помощью mergekit; архитектура Mixtral использует разреженную смесь экспертов. В репозитории указано 1,3 млрд параметров и контекст до 16 384 токенов. Модель предназначена для диалогового использования и генерации текста; название указывает на специализацию на программировании, однако README не описывает конкретные возможности или качество в задачах кодирования. Файлы опубликованы в формате safetensors. Лицензия — Apache-2.0. README не раскрывает состав объединения, поэтому базовые модели определить нельзя.
Это дообученная модель семейства DeBERTa для определения эмоций в японском тексте. Она относит текст к одному из восьми независимых эмоциональных классов: радость, грусть, предвкушение, удивление, гнев, страх, отвращение и доверие; для каждого класса возвращает метку и оценку уверенности. Модель предназначена для анализа эмоциональной окраски отдельных текстов или наборов текстов, в том числе для пакетной обработки через Python. Модель использует архитектуру DeBERTa V2 с классификационной головой, содержит около 451,8 млн параметров и принимает последовательности длиной до 512 токенов. Результаты можно получать для одной строки, списка строк или pandas Series; выход представлен метками и оценками по восьми эмоциям. Для работы требуются PyTorch, Transformers и pandas. Лицензия — CC BY-SA 4.0.
Это версия модели NVIDIA Sortformer для офлайн-разметки активности и временных сегментов речи до четырёх говорящих. Репозиторий mlx-community содержит конвертацию исходной модели nvidia/diar_sortformer_4spk-v1 в формат MLX с помощью mlx-audio 0.3.2; архитектура включает FastConformer из 18 слоёв, Transformer Encoder из 18 слоёв и модули Sortformer. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт вероятности активности каждого говорящего по кадрам. Она подходит для диаризации аудиозаписей с несколькими собеседниками и разметки речевой активности, максимум для четырёх голосов. В карточке указана лицензия исходной модели; отдельные условия лицензирования этой конвертации не приведены.
Afzalsiiit/DinoV1 — модель классификации изображений на базе визуального трансформера DINOv2 Base, дообученная разработчиком Afzalsiiit на наборе данных в формате imagefolder. Она предназначена для отнесения изображений к классам в сценариях, где набор категорий определяется обучающими данными. Модель содержит 113,2 млн параметров, использует архитектуру Dinov2ForImageClassification и распространяется в формате safetensors для библиотеки Transformers. В оценке на тестовой выборке указано значение loss 0,2053. Лицензия — Apache-2.0. Специализация классов и ограничения применения в карточке не описаны.
lyrisha/distilbert-base-finetuned-sentiment — модель классификации текста на базе DistilBERT, разработанная путём дообучения lyrisha/distilbert-base-finetuned-imdb-sentiment на наборах IMDb и GLUE SST-2. Она предназначена для определения тональности коротких текстов, например отзывов. В README указана точность 0,9128 на оценочном наборе; подробности протокола оценки не приведены. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст с контекстным окном до 512 токенов и выдаёт метку класса. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не уточняет языки, поддерживаемые метки и ограничения применения.
moghis/distilbert-base-uncased-finetuned-emotion — модель классификации текста, дообученная на базе distilbert-base-uncased для распознавания эмоций в тексте. Она выдаёт метку эмоционального класса для входного текста. На наборе оценки emotion указаны точность 0,924 и F1 0,9241; архитектура — DistilBertForSequenceClassification с контекстом до 512 токенов. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Модель подходит для автоматической разметки эмоциональной окраски коротких текстов и анализа пользовательских высказываний. Карточка не уточняет набор классов и языки данных, поэтому результаты не следует считать подтверждёнными для языков или сценариев за пределами обучающего набора emotion.
Модель neibla/distilbert-base-uncased-finetuned-emotion — дообученная на наборе данных emotion модель DistilBERT для классификации эмоциональной окраски текста. Она принимает текст и относит его к эмоциональным классам; подойдёт для анализа коротких пользовательских сообщений и текстов. Архитектура — DistilBertForSequenceClassification, максимальный контекст — 512 токенов. В карточке указаны результаты на оценочной выборке: accuracy 0,9255 и F1 0,9255. Модель распространяется по лицензии Apache-2.0.
Dwarf-15M-Instruct — компактная языковая модель ThingAI на 20,3 млн параметров для преобразования запросов на естественном языке в команды Linux и Bash. Она предназначена для роли помощника командной строки, который предлагает команды для проверки пользователем; это не универсальный чат-бот. Модель подходит для простых и средних задач администрирования Linux, коротких Bash-команд и функций, а также объяснения команд. По карточке, она ориентирована на английский язык и обучена преимущественно на командах Ubuntu и Debian. Модель использует архитектуру DwarfForCausalLM, распространяется в формате Safetensors и работает через Transformers. Для инференса заявлена возможность запуска на CPU; в карточке указан размер модели около 30 МБ. Из-за небольшого размера модель может ошибаться на необычных запросах и плохо справляться со сложными многошаговыми рассуждениями. Сгенерированные команды следует проверять до запуска. Лицензия — Apache-2.0.
jitesh/emotion-english — англоязычная модель классификации текста по эмоциям, опубликованная пользователем jitesh. Она основана на архитектуре RoBERTa и содержит около 95,2 млн параметров; модель принимает текст и относит его к одной из 20 эмоциональных категорий. Подходит для анализа тональности и эмоционального окраса коротких сообщений и других текстов на английском языке. Модель рассчитана на применение через Transformers для получения эмоциональной метки текста. Репозиторий содержит веса PyTorch и SafeTensors. Лицензия — MIT. Контекст модели составляет 514 токенов.
Это конвертированная в формат safetensors версия англоязычной модели Jochen Hartmann для многоклассовой классификации эмоций в тексте. В основе лежит j-hartmann/emotion-english-distilroberta-base; архитектура — DistilRoBERTa с классификационной головой RobertaForSequenceClassification, около 95,2 млн параметров и контекстом до 514 токенов. Модель присваивает тексту категории anger, disgust, fear, joy, neutral, sadness и surprise. Она подходит для анализа тональности эмоциональных реакций в отзывах, сообщениях и других англоязычных текстах. Репозиторий содержит только преобразованные веса safetensors; архитектура, токенизатор и поведение исходной модели не менялись. Лицензия — MIT.