II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейgchhablani/bert-base-cased-finetuned-cola — модель на архитектуре BERT для классификации английских предложений. Её дообучили на наборе GLUE CoLA, чтобы определять грамматическую приемлемость предложения. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и доступна в формате PyTorch. В карточке приведён результат оценки на тестовой выборке CoLA: Matthews Correlation 0,5957 и loss 0,6747. Модель подходит для оценки приемлемости английских предложений и экспериментов со сравнением BERT и Google FNet. Распространяется по лицензии Apache-2.0.
dbmdz/bert-base-german-cased — немецкоязычная модель BERT от команды MDZ Digital Library Баварской государственной библиотеки. Это плотная трансформерная модель с 137,1 млн параметров, обученная для предсказания замаскированных токенов. Она сохраняет регистр немецких слов и подходит для заполнения пропусков в тексте и как основа для последующей настройки под задачи обработки немецкого языка. Обучение проводилось на корпусе объёмом 16 ГБ и примерно 2,35 млрд токенов из Википедии, EU Bookshop, Open Subtitles, CommonCrawl, ParaCrawl и News Crawl. Модель обучалась на последовательностях длиной до 512 токенов. Доступны веса в форматах PyTorch, TensorFlow и Flax, а также Safetensors. Лицензия — MIT. Модель рассчитана прежде всего на немецкий язык и учитывает регистр, что полезно для сохранения различий между заглавными и строчными буквами. Основное назначение — предсказание скрытых токенов; карточка также упоминает применение BERT для последующей настройки на распознавание сущностей и разметку частей речи. Ограничение контекста составляет 512 токенов, а качество для конкретных прикладных задач зависит от дополнительной настройки.
Модель nateraw/bert-base-uncased-emotion — дообученная для классификации эмоций версия bert-base-uncased. Она принимает текст и определяет эмоциональную категорию; модель обучена на датасете emotion с помощью PyTorch Lightning. Архитектура — BERT для классификации последовательностей, размер — 136,7 млн параметров, максимальная длина контекста — 512 токенов. Доступны веса PyTorch и Flax; модель рассчитана на английский язык. Модель подойдёт для определения эмоций в коротких сообщениях, отзывах и других текстах. В README приведена точность на валидации 0,931, однако автор отмечает, что метрика не заменяет precision, recall и F1; также автор характеризует модель как не лучшую и сообщает, что код обучения недоступен. Лицензия — Apache-2.0.
Модель leomaurodesenv/bert-base-uncased-jailbreakv-28k-augmented — дообученная англоязычная BERT-base для классификации текста. Она основана на google-bert/bert-base-uncased, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены результаты оценки: accuracy 0,9981 и loss 0,0063. Модель можно применять для классификации текстовых последовательностей; конкретные классы и целевые сценарии в карточке не описаны. Датасет обучения также не раскрыт. Веса доступны в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0.
bert-deepfake-bg — модель BERT для классификации текста, дообученная Ивой Мариновой на основе usmiva/bert-web-bg и опубликованная при участии института GATE в Софии. Она предназначена для задач классификации последовательностей на болгарском языке; конкретный набор классов и целевой сценарий карточка не уточняет. Модель содержит 136,3 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Модель подходит для адаптации к прикладным задачам классификации болгарских текстов. Карточка не приводит сведения о данных обучения, метриках и известных ограничениях, поэтому качество на конкретных данных следует проверять отдельно. Лицензия в метаданных — CC BY 2.0.
BERT-Emotions-Classifier — дообученная модель на архитектуре BERT, разработанная Ayoub Kirouane для многометочной классификации эмоций в тексте. Она принимает строку и возвращает одну или несколько меток эмоций с оценками: гнев, ожидание, отвращение, страх, радость, любовь, оптимизм, пессимизм, грусть, удивление и доверие. Модель подходит для анализа эмоциональной окраски публикаций в социальных сетях и отзывов, а также для рекомендаций с учётом эмоционального контекста. Она обучена на наборе данных SemEval 2018 Task 1, содержит 136,7 млн параметров, использует библиотеку Transformers и обрабатывает контекст длиной до 512 токенов. Поддерживается английский язык. Лицензия в предоставленных данных не указана.
Koichi Yasuoka разработал эту японскую модель BERT для морфологического анализа текста. Она дообучена на базе KoichiYasuoka/bert-large-japanese-char-extended и размечает короткие слова универсальными частями речи UPOS; карточка также указывает назначение для синтаксического анализа зависимостей. Модель обучена на текстах японской Википедии и данных Universal Dependencies. Это плотная архитектура BERT с 409,1 млн параметров, рассчитанная на входные последовательности длиной до 512 токенов. Модель принимает японский текст и выдаёт метки для токенов; для её загрузки и применения карточка показывает Transformers и PyTorch. Модель подходит для разметки частей речи и синтаксического анализа японских текстов. Лицензия — CC BY-SA 4.0.
Модель erdemKocaogluu/berturk2berturk-tr-normalizer разработана на основе двух чекпойнтов BERTurk и предназначена для нормализации неформального турецкого текста. Она преобразует разговорные формы, опечатки, пропущенные буквы и диакритические знаки, а также диалектное написание в стандартный письменный турецкий, стараясь сохранить смысл и порядок слов. Архитектура — encoder-decoder на базе EncoderDecoderModel: энкодер использует веса BERTurk, декодер создан из второй копии BERTurk, а слои cross-attention обучены при дообучении. Модель применяет WordPiece-токенизатор BERTurk с словарём около 32 тысяч токенов; максимальная длина входа и выхода — 128 токенов. Модель особенно подходит для исправления предсказуемых ошибок, например восстановления турецких диакритических знаков и нормализации разговорных сокращений. Она слабее справляется с естественными нестандартными ошибками и длинными предложениями с несколькими частями; не перестраивает порядок слов и структуру предложения. Сильно искажённые или отсутствующие в словаре слова могут превратиться в [UNK], а длинные тексты обрезаются. Лицензия модели — CC BY-NC-SA 4.0.
autoevaluate/binary-classification — модель классификации текста, дообученная на базе distilbert-base-uncased на наборе данных GLUE. Она предназначена для отнесения текстовых последовательностей к классам; в README приведены результаты на оценочной выборке: accuracy 0,8968 и loss 0,3009. Модель использует архитектуру DistilBERT с классификационной головой, работает с текстом и имеет контекст до 512 токенов. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает конкретные метки классов, сценарии применения или ограничения; результаты GLUE сами по себе не гарантируют качество на других данных.
CHORD 2B student — модель-энкодер на базе Qwen3.5-2B, разработанная для метрики когерентности CHORD. Это дистиллированная версия слияния весов базовой модели и LoRA-адаптеров; обученный линейный считыватель проецирует представление последнего токена из 2048 векторов в пространство из 256 координат, аппроксимируя координаты PCA учительской модели с 27 млрд параметров. Модель принимает текст и выдаёт векторные представления для оценки когерентности. Предназначена для вычисления RBF-MMD между наборами текстов по шаблону coherence; пример — сравнение текста с эталонным пулом. Протокол использует нормализацию пробелов и ограничение длины в 532 токена, включая суффикс промпта; значения MMD сопоставимы только при использовании одного и того же энкодера и протокола. Модель распространяется в формате safetensors вместе с отдельным файлом считывателя и токенизатором. Лицензия — Apache-2.0.
CodeGemma 2B — компактная модель Google для автодополнения программного кода. В каталоге lmstudio-community она представлена в формате GGUF; квантизацию выполнил bartowski на базе llama.cpp. Модель основана на Gemma 2B и дополнительно обучена исключительно на коде. Модель предназначена для заполнения пропусков в коде и сценариев, подобных Copilot, где важны быстрые подсказки и низкая задержка. Она использует подход fill-in-the-middle: контекст до места вставки передаётся через <|fim_prefix|>, последующий код — через <|fim_suffix|>, а <|fim_middle|> запрашивает генерацию недостающего фрагмента; для многофайлового контекста предусмотрен токен <|file_separator|>. CodeGemma 2B не является чат-моделью и не предназначена для ответов на обычные вопросы. Ключевой особенностью модели является небольшой размер — около 2 миллиардов параметров, благодаря чему она подходит для локального запуска и оперативного отображения автодополнений. README не содержит сведений о поддерживаемых языках программирования, длине контекста и модальностях; по имеющимся данным, модель работает с текстовым представлением кода. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется принять условия Google.
Cosmos-Embed1-448p-anomaly-detection — видеотекстовая модель эмбеддингов NVIDIA, дообученная для поиска и классификации аномалий в видео. Она предназначена для разработчиков физического ИИ и сценариев, связанных с робототехникой, автономным транспортом и анализом видеозаписей. Модель основана на трансформере с архитектурой QFormer и визуальной основой EVA-ViT-G. Она кодирует текст или видео — по одному типу входа за проход — в эмбеддинги размерности 768. Видеорежим рассчитан на кадры 448×448 и последовательности из 8 кадров; поддерживаются также неквадратные разрешения. Дообучение выполнено методом LoRA на обучающей части набора Vad-Reasoning, охватывающего дорожные, городские, кампусные и другие реальные сценарии. Модель подходит для поиска видео по тексту, поиска похожих видео, классификации без обучения на целевых классах и семантической дедупликации, с акцентом на обнаружение и классификацию аномалий. В README заявлена готовность к коммерческому применению; условия использования задаёт NVIDIA Open Model License. Лицензия в метаданных указана как other.
descript/dac_16khz — модель семейства Descript Audio Codec (DAC), опубликованная Descript на Hugging Face. Это аудиокодек на основе архитектуры RVQGAN, предназначенный для кодирования и извлечения компактных аудиопризнаков; версия рассчитана на аудио с частотой дискретизации 16 кГц. В Transformers она доступна как модель для feature-extraction. DAC кодирует аудиосигнал в дискретные представления и предназначен для сжатия и дальнейшего использования в аудиосистемах. Карточка репозитория автоматически сгенерирована и не описывает лицензию, поддерживаемые языки или ограничения; поэтому конкретные условия использования и качество для отдельных сценариев подтвердить нельзя.
darkfordays/deberta-v3-large-go-emotions — дообученная модель Microsoft DeBERTa V3 Large для классификации эмоций в тексте по меткам набора GoEmotions. Она основана на microsoft/deberta-v3-large и использует архитектуру DebertaV2ForSequenceClassification; размер составляет 533,8 млн параметров, формат весов — safetensors, максимальная длина контекста — 512 токенов. В README приведены результаты оценки: macro F1 0,4688, micro F1 0,5960 и weighted F1 0,5778. Модель предназначена для определения эмоциональных меток в текстовых фрагментах, например комментариях и сообщениях. Английский — основной язык базовой модели; языковые метки и описание набора данных GoEmotions не подтверждают поддержку других языков. Модель распространяется по лицензии MIT. README не уточняет обучающий датасет, набор меток, метод оценки и ограничения применения.
DeepHermes Tool Calling Specialist - Atropos RL — экспериментальная языковая модель Nous Research, дообученная с помощью обучения с подкреплением на базе DeepHermes 3 Llama-3.1 8B. Она предназначена прежде всего для вызова инструментов и функций в режиме рассуждений, а не для широкого применения как универсальная модель. Модель построена на архитектуре Llama, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Для обмена сообщениями используются чатовый и инструкционный форматы; предусмотрен интерфейс вызова инструментов. В оценке на Berkeley Function Calling Benchmark авторы сообщают о повышении точности для параллельного вызова функций с 0,10 до 0,46, а для простых вызовов — с 0,21 до 0,5175 относительно базовой модели. Результаты относятся к указанным режиму и тестам и не гарантируют аналогичного качества на других инструментах и сценариях. Модель работает с текстом и выдаёт текстовые ответы и структурированные вызовы инструментов. В карточке указан английский язык. Лицензия — Llama 3. Доступна в формате safetensors.
diactag-1.0 — модель Olaverse для восстановления диакритических знаков в тексте на десяти языках. Она классифицирует символы, предсказывая форму букв и тоновые или акцентные знаки, а не генерирует новую строку. Архитектура включает общий энкодер из 12 блоков и около 37,6 млн параметров; модель рассчитана на запуск на CPU. В README также описаны экспорт ONNX и вариант int8. Модель подходит для восстановления диакритики в тексте, где важно сохранить исходные символы и их порядок: по конструкции она может добавлять знаки, но не вставлять, удалять или заменять буквы. Для десяти языков используется общий энкодер с языковыми компонентами и отдельным определением формы и тона. Качество различается по языкам: README отмечает особенно сложные случаи в йоруба и более слабые результаты на вьетнамском и португальском по сравнению с альтернативной моделью. Модель распространяется под лицензией Apache-2.0. Она не исправляет опечатки; неоднозначные формы без достаточного контекста могут оставаться неразрешимыми, а необычно высокая плотность диакритических знаков ухудшает качество.
Модель cvapict/distilbert-base-multilingual-cased-aoe-test12 — дообученная версия DistilBERT multilingual cased для классификации текста по последовательностям. В карточке указаны точность 0,9571 и loss 0,1165 на оценочном наборе; название датасета приведено как None, поэтому результаты нельзя связать с конкретной областью или набором классов. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст и выдаёт метки классов. Она основана на distilbert/distilbert-base-multilingual-cased, поддерживает контекст до 512 токенов и распространяется в формате safetensors через Transformers. Лицензия — Apache-2.0. Карточка не описывает целевые классы, обучающие данные и предполагаемые сценарии применения, поэтому качество для конкретной задачи оценить нельзя. Перед применением следует проверить модель на данных и метриках целевого сценария.
fukudarh/distilbert-base-uncased-finetuned-emotion — модель классификации текстов на основе DistilBERT, дообученная для распознавания эмоций. В README указана оценка на тестовой выборке: accuracy 0,9225 и F1 0,9220; набор данных не назван. Модель принимает текст и выдаёт метку класса. Контекст — до 512 токенов; веса представлены в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Модель подходит для определения эмоциональной окраски коротких текстов, например сообщений и отзывов. README не описывает набор эмоциональных классов, обучение или ограничения, поэтому результаты на других данных и языках могут отличаться; по идентификатору базовой модели можно заключить, что она рассчитана на английский язык.
Модель superguo/distilbert-base-uncased-finetuned-emotion — англоязычная модель классификации текста на основе DistilBERT, дообученная на датасете emotion. Она предназначена для определения эмоциональной категории текста, например в коротких сообщениях и отзывах. Архитектура — DistilBertForSequenceClassification; размер контекста — до 512 токенов. В README указаны результаты на оценочной выборке: accuracy 0,9255 и F1 0,9251. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Подробности о метках эмоций, составе обучающих данных и ограничениях применения в карточке не приведены.
SetFit опубликовал дообученную модель DistilBERT для классификации текста. По идентификатору модели она связана с SST-5 и обучением на всём тренировочном наборе; карточка указывает базовую модель distilbert-base-uncased. Модель использует архитектуру DistilBertForSequenceClassification, работает с текстом и имеет контекст до 512 токенов. Модель предназначена для классификации последовательностей. На указанном в карточке наборе оценки достигла точности 0,5045 при значении функции потерь 1,3757. Описание набора данных, меток и целевого сценария в карточке отсутствует, поэтому конкретные классы и качество на других данных установить нельзя. Лицензия — Apache-2.0.
dpo5k4 — дообученная модель на базе deepseek-ai/deepseek-coder-1.3b-base, опубликованная пользователем stojchet. Она содержит 1,3 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; длина контекста — 16 384 токена. В карточке указано дообучение на датасете generator и задача text-generation. Модель предназначена для генерации и продолжения текста. Базовая модель ориентирована на автодополнение и заполнение пропусков в коде, однако карточка dpo5k4 не уточняет её целевые сценарии, качество или ограничения. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.
Это дообученный чекпойнт EAT-large, опубликованный пользователем worstchan и дополнительно обученный на наборе AS-2M. Модель на базе архитектуры Efficient Audio Transformer предназначена для извлечения представлений аудио, которые можно использовать в последующих задачах понимания звука, включая классификацию и создание аудиоописаний. Модель выдаёт кадровые представления с частотой около 50 Гц и представление всего аудиофрагмента через CLS-токен. Она распространяется в формате safetensors и загружается через Transformers. Лицензия — MIT. Карточка не сообщает размер модели и ограничений по длительности входного аудио.
Это компактная текстовая модель эмбеддингов для семантического поиска товаров по коротким, разговорным и содержащим опечатки запросам. Автор дообучил её на базе BAAI/bge-small-en-v1.5 для сопоставления поисковых запросов с названиями товаров в интернет-магазинах. Модель содержит около 40 млн параметров по метаданным, формирует векторы размерностью 384 с поддержкой сокращения до 256, 128 или 64 измерений и принимает контекст до 512 токенов. Модель предназначена для поиска по каталогам магазинов, включая Shopify и WooCommerce, а также для извлечения кандидатов перед дополнительным ранжированием. В тестах на Amazon ESCI она превзошла указанные в карточке базовые модели по метрикам поиска; размер вектора можно уменьшать, чтобы сократить индекс с небольшими потерями качества. Она рассчитана на английский язык и Amazon-подобные каталоги; перенос на другие товарные области не оценён. Для индексации рекомендованы названия товаров и, при необходимости, бренд, а не длинные описания. Лицензия — Apache 2.0.
CEA-LIST дообучила эту модель для участия в соревновании evalLLM2026. Это dense-ретривер на архитектуре XLM-RoBERTa, предназначенный для связывания географических упоминаний с подходящими записями GeoNames: модель кодирует текст в эмбеддинги, по которым можно искать ближайшие совпадения. В README также указано обучение на Wikipedia с последующим дообучением на тренировочных данных соревнования. Модель основана на BAAI/bge-m3 и содержит 658,7 млн параметров. Она принимает текст и выдаёт эмбеддинги для поиска и оценки сходства предложений; заявленная длина контекста — 8194 токена. Для запросов README рекомендует префикс “Represent this geographical sentence for retrieving relevant GeoNames terms:”. Метаданные указывают французский и английский языки; лицензия — Apache-2.0. Модель рассчитана на географический entity linking и поиск соответствующих терминов GeoNames. Данные не подтверждают качество на других языках или задачах, поэтому применять её за пределами этого сценария следует с проверкой результатов.
Parakeet-Inc разработала эту модель для японской речи: она принимает аудио и заданную пользователем запись фразы и выводит соответствующую ей последовательность мор — чтение фразы катаканой. Модель основана на Whisper small и дообучена для получения произношения, согласованного с входной записью кандзи и каны. Архитектура WhisperForConditionalGeneration, около 153,1 млн параметров; поддерживаемый язык — японский. Модель предназначена для подготовки японских данных для синтеза речи и преобразования текста с аудио в чтение катаканой. Аудио должно быть короче 30 секунд. Заявленное качество ограничено: после фильтрации данных по совпадению G2P остаётся около 40% примеров. Для лучшей точности автор рекомендует использовать более крупную базовую модель и обучить её на подготовленных данных. В обучении текст нормализован: используются знаки «、» и «。», а фраза обязательно заканчивается на «。», поэтому такой же формат подсказки может улучшить результат. Лицензия — Apache-2.0.
GalaxyLM-TestRepo-r33 — репозиторий с моделью, в README описанной как обновлённая версия разговорной модели GalaxyLM от разработчиков GalaxyLM. Карточка заявляет улучшения в рассуждениях, математике, программировании и логике, а также поддержку вызова функций; приведены результаты бенчмарков, включая 87,5% на AIME 2025. README рекомендует температуру 0,6 и содержит шаблоны для сценариев с файлами и веб-поиском. Метаданные Hugging Face классифицируют опубликованный артефакт как BERT-модель для извлечения признаков на Transformers и PyTorch, с файлами в формате PyTorch и лицензией MIT. Это расходится с описанием разговорной генеративной модели в README: архитектура указана как BertModel, а pipeline_tag — feature-extraction. Поэтому заявленные в README возможности рассуждения и чата нельзя уверенно связать с представленным артефактом.
NeuML/glove-6B — экспорт статических английских векторов GloVe размерностью 300 для библиотеки staticvectors. Модель предназначена для получения векторных представлений отдельных слов в Python с помощью NumPy, сохраняя высокую скорость выполнения. Её можно применять как основу для сравнения слов и вычисления сходства текстовых представлений. Репозиторий использует формат safetensors и лицензию PDDL. В README не описаны контекстные представления: векторы относятся к словам и не зависят от их контекста.
Sukanyan/google-bert_bert-large-uncased — дообученная англоязычная модель BERT Large для классификации текста. Она основана на google-bert/bert-large-uncased и использует архитектуру BertForSequenceClassification; размер составляет 433,9 млн параметров, а контекст ограничен 512 токенами. Модель можно применять для классификации текстовых последовательностей, например для определения тональности или отнесения текста к заданным категориям, если соответствующие классы предусмотрены обучением. В карточке приведены результаты оценки: loss 1,0402 и accuracy 0,5820. Обучающий датасет и конкретная схема классов не описаны, поэтому эти результаты не позволяют определить пригодность модели для отдельной задачи без дополнительной проверки. Модель распространяется по лицензии Apache-2.0.
Hate-speech-CNERG/hindi-codemixed-abusive-MuRIL — модель классификации текста, разработанная авторами карточки и дообученная на MuRIL для обнаружения оскорбительной речи в код-смешанном хинди. Она относит текст к одному из двух классов: нормальная речь или оскорбительная. Модель построена на архитектуре BERT и содержит 264,8 млн параметров; максимальная длина контекста составляет 512 токенов. Модель предназначена для анализа сообщений и другого пользовательского текста на код-смешанном хинди, в том числе в исследованиях низкоресурсного выявления оскорбительной речи. Веса опубликованы в формате PyTorch. Лицензия — AFL-3.0. Карточка связывает модель с исследованием о методах расширения данных для выявления оскорбительного языка в индийских языках.
IndoBERT Large phase2 uncased — предварительно обученная языковая модель для индонезийского языка, разработанная командой IndoBenchmark. Она основана на архитектуре BERT и обучена на корпусе Indo4B с задачами masked language modeling и next sentence prediction. Модель предназначена для получения контекстных представлений текста и может служить основой для последующей настройки под задачи обработки индонезийского языка. Модель содержит около 433,9 млн параметров и принимает последовательности длиной до 512 токенов. Доступны веса для PyTorch, TensorFlow и Flax; лицензия — MIT. Карточка описывает предварительное обучение и извлечение контекстных представлений, но не приводит результатов оценки качества на прикладных задачах.