II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейLyubka/2-1-2-emoticons-haiku-v126 — дообученная модель классификации последовательностей на базе Lyubka/2-1-2-emoticons. Она использует архитектуру BERT с примерно 194,6 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. В оценке на тестовой выборке указаны accuracy 0,8012 и loss 0,6839. Модель предназначена для классификации текста, связанной с эмотиконами; подробности о классах, обучающих данных и конкретных сценариях в карточке не раскрыты. Опубликована в формате safetensors и использует библиотеку Transformers. Условия лицензирования в предоставленных данных не указаны.
Sukanyan/albert_albert-base-v2 — дообученная модель классификации последовательностей на базе albert/albert-base-v2, созданной командой Google Research. Она предназначена для классификации текстовых последовательностей; конкретные классы, тематика и обучающий набор в карточке не раскрыты. Модель содержит 136,3 млн параметров, использует архитектуру ALBERT и принимает текст длиной до 512 токенов. На тестовой выборке указаны accuracy 0,4479 и loss 1,3806, поэтому качество для практической задачи следует оценивать отдельно на подходящих данных. Базовая ALBERT ориентирована на английский язык; карточка не уточняет языковой состав дообучающей выборки. Модель распространяется по лицензии Apache-2.0.
ckiplab/bert-base-chinese-pos — модель на базе BERT для разметки частей речи в текстах на традиционном китайском языке. Проект CKIP предоставляет модели Transformer и инструменты NLP; автор и сопровождающий этой модели — Mu Yang из CKIP. Модель решает задачу token-classification: присваивает метку каждому токену, в частности может использоваться для определения частей речи. Она содержит 129,5 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и Flax. Для токенизации README рекомендует BertTokenizerFast вместо AutoTokenizer. Модель предназначена для анализа китайского текста, например разметки частей речи перед последующей обработкой. В карточке указана лицензия GPL-3.0.
CKIP BERT Tiny Chinese — компактная модель семейства BERT от CKIP Lab, представленная в проекте с инструментами обработки традиционного китайского языка. В карточке указана архитектура BertForTokenClassification, около 12,8 млн параметров и контекст до 512 токенов. Модель предназначена для классификации токенов; проект CKIP также охватывает сегментацию слов, разметку частей речи и распознавание именованных сущностей. Для работы автор рекомендует использовать BertTokenizerFast. Репозиторий содержит веса PyTorch и распространяется по лицензии GPL-3.0. Карточка не уточняет точность модели и её результаты на тестовых наборах.
DoVanTuy разработал эту дообученную на BAAI/bge-m3 модель для банковской тематики. Она преобразует текст в эмбеддинги для семантического поиска, извлечения релевантных документов и оценки сходства предложений; пример в карточке относится к запросу об условиях оформления кредитной карты. Модель построена на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров и поддерживает контекст до 8194 токенов. Базовая BGE-M3 предназначена для многоязычного поиска, а карточка этой модели демонстрирует применение на вьетнамском языке. Модель распространяется по лицензии Apache-2.0.
ConvNeXt-V2 Huge FCMAE — модель извлечения признаков изображений из семейства ConvNeXt-V2, опубликованная timm. Она предварительно обучена на ImageNet-1k методом FCMAE — полностью сверточного masked autoencoder — и предназначена для извлечения признаков и карт признаков либо для дообучения под классификацию. У модели 657,5 млн параметров; исходный размер изображения — 224 × 224 пикселя. Предобученная классификационная голова отсутствует, поэтому модель не предназначена для готовой классификации без дообучения или добавления головы. Репозиторий распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и запрещающей коммерческое применение.
ConvTasNet_Libri1Mix_enhsingle_16k — модель Joris Cosentino, обученная с помощью рецепта LibriMix в Asteroid для улучшения одноканальной речи. Она предназначена для обработки аудио: принимает речевой сигнал и выдаёт его улучшенную версию. Модель обучена на задаче enh_single датасета Libri1Mix, использует частоту дискретизации 16 кГц и рассчитана на один источник звука. Конфигурация указывает на архитектуру ConvTasNet с фильтробанком из 512 фильтров и масочной сетью с восемью блоками и тремя повторами. Заявленная лицензия репозитория — CC BY-SA 4.0; в README для работы указана лицензия CC BY 4.0, а для смесей WSJ0 Hipster Ambient — CC BY-NC 4.0 с ограничением для исследовательского использования. Перед применением следует учитывать условия лицензирования исходных данных и производной модели.
Koichi Yasuoka разработал эту модель на базе DeBERTa V2, предварительно обученной на японской Википедии и текстах Aozora Bunko, а затем дообучил её для разметки частей речи и синтаксического анализа. Модель назначает каждому длинному слову японского текста тег UPOS и признаки FEATS; она предназначена для токенной классификации и может использоваться как компонент японского NLP-конвейера. Модель содержит 137,8 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Лицензия — CC BY-SA 4.0. Карточка показывает пример применения через Transformers; в каталожных метаданных указана поддержка задачи token-classification.
Это дообученная модель DistilBERT для классификации текстов, созданная на основе distilbert/distilbert-base-uncased. Она предназначена для классификации коротких англоязычных сообщений о стихийных бедствиях и попытках обхода ограничений, что следует из названия репозитория; описание назначения и обучающих данных в карточке не раскрыто. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст и выдаёт метку класса. Максимальная длина контекста — 512 токенов. По результатам оценки в карточке точность составляет 0,7113, loss — 0,6027. Модель распространяется по лицензии Apache-2.0.
HardlyHumans/Facial-expression-detection — модель компьютерного зрения, разработанная HardlyHumans и дообученная на базе google/vit-base-patch16-224-in21k. Это Vision Transformer ViT с 113,2 млн параметров для классификации изображений лиц по восьми категориям эмоций: гнев, презрение, грусть, радость, нейтральное выражение, отвращение, страх и удивление. Модель обучалась на наборах FER2013 и AffectNet и предназначена для распознавания выражений лица на изображениях. В карточке сообщается точность 0,922 и loss 0,213 на оценочном наборе; эти показатели не гарантируют аналогичного качества на других данных. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.
I-BERT RoBERTa-base — квантованная версия RoBERTa, представленная авторами исследования I-BERT. Модель содержит 151,8 млн параметров; в README описано хранение параметров в INT8 и выполнение инференса с целочисленной арифметикой. Архитектура заменяет операции с плавающей точкой, включая MatMul, GELU, Softmax и LayerNorm, приближёнными целочисленными операциями. Для неё указан контекст до 514 токенов. Модель предназначена для предсказания скрытых токенов в тексте и может служить основой для дообучения на задачах NLP, например классификации текстов. В README сообщается об ускорении инференса до четырёх раз относительно версии с плавающей точкой на Nvidia T4; фактическая скорость зависит от среды и конфигурации. Карточка не указывает лицензию или поддерживаемые естественные языки.
IndicBERTv2-MLM-only — многоязычная модель на архитектуре BERT от AI4Bharat, обученная на корпусе IndicCorp v2 с задачей маскированного языкового моделирования. Она предназначена для предсказания скрытых токенов и как основа для дообучения задачам обработки языков Индии и английского. Модель содержит около 305,2 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате PyTorch. Модель поддерживает 23 индийских языка и английский; в карточке перечислены, среди прочих, ассамский, бенгальский, бодо, догри, конкани, гуджарати, хинди, каннада, кашмири, майтхили, малаялам, маратхи, манипури, непальский, одиа, пенджаби, санскрит, сантали, синдхи, тамильский, телугу и урду. Лицензия — MIT. Подходит для заполнения пропусков в тексте и как база для языковых задач после дополнительного дообучения.
Intellect_continuous — дообученная модель на базе microsoft/deberta-v3-base, опубликованная ajrayman. Это модель DeBERTa V3 Base с архитектурой DeBERTa V2 для классификации последовательностей; в репозитории указано 211,6 млн параметров и формат safetensors. Модель предназначена для задачи text-classification, однако карточка не поясняет классы или прикладной сценарий. В оценке на тестовой выборке приведены Loss 0,0481, RMSE 0,2194, MAE 0,1755 и корреляция 0,2970. Модель принимает текст и выдаёт результат классификации. Базовая модель рассчитана на английский язык; обучающий датасет обозначен как None, поэтому целевой язык и предметную область этой настройки подтвердить нельзя. Контекст ограничен 512 токенами. Лицензия — MIT.
novita/kimi-k2.7-code-eagle3-mla — компактная черновая модель EAGLE-3 с Multi-Latent Attention (MLA), разработанная для ускорения инференса Kimi-K2.7-Code методом speculative decoding в vLLM. Она предлагает несколько возможных токенов за шаг, а основная модель проверяет их параллельно; при этом распределение выходных токенов сохраняется таким же, как при обычной авторегрессионной генерации. Чекпойнт содержит около 1,8 млрд параметров и рассчитан на контекст до 262 144 токенов. Архитектура включает один черновой слой декодера MLA и слой слияния вспомогательных скрытых состояний. Модель разделяет с основной моделью эмбеддинги, нормализацию и выходную голову, поэтому для инференса ей требуется Kimi-K2.7-Code; входные эмбеддинги загружаются из неё отдельно. MLA снижает нагрузку на KV-кэш, а модель предназначена для ускорения генерации в задачах диалога, программирования и математики. В README приведены результаты бенчмарков по средней длине принятой последовательности токенов. Для запуска требуются GPU NVIDIA с CUDA 12.0 или новее и vLLM версии 0.20.0 или новее. README сообщает, что поддержка этой MLA-версии черновой модели в SGLang пока отсутствует. Лицензия — MIT.
serize/klue-roberta-base-nli-stage2 — модель на основе корейской RoBERTa, дообученная авторами репозитория для классификации текста. Она содержит 137,8 млн параметров и рассчитана на обработку последовательностей длиной до 514 токенов. Карточка сообщает о точности 0,86 и значении loss 0,5985 на наборе оценки, но не раскрывает назначение меток и состав данных. Модель подходит для классификации корейского текста в задачах, близких к обучающей выборке. Она представлена в формате safetensors и использует библиотеку Transformers. Лицензия в доступных данных не указана.
Jeevesh8/long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_mnli_ft_13 — модель пользователя Jeevesh8 на Hugging Face, предназначенная для классификации текста. Страница модели указывает архитектурное семейство BERT, библиотеку Transformers и задачу Text Classification; идентификатор также показывает использование bert-base-uncased и дообучение на MNLI с ограничением длины последовательности 128 токенов. Модель предназначена для задач классификации текстовых последовательностей, включая сценарии, связанные с распознаванием отношений между текстами, характерные для MNLI. Базовый bert-base-uncased — англоязычный uncased-вариант BERT примерно на 110 млн параметров; он основан на двунаправленном Transformer и использует WordPiece-токенизацию. Поэтому модель рассчитана прежде всего на английский текст и не является генеративной или мультимодальной. Сильная сторона модели — специализированное дообучение BERT для классификационных задач и совместимость с экосистемой Transformers. Ограничения включают зависимость от английского языка, лимит входной последовательности 128 токенов и типичные для BERT риски смещённых или ошибочных предсказаний; подробные оценки, описание обучающих данных и лицензия для этой конкретной производной модели на странице не указаны.
Koichi Yasuoka разработал LTG-BERT для японской морфологической разметки. Модель дообучена на базе HPLT/hplt_bert_base_ja и назначает каждому короткому слову тег части речи UPOS и грамматические признаки FEATS. Она предназначена для анализа японских предложений и подготовки структурированных лингвистических данных. Модель содержит 124,3 млн параметров, работает с текстом и поддерживает контекст до 512 токенов. Распространяется по лицензии Apache-2.0.
LumynaX Doc Donut Base — ранний эксперимент AbteeX AI Labs для понимания изображений документов. Модель построена на архитектуре vision-encoder-decoder и дообучена на базе naver-clova-ix/donut-base; репозиторий содержит веса PyTorch и рассчитан на преобразование изображений документов в текст. Модель предназначена для извлечения текста и структурированной информации из документов. В README описана интеграция с LumynaX Core через маршрутизацию во время выполнения; веса исходной модели при этом не объединялись. Поддерживаемый язык карточки — английский, а метаданные также указывают маори. Лицензия — MIT. Это устаревший, более не сопровождаемый исследовательский артефакт, который авторы не рекомендуют для промышленного применения. README предупреждает, что выпуск не отражает современные возможности и стандарты безопасности AbteeX AI Labs.
MARBERT — предобученная языковая модель семейства BERT, представленная авторами исследования UBC-NLP в статье ACL 2021 «ARBERT & MARBERT: Deep Bidirectional Transformers for Arabic». Модель обучалась на арабских сообщениях Twitter и рассчитана на диалектный арабский язык и современный стандартный арабский (MSA). Она использует архитектуру BERT-base без задачи next sentence prediction и обучалась как masked language model; в репозитории указано около 190 млн параметров и контекст до 512 токенов. MARBERT предназначена для заполнения пропусков в арабском тексте и может служить основой для адаптации к задачам обработки арабских твитов и других коротких текстов. Карточка указывает на обучение на выборке из 1 млрд твитов, содержащей около 15,6 млрд токенов. Доступны версии весов для PyTorch, TensorFlow и Flax. Лицензия в предоставленных данных не указана.
Berk/minilm-movie-genome — модель на базе SentenceTransformer, разработанная автором репозитория Berk. Она преобразует произвольный текст в нормированный вектор из 256 измерений, описывающий тематический профиль фильма. В основе лежит замороженный англоязычный энкодер sentence-transformers/all-MiniLM-L6-v2 с добавленной обученной MLP-головой; контекст ограничен 512 токенами. Векторные координаты соответствуют 256 тегам MovieLens Tag Genome с высокой дисперсией. Модель подходит для представления сюжетных описаний и пользовательских запросов в общем тематическом пространстве, поиска похожих по темам фильмов и сравнения интересов с фильмами по косинусному сходству. Размер модели — 25,9 млн параметров. Модель обучена на связке релевантностей тегов MovieLens ml-25m и сюжетных описаний TMDB. Сопоставление приблизительное: теги служат лишь приближением тем фильма, а сюжетные описания не всегда явно раскрывают эти темы. При использовании следует учитывать условия MovieLens и TMDB; лицензия весов — Apache-2.0.
PhishLens DomURLs-BERT — модель на архитектуре BERT, разработанная для классификации доменов и URL в криптовалютной экосистеме с целью выявления фишинга. Она присваивает входной строке одну из меток: phishing или legit. Модель содержит 137,8 млн параметров, принимает текст с контекстом до 512 токенов и предназначена для обнаружения подозрительных ссылок и доменов. Модель дообучена для задачи классификации текста и распространяется в формате safetensors по лицензии MIT. Карточка не приводит результатов оценки качества, поэтому надёжность предсказаний для конкретных источников и типов URL следует проверять отдельно.
Koichi Yasuoka разработал ModernBERT Large, дообученную на японской Википедии и текстах 青空文庫 для разметки частей речи и морфологических признаков. Модель присваивает каждому короткому слову теги UPOS и FEATS; её архитектура — ModernBERT для классификации токенов, размер — 409,7 млн параметров, контекст — до 8192 токенов. Базовая модель — KoichiYasuoka/modernbert-large-japanese-wikipedia. Модель предназначена для автоматического анализа японских текстов, в частности для извлечения грамматической структуры и подготовки данных для последующей лингвистической обработки. Она принимает японский текст и возвращает последовательность токенов с разметкой. Распространяется по лицензии Apache-2.0. Карточка демонстрирует использование через Transformers с пользовательским кодом.
Modesty_binary — англоязычный классификатор последовательностей, созданный дообучением microsoft/deberta-v3-base. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa V2 и принимает текстовые последовательности длиной до 512 токенов. Модель предназначена для бинарной классификации текста. На указанном в карточке наборе для оценки она достигла accuracy 0,68 и F1 0,6831; название и состав классов, а также назначение датасета не раскрыты. Доступны веса в формате safetensors для Transformers. Лицензия — MIT.
Карточка модели huangxudong/MOSS-Audio-Tokenizer-v2 на Hugging Face совпадает с карточкой OpenMOSS-Team/MOSS-Audio-Tokenizer-v2, поэтому описание составлено по ней. MOSS-Audio-Tokenizer-v2 — аудиотокенизатор команды OpenMOSS-Team, представленный в работе «MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models». Это унифицированная дискретная модель на архитектуре Cat (Causal Audio Tokenizer with Transformer), обученная с нуля. Общий размер энкодера и декодера составляет 2 млрд параметров; репозиторий содержит веса Safetensors и реализацию для Transformers с удалённым кодом. Модель кодирует и восстанавливает стереозвук с частотой дискретизации 48 кГц, сжимая его до 12,5 кадров в секунду. Стек из 32 уровней residual vector quantization поддерживает разные битрейты. Токены рассчитаны на сохранение качества реконструкции и семантических характеристик речи, звуковых эффектов и музыки; их можно использовать в последующих системах распознавания и синтеза речи. Предусмотрена потоковая обработка фрагментами. Модель обучена на 3 млн часов разнообразных аудиоданных с совместной оптимизацией компонентов кодека и семантического выравнивания. Карточка не заявляет конкретный список поддерживаемых языков. Для загрузки требуется Transformers и trust_remote_code=True; README рекомендует фиксировать проверенную ревизию. Лицензия — Apache-2.0.
matmei/MulticlassReaction — модель классификации последовательностей на базе DistilBERT, дообученная на наборе данных, название которого в карточке указано как None. Она предназначена для отнесения текста к одному из классов; название задачи MulticlassReaction указывает на многоклассовую классификацию реакций, однако карточка не уточняет тип входного текста и значения классов. Модель использует архитектуру DistilBertForSequenceClassification и принимает текстовые последовательности длиной до 512 токенов. В README приведено значение loss 0,5756 на оценочном наборе, но не описаны состав классов, обучающие данные или практическая точность. Распространяется по лицензии Apache-2.0.
AlexKolosov/my_first_model — дообученная модель классификации изображений на архитектуре ResNet-50, созданная на основе microsoft/resnet-50 и обученная на наборе данных imagefolder. Она предназначена для присвоения изображению метки класса. На указанной в карточке выборке оценки модель достигла accuracy 0,6 и loss 0,6853. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Сведения о классах, обучающих данных и ограничениях применения не приведены.
qdovan03/phobert-large-vsmec-5class — дообученная модель PhoBERT-large для классификации текста на пять классов. Она построена на архитектуре RoBERTa и содержит 468,2 млн параметров; базовая модель ориентирована на обработку вьетнамского языка. Модель принимает текст и выдаёт метки классов. В README приведены результаты оценки: accuracy 0,6735, взвешенный F1 0,6684 и macro F1 0,6619. Датасет и назначение пяти классов не описаны, поэтому нельзя надёжно определить конкретную прикладную область или сценарии классификации. Лицензия модели — MIT.
syssec-utd/py36-pylingual-v1-segmenter — модель семейства RoBERTa, разработанная как дообучение syssec-utd/py36-pylingual-v1-mlm для классификации токенов. Она обучена на наборе syssec-utd/segmentation-py36-pylingual-v1-tokenized и предназначена для сегментации последовательностей на уровне токенов. В метаданных указаны 136,3 млн параметров, контекст длиной 514 токенов и формат весов safetensors; для работы используется библиотека Transformers. В README сообщаются результаты на тестовой выборке: precision, recall, F1 и accuracy равны 1,0, loss — 0,0006. Сведений о языках, конкретной схеме сегментации и условиях практического применения карточка не содержит, поэтому эти результаты нельзя переносить на другие данные без проверки. Лицензия в предоставленных источниках не указана.
Карточка модели nityaak/qwen3-8b-stance-matrix-semeval-mtcsd-qlora на Hugging Face совпадает с карточкой nityaak/qwen3-8b-stance-matrix-semeval-mtcsd-ezstance-qlora, поэтому описание составлено по ней. nityaak/Qwen3-8B-stance-matrix-semeval-mtcsd-ezstance-qlora — дообученная модель семейства Qwen3 для генерации текста. Она основана на unsloth/Qwen3-8B-unsloth-bnb-4bit, имеет плотную архитектуру Qwen3ForCausalLM и 7,6 млрд параметров. Модель обучена с помощью Unsloth и библиотеки TRL; карточка называет её QLoRA-дообучением для задач stance detection, связанных с наборами SemEval, MT-CSD и EzStance. Модель предназначена для генерации текстовых ответов в диалоговом формате и может применяться для определения или формулирования позиции по текстовым высказываниям в рамках соответствующих задач. Контекст составляет до 40 960 токенов. Основной указанный язык — английский. Лицензия — Apache-2.0. Карточка не приводит оценок качества или деталей формата ожидаемых инструкций, поэтому результаты следует проверять на целевом наборе данных.
Qwen-BioTool-1.5B — дообученная модель на базе Qwen2.5-1.5B-Instruct, разработанная для выбора биомедицинских инструментов и формирования аргументов вызова функций. Она обрабатывает биомедицинский вопрос вместе со схемами доступных инструментов и возвращает вызов подходящего инструмента в заданном формате. Модель имеет плотную архитектуру Qwen2 с 1,5 млрд параметров и контекстом до 32 768 токенов; дообучение выполнено методом QLoRA в 4-битном режиме с Unsloth. Обучение охватывает 127 инструментов из NCBI E-utilities, UniProt REST и Ensembl REST, включая поиск геномных и белковых данных, сопоставление координат и предсказание эффектов вариантов. Это подходит для автоматизации запросов к биомедицинским API в задачах геномики, протеомики и сравнительной биологии. Модель не обучалась на клинических API, а её диалоговые возможности унаследованы от базовой модели. В поле arguments вызова инструмента JSON передаётся как строка, поэтому перед использованием аргументы нужно дополнительно разобрать. Модель не предназначена для диагностики или принятия клинических решений. Лицензия — Apache-2.0.