II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейbamibert-phone-acsa-multilabel — модель RoBERTa на 129 млн параметров для многометочной классификации текста. Она обучена с нуля на неизвестном наборе данных; карточка не уточняет, какие именно метки и тексты используются, поэтому практическую специализацию модели определить нельзя. Модель принимает текст и выдаёт результаты классификации. Контекст составляет 2050 токенов; веса опубликованы в формате safetensors, библиотека — Transformers. Разработчик и условия лицензии в предоставленных данных не указаны.
Koichi Yasuoka разработал японскую модель BERT для разметки частей речи и синтаксического анализа зависимостей. Это дообученная модель BertForTokenClassification на основе tohoku-nlp/bert-base-japanese-v2, предобученной на текстах японской Википедии. Модель присваивает UPOS каждому слову в японском тексте; карточка показывает применение для разметки токенов. Размер модели — 138,4 млн параметров, максимальный контекст — 512 токенов. Модель подходит для автоматической разметки японских текстов частями речи и подготовки данных для лингвистического анализа. Она использует PyTorch и Transformers. Лицензия — CC BY-SA 4.0.
dimfeld/BioLinkBERT-large-feat — версия BioLinkBERT-large, опубликованная dimfeld; согласно карточке, её веса идентичны michiyasunaga/BioLinkBERT-large, а изменён только pipeline tag на feature-extraction. Это энкодер BERT/LinkBERT с 432,2 млн параметров, обученный на аннотациях PubMed с учётом ссылок цитирования между документами. Модель принимает текст и выдаёт скрытые векторные представления токенов; максимальная длина контекста — 512 токенов. Модель предназначена для извлечения признаков и эмбеддингов текста, а также как основа для дообучения под биомедицинскую классификацию, ответы на вопросы и разметку последовательностей. Учёт связей между документами полезен для задач, требующих знаний из нескольких источников; в README также заявлены сильные результаты на биомедицинских NLP-бенчмарках. Модель работает с английским языком и распространяется под лицензией Apache-2.0.
dima806/bird_sounds_classification — модель классификации аудио на архитектуре Wav2Vec2, дообученная на базе facebook/wav2vec2-base-960h. Она предназначена для распознавания классов звуков птиц по аудиозаписям. Модель содержит 113,3 млн параметров и распространяется в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.
Koichi Yasuoka разработал CamemBERT-модель, дообученную на тайском тексте для морфологической разметки. Модель присваивает словам теги UPOS из универсальной системы частей речи и предназначена для классификации токенов в конвейерах NLP. В карточке указана архитектура CamemBERT с 304,7 млн параметров, длина контекста — 512 токенов; модель работает с тайским языком и представлена в формате PyTorch. Модель подходит для разметки частей речи в тайских текстах и может использоваться в задачах синтаксического анализа как компонент обработки текста. Лицензия — Apache-2.0. Карточка упоминает dependency parsing, но описывает выдачу именно UPOS-тегов; отдельный формат предсказания синтаксических зависимостей не подтверждён.
tanganke/clip-vit-large-patch14_sun397 — дообученная модель на архитектуре CLIP ViT-Large с размером патча 14, созданная на основе openai/clip-vit-large-patch14. Модель с 402,7 млн параметров предназначена для извлечения признаков изображений и классификации сцен по категориям набора SUN397. В README приведены результаты оценки: 0,683 для исходной модели и 0,828 после дообучения. Репозиторий содержит веса в формате safetensors. Это зрительная модель CLIP; данные о поддержке естественных языков, контекстном окне и лицензии в предоставленных источниках отсутствуют.
JetBrains разработала DeepSeek-Coder-1.3B-Kexer — генеративную модель кода, дообученную на синтетических упражнениях по Kotlin в формате задач HumanEval. Она основана на DeepSeek-Coder-1.3B-Base с плотной архитектурой Llama и содержит 1,3 млрд параметров. Модель предназначена для генерации и дополнения кода на Kotlin, в том числе заполнения пропусков между префиксом и суффиксом с использованием формата FIM. Для дообучения использовали 15 тысяч примеров; на наборе Kotlin HumanEval авторы сообщают Pass Rate 36,65%.
Модель разработана командой Hate-speech-CNERG для выявления оскорбительного содержания в текстах на каннада, включая тексты с кодовым смешением. Это классификатор на базе XLM-RoBERTa с 305,2 млн параметров; веса инициализированы предобученной XLM-RoBERTa-Base, дополнительно обучены с помощью masked language modeling на целевых данных, а затем дообучены для классификации. Модель предназначена для идентификации оскорбительного языка и связана с задачей EACL 2021 Shared Task по выявлению оскорбительной речи в дравидийских языках. В описанной оценке модель получила weighted F1 0,73 на отложенном тестовом наборе; ансамбль моделей достиг 0,74. Подходит для классификации каннада-текстов в модерации и исследованиях языка. Прикладная область ограничена каннада, включая код-смешанные данные; качество на других языках и типах текста не подтверждено. Контекст составляет 514 токенов. Лицензия — Apache-2.0.
Модель AAA01101312/distilbert-base-uncased-finetuned-clinc — дообученная для классификации текстов версия DistilBERT от команды AAA01101312. Она предназначена для отнесения входного текста к одному из классов; название указывает на настройку для CLINC, однако README не раскрывает набор меток и сценарии применения. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. На указанном в карточке наборе оценки модель получила accuracy 0,9155 и loss 0,7977. Базовая модель — distilbert/distilbert-base-uncased; лицензия — Apache-2.0. Данные обучения и ограничения в карточке подробно не описаны.
Карточка модели Mooshie/eva02_large_patch14_448.dbv4-full на Hugging Face совпадает с карточкой animetimm/eva02_large_patch14_448.dbv4-full, поэтому описание составлено по ней. animetimm выпустила дообученную модель EVA-02 Large для многометочной классификации изображений и извлечения визуальных признаков. Модель содержит 316,8 млн параметров и рассчитана на входные изображения размером 448×448 пикселей. Она предсказывает метки из набора Danbooru WD Tagger v4: общие теги, персонажей и рейтинговые категории; всего в наборе 12 476 меток. Модель подходит для автоматического тегирования аниме- и иллюстративных изображений, поиска персонажей и фильтрации изображений по категориям. В README приведены результаты на тестовой выборке: при пороге 0,40 micro F1 составляет 0,693, а для категорий символов и рейтинга указаны отдельные рекомендованные пороги. Доступны веса PyTorch и ONNX; метаданные также указывают формат safetensors. Лицензия — GPL-3.0. Качество зависит от выбранных порогов и соответствия изображения обучающему набору; особенно для общих тегов метрики ниже, чем для тегов персонажей. Модель предназначена для изображений и выдаёт оценки по набору меток, а не текстовое описание произвольного содержания.
Модель yainage90/fashion-object-detection разработана как дообученная версия microsoft/conditional-detr-resnet-50 для поиска объектов на изображениях модной одежды. Она использует архитектуру Conditional DETR с ResNet-50 и предназначена для обнаружения семи категорий: сумок, предметов нижней одежды, платьев, головных уборов, обуви, верхней одежды и топов. Модель обучалась на сочетании датасетов ModaNet и Fashionpedia. В README указан лучший результат mAP 0,7542 на 96-й эпохе из 100. Её можно применять для распознавания и локализации предметов одежды на фотографиях, в том числе в сценариях визуального поиска модных товаров. Репозиторий содержит веса safetensors и предназначен для библиотеки Transformers. Лицензия модели — MIT. Указанные метрики относятся к описанному обучению; качество на других изображениях и распределениях данных может отличаться.
FastContext-4B-SFT_base-Function-Calling-xLAM-Unsloth — дообученная модель на базе microsoft/FastContext-1.0-4B-SFT, разработанная автором репозитория с помощью SFT на наборе Salesforce/xlam-function-calling-60k. Это причинная языковая модель семейства Qwen3 с архитектурой Qwen3ForCausalLM; в метаданных указано 3,7 млрд параметров, а в README — 4,0 млрд. Модель предназначена для диалогового вызова функций и инструментов по текстовым инструкциям. Нативная длина контекста составляет 262 144 токена. В карточке приведены только наблюдения за обучающей потерей; downstream-бенчмарки не проводились, поэтому качество вызова функций не подтверждено независимой оценкой. Дообучение выполнено на одном наборе инструкций, и поведение за его пределами не проверено. Объединённые с базовыми весами LoRA-адаптеры нельзя отделить от этой версии. Модель наследует смещения, ограничения знаний и сбои базовой модели. Лицензия в предоставленных данных не указана.
Flood-Image-Detection — модель классификации изображений, разработанная prithivMLmods на основе SigLIP 2 от Google и дообученная для распознавания двух классов: затопленная и незатопленная сцена. Она использует архитектуру SiglipForImageClassification и формат весов safetensors; для работы предусмотрена библиотека Transformers. Модель предназначена для обнаружения затоплений на изображениях: мониторинга последствий стихийных бедствий, анализа окружающей среды, поддержки кризисного реагирования и автоматических оповещений по данным камер или других источников изображений. В README приведён отчёт на тестовой выборке из 1 918 примеров с точностью 95,57%; эти показатели относятся к указанной выборке и не гарантируют такое же качество на других данных. Модель принимает изображения и выдаёт метки классов с оценками вероятности. В метаданных указан английский язык. Лицензия — Apache-2.0. Результаты классификации могут зависеть от условий съёмки и отличий новых изображений от обучающих данных.
Gender-Classification — модель классификации текста на основе DistilBERT, дообученная из distilbert-base-uncased. Она предназначена для отнесения текстовых входов к категориям, связанным с полом; сведения о метках классов и целевых сценариях в карточке отсутствуют. Модель принимает текст с контекстом до 512 токенов и выдаёт метку классификации. В README приведены accuracy 1.0 и loss 0.0000 на оценочном наборе, однако без описания датасета и методики эти показатели нельзя интерпретировать как оценку качества на новых данных. Лицензия — Apache-2.0.
Это модель эмбеддингов предложений на базе Sentence Transformers, дообученная автором репозитория на наборе eti-embedding-training-data-2048-triplets-merged-v3. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации. В основе лежит ModernBERT; для сравнения векторов применяется косинусное сходство, а выходные эмбеддинги нормализуются. Метаданные указывают окно контекста до 32768 токенов, тогда как карточка модели задаёт максимальную длину последовательности 2048 токенов. Модель дообучена для текстов на норвежском языке, в том числе медицинской информации и диалога с пациентами и их родственниками. В опубликованных оценках указаны точность 0,998 на triplet-наборе и точность поиска 0,703@1, 0,937@3 и 0,977@5 на dev_ir; результаты относятся к указанным наборам и не гарантируют качество на других данных. Доступна в формате safetensors через Sentence Transformers. Лицензия в предоставленных сведениях не указана.
Helios-Reasoner-7B-Prod — модель семейства BERT от procedure2012, опубликованная в формате PyTorch и доступная через библиотеку Transformers. В README она описана как модель рассуждений, обученная с применением RLHF и дополнительного обучения на математических и программных данных; заявлены результаты на задачах математического, логического и повседневного рассуждения. При этом метаданные классифицируют её как модель извлечения признаков с архитектурой BertModel, поэтому назначение репозитория по имеющимся данным неоднозначно. Лицензия — Apache-2.0. README заявляет статус production и предлагает чат-интерфейс и API, но не содержит подробных инструкций для локального запуска. В метаданных нет размера модели, контекста или языков; в README эти характеристики также не приводятся.
minoosh/hubert-base-ls960-finetuned-ie — модель классификации аудио, созданная дообучением facebook/hubert-base-ls960. Она основана на архитектуре HuBERT и содержит 113,3 млн параметров. Модель предназначена для отнесения аудиоданных к классам; в README указаны точность 0,6130 и loss 1,1686 на оценочном наборе. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Назначение метки «ie», состав классов, обучающий набор данных и подробные ограничения в карточке не раскрыты, поэтому применимость для конкретного сценария классификации аудио требует проверки.
paranroman/indobert-ekman-emotion — модель классификации эмоций в тексте на индонезийском языке, разработанная на основе IndoBERT. Она дообучена на датасете диалогов на индонезийском языке, стилизованных под общение глухих, и предсказывает одну из семи меток: отвращение, удивление, гнев, нейтральное состояние, грусть, радость или страх. Модель построена на архитектуре BERT с классификационной головой, содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для определения эмоциональной окраски индонезийских высказываний и анализа диалогов. Она распространяется под лицензией MIT. Её классификация ограничена перечисленными семью категориями, а обучение на специфическом корпусе диалогов может влиять на качество при обработке других стилей и жанров текста.
JminJ/kcElectra_base_Bad_Sentence_Classifier — корейская модель классификации предложений, созданная разработчиком JminJ на базе Beomi/KcELECTRA. Она дообучена с помощью ElectraForSequenceClassification для бинарного определения того, относится ли комментарий или сообщение к нежелательным: метка 0 означает bad sentence, метка 1 — not bad sentence. Модель рассчитана на анализ текстов из интернет-комментариев и чатов. Для обучения объединили и переразметили открытые датасеты Korean Unsmile и Korean HateSpeech; отдельные примеры из Korean Unsmile также вручную переклассифицировали. В карточке указаны 151,7 млн параметров, контекст до 512 токенов и форматы PyTorch и Safetensors. На валидации для варианта KcELECTRA указана точность 0,8849. Классификатор может ошибаться, а понятие нежелательного высказывания отражает правила разметки обучающих данных. Разработчик отмечает, что не может публиковать преобразованные обучающие данные из-за авторских прав. Лицензия в предоставленных сведениях не указана.
KF-DeBERTa — корейская языковая модель для общего и финансового доменов, разработанная KakaoBank совместно с FNGuide. Она обучена на корпусах общего назначения и финансовых текстов и основана на архитектуре DeBERTa-v2; в репозитории представлена модель DebertaV2ForMaskedLM с 213,1 млн параметров и контекстом до 512 токенов. Модель предназначена для заполнения пропусков в тексте и может служить базой для дообучения под классификацию финансовых новостей и тональности, распознавание сущностей, анализ отношений и другие задачи понимания корейского языка. В карточке приведены результаты проверки на общих корейских и финансовых бенчмарках; разработчики сообщают о конкурентных результатах, в том числе на KLUE. Модель принимает текст и предсказывает замаскированные токены. Она рассчитана прежде всего на корейский язык и финансовые тексты, но также обучалась на корпусах общего назначения. Доступна по лицензии MIT; результаты для конкретной задачи могут потребовать дополнительной проверки и дообучения.
LFM2.5-230M-Code-Math-Exp — экспериментальная дообученная модель автора hauser458b на инструкционной LiquidAI/LFM2.5-230M. Она предназначена прежде всего для генерации кода на нескольких языках программирования, сохраняя диалоговые и инструкционные возможности исходной модели. Это плотная причинная языковая модель семейства LFM2 с 221,2 млн параметров и контекстом до 128 000 токенов; опубликованные веса представлены в safetensors. Модель проверяли на наборе из 90 написанных вручную заданий, включая генерацию небольших программ и веб-проектов. Автор отмечает улучшения в Java, JavaScript и генерации законченных приложений по сравнению с предыдущей версией, но оценка была однократной и неформальной. Модель может быть полезна для черновиков кода и простых программных задач, однако её результаты требуют проверки. Лицензия указана как other; условия следует уточнить в карточке модели и у правообладателя.
Liujgoj-Cantonese-Qwen2.5-Omni-7B-SFT — модель Yvthyvq, полученная supervised fine-tuning базовой Liujgoj-Cantonese-Qwen2.5-Omni-7B-CPT. Это плотная модель семейства Qwen2.5-Omni Thinker с 7 млрд параметров, предназначенная для генерации текста на кантонском языке и работы с системой записи Liujgoj Cantonese Orthography. Модель преобразует разговорный кантонский текст в иероглифах в романизацию Liujgoj и обратно, разбивает слитные строки Liujgoj на слоги и учитывает контекст при восстановлении написания. Эти возможности могут служить языковой основой для подготовки данных и обучения речевых систем; сама карточка описывает текстовые задачи, а не распознавание или синтез речи. Модель принимает и генерирует текст, ориентирована на кантонский язык и доступна под лицензией Apache-2.0. В README отмечено, что это промежуточный этап обучения серии, а работа с аудио и ASR планируется как следующий этап; подтверждённые задачи ограничены текстовой генерацией.
Llama JoyCaption Beta One — визуально-языковая модель для создания подробных описаний изображений. По карточке её разработал автор проекта JoyCaption для сообщества; модель предназначена прежде всего для подготовки подписей к изображениям, используемых при обучении и дообучении моделей генерации изображений. Она принимает изображения и текстовые инструкции, поддерживает диалоговый интерфейс и выдаёт текстовые описания. Модель объединяет визуальный энкодер SigLIP 2 SO400M Patch14 384 и Meta Llama 3.1 8B Instruct; в метаданных архитектура обозначена как LLaVA. Автор заявляет широкое покрытие стилей изображений, включая цифровое искусство, фотореализм и аниме, а также описания SFW- и NSFW-концепций. Указанный в примере запуска предел контекста — 4096 токенов. Сильная сторона модели — ориентированность на подробное и разнообразное описание изображений для подготовки данных генеративных моделей. Карточка предупреждает, что запуск через vLLM может требовать настройки параметров и значительных ресурсов видеопамяти. Автор заявляет открытые веса и отсутствие ограничений, однако конкретный идентификатор лицензии в предоставленных данных не указан.
Модель Pavarissy/mdeberta-v3-ud-thai-pud-upos — дообученная версия microsoft/mdeberta-v3-base для разметки частей речи в тайском языке. Она присваивает токенам универсальные грамматические категории UPOS на основе корпуса Thai PUD из набора Universal Dependencies; архитектура — DeBERTa V2 для классификации токенов, размер — 306 млн параметров, максимальный контекст — 512 токенов. Модель подходит для автоматической POS-разметки тайских текстов и подготовки лингвистических данных. В README приведены результаты оценки на тестовой выборке: accuracy и weighted F1 — 0,9935, macro F1 — 0,9231. Модель распространяется по лицензии MIT.
YeRyeongLee/mental-bert-base-uncased-masked_finetuned-0517 — дообученная модель классификации текстов на базе BERT, созданная на основе mental/mental-bert-base-uncased. В репозитории указано 136,7 млн параметров; модель использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Модель предназначена для классификации текстовых последовательностей. В карточке приведены результаты оценки на тестовой выборке: accuracy 0,917 и F1 0,9171. Датасет и конкретные классы классификации не описаны, поэтому оценить применимость к определённой теме или сценарию нельзя. Модель представлена в формате PyTorch. Лицензия в предоставленных данных не указана.
Anwaarma/Merged-Server-praj — модель классификации последовательностей на архитектуре BERT, дообученная на основе Anwaarma/BP-server02andinteger03. Она предназначена для присвоения меток текстовым последовательностям; размер модели — 4,4 млн параметров, длина контекста — до 512 токенов. Модель создана 24 декабря 2023 года и распространяется в формате safetensors. В README приведены результаты оценки: loss 0,6453, accuracy 0,619 и F1 0,7647. Данные обучения и конкретные классы не описаны, поэтому применимость к определённой предметной области оценить нельзя. Лицензия в предоставленных данных не указана.
Модель cirimus/modernbert-large-bias-type-classifier разработана на основе ModernBERT-large и дообучена для многометочной классификации предвзятости в англоязычных текстах. Она относит высказывания и вопросы к 11 категориям, включая расовую, религиозную, гендерную, возрастную, национальную, политическую и другие виды предвзятости. Модель построена на архитектуре ModernBERT, содержит 394,7 млн параметров и поддерживает контекст до 8192 токенов; для работы используется Transformers. Её можно применять для анализа предвзятости в контенте, поддержки модерации и исследований, связанных с этикой ИИ. В README приведены результаты оценки на тестовом разбиении синтетического набора данных, созданного Mistral 7B для работы GUS-Net, однако эти показатели не гарантируют качество на реальных данных. Возможны ошибки при пересечении категорий и переносе на другие предметные области; автор указывает, что модель заменена cirimus/ultrabert-380M-bias-type-classifier. Лицензия — MIT.
ModernBERT-large_sentiment — англоязычная модель классификации тональности сообщений разработчиков, например обсуждений на GitHub и Stack Overflow. Её разработали Fabian C. Peña и Steffen Herbold, дообучив ModernBERT-large с архитектурой ModernBertForSequenceClassification. Модель относит сообщения к положительной, нейтральной или отрицательной тональности. Модель содержит около 394,7 млн параметров, принимает текст и рассчитана на контекст до 8192 токенов. Она подходит для анализа тональности в коммуникациях разработчиков. Распространяется по лицензии MIT.
OpenCodeReasoning-Nemotron-1.1-7B — языковая модель NVIDIA для генерации и пошагового рассуждения при решении задач программирования. Это дообученная версия Qwen2.5-7B-Instruct с плотной архитектурой decoder-only Transformer и 7,1 млрд параметров; модель обучали на наборе OpenCodeReasoning, содержащем задачи соревновательного программирования и ответы, сгенерированные DeepSeek-R1-0528. Модель принимает текст и генерирует текст. Она рассчитана на генерацию кода и объяснение решений задач программирования; поддерживает контекст до 32 768 токенов по метаданным каталога, тогда как README заявляет до 65 536 токенов. В README приведены результаты оценки на LiveCodeBench, но они не гарантируют качество на других задачах и сценариях. Модель ориентирована на разработчиков и исследователей, а в README указана возможность коммерческого и некоммерческого использования. Она оптимизирована для систем с GPU NVIDIA; для запуска рекомендуется NeMo 2.3.0 или vLLM. Основной язык в метаданных — английский. Данные не подтверждают качество для других языков или задач вне программирования.
Helsinki-NLP/opus-mt-de-iso — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на язык с кодом iso и предназначена для автоматического перевода отдельных текстов и корпусов. Модель построена на архитектуре MarianMT с Transformer-align; в предобработке используются нормализация и SentencePiece. Модель содержит 49,6 млн параметров и рассчитана на контекст до 512 токенов. Для набора JW300.de.iso в карточке приведены результаты BLEU 21,4 и chr-F 0,389. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.