II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейSámi Wav2Vec2 Large — акустическая модель семейства wav2vec2, разработанная Ярославом Гетманом и Тамашем Гросом. Она предварительно обучена на 22,4 тыс. часов неразмеченной саамской речи из архива YleSámiRadio и предназначена как основа для распознавания речи и распознавания эмоций в речи после адаптации под конкретную задачу. Модель содержит 402,7 млн параметров и принимает аудио с частотой дискретизации 16 кГц. Веса опубликованы в формате safetensors; лицензия — Apache-2.0. Это этап предобучения без токенизатора: для преобразования речи в текст необходимо создать токенизатор и дообучить модель на размеченных текстовых данных. Готовая версия для распознавания речи указана в карточке как GetmanY1/wav2vec2-large-sami-22k-finetuned. Обучающие аудиофрагменты ограничивались 30 секундами, поэтому модель лучше подходит для коротких записей сопоставимой длительности. Данные радиоархива могут смещать её в сторону голосов ведущих; в обучающих материалах также могли оставаться музыка и другие неречевые звуки.
Sámi Wav2Vec2 Large — акустическая модель семейства wav2vec2, разработанная Ярославом Гетманом и Тамашем Гросом. Она прошла продолженное предварительное обучение на 22,4 тыс. часов неразмеченной саамской речи из архива YleSámiRadio. Модель содержит 402,7 млн параметров и принимает аудио с частотой дискретизации 16 кГц. Модель предназначена для адаптации к распознаванию саамской речи и распознаванию эмоций в речи. Это только предварительно обученный акустический энкодер: токенизатора у него нет, поэтому для получения транскрипций нужно создать токенизатор и дообучить модель на размеченных текстом данных. Для распознавания речи доступна отдельная дообученная версия GetmanY1/wav2vec2-large-sami-cont-pt-22k-finetuned. В обучающих данных были аудиофрагменты длиной не более 30 секунд; на таких коротких записях модель, вероятно, работает лучше. Архивные радиозаписи могут смещать модель в сторону голосов радиоведущих, а музыка и другие неречевые звуки — осложнять адаптацию на чистой речи. Лицензия — Apache-2.0.
Это портированная в формат Transformers модель Wav2Vec2 для распознавания эмоций в речи, подготовленная для задачи Emotion Recognition бенчмарка SUPERB. Она основана на wav2vec2-large-lv60, предварительно обученной на речевых аудиозаписях с частотой 16 кГц, и содержит около 402,7 млн параметров. Для входа требуется речь, дискретизированная с частотой 16 кГц; модель присваивает каждой реплике эмоциональный класс. В описанной настройке используются четыре сбалансированных класса набора IEMOCAP и стандартная пятифолдовая кросс-валидация. Модель предназначена для классификации эмоций в произнесённых репликах и экспериментов по оценке систем распознавания речи. В отчёте для исходной реализации S3PRL указана точность 0,6564 на session1; результат для Transformers не приведён. Порт опубликован в формате PyTorch и распространяется по лицензии Apache-2.0.
sbh013/wav2vec2-ser-ravdess-optimized — модель распознавания эмоций в речи, созданная дообучением facebook/wav2vec2-base-960h на датасете RAVDESS. Она принимает аудио и относит его к одному из восьми классов: angry, calm, disgust, fearful, happy, neutral, sad или surprised. Архитектура wav2vec 2.0 содержит 113,3 млн параметров; в репозитории указаны веса в формате safetensors. На тесте с тремя дикторами, не встречавшимися при обучении, модель достигла точности 68,3% и macro F1 0,676. Она подходит для экспериментов и анализа эмоциональной окраски английской речи. Модель обучалась и оценивалась только на постановочной английской речи студийного качества, поэтому результаты на спонтанной речи и записях с обычных микрофонов могут отличаться. Класс sad распознаётся хуже остальных и часто смешивается с fearful и neutral. Лицензия — Apache-2.0.
Модель anton-l/xtreme_s_xlsr_300m_minds14_old_splits — дообученная версия facebook/wav2vec2-xls-r-300m для классификации аудиозаписей из набора MINDS14. Она принимает речь и выдаёт метки классов; в метаданных также указана задача распознавания речи, однако README описывает дообучение именно на классификационном наборе. На оценочном наборе автор сообщает F1 0,9474 и accuracy 0,9470. Модель основана на архитектуре Wav2Vec2, содержит около 402,7 млн параметров и опубликована в формате PyTorch. Лицензия — Apache-2.0. Карточка не раскрывает поддерживаемые языки, состав классов и ограничения качества; результаты на MINDS14 не гарантируют такую же точность на других аудиоданных.
Модель valentinafevu/yolos-fashionpedia — дообученная версия YOLOS для обнаружения одежды и связанных с ней предметов и деталей на изображениях. Она распознаёт категории одежды, например рубашки, брюки, платья, обувь и сумки, а также аксессуары и элементы конструкции: воротники, рукава, карманы, молнии, пайетки и другие украшения. Модель разработана сообществом Hugging Face и обучена на датасете Fashionpedia; в репозитории указаны архитектура YOLOS и 28,3 млн параметров. Модель подходит для автоматической разметки модных изображений, поиска предметов гардероба на фотографиях и анализа деталей одежды. Она принимает изображения и выдаёт найденные объекты с классами и рамками. Метаданные указывают поддержку английского языка, хотя основная задача — визуальное обнаружение объектов. Лицензия MIT допускает использование и распространение согласно её условиям. Результаты ограничены заданным набором классов Fashionpedia: модель не предназначена для общего обнаружения объектов и может пропускать предметы или неверно определять категории на сложных, частично закрытых либо нестандартных изображениях.
mr-checker разработал англоязычную модель классификации текста на базе DistilBERT для определения стратегического намерения аудитории в материалах, связанных с YouTube. Модель относит текст к одной из восьми категорий: Build, Learn, Career, Evaluate, Awareness, Decide, Inspiration или Predict. Она предназначена для анализа интересов аудитории, планирования контентной стратегии, исследования рынка и поддержки бизнес-решений. Модель реализована как DistilBertForSequenceClassification и дообучена на distilbert/distilbert-base-uncased с использованием набора yt-strategic-intent-9k объёмом около 10 тысяч строк. Принимает англоязычный текст; штатная длина контекста — до 512 токенов. Распространяется в формате Safetensors под лицензией Apache 2.0. Классификация помогает выявлять предполагаемые мотивы взаимодействия с контентом, но качество прогнозов зависит от текста заголовков, расшифровок или метаданных. Модель не использует изображения, аудио или другие мультимодальные сигналы; автор также отмечает возможные ошибки на реальных данных из-за их качества.
Zoobot Encoder MaxViT RMLP Small RW 224 — визуальный энкодер из проекта Zoobot, опубликованный mwalmsley. Модель предназначена для классификации изображений и может использоваться как энкодер через библиотеку timm; README также указывает на возможность дообучения. Архитектура относится к семейству MaxViT, входной размер обозначен как 224 в имени модели, веса доступны в формате PyTorch. Модель можно применять как основу для классификатора изображений и адаптировать под наборы данных о галактиках. Репозиторий распространяется по лицензии Apache-2.0. README не приводит сведения о метриках, точном числе параметров или поддерживаемых языках; модель работает с изображениями и выдаёт классовые предсказания.
AfroXLMR-large-29L — языковая модель Davlan, полученная адаптацией XLM-R-large с помощью masked language modeling на корпусах африканских языков. Это плотный трансформер XLM-R с архитектурой XLMRobertaForMaskedLM и 658,7 млн параметров; он принимает текст и предсказывает замаскированные токены в контексте. Модель предназначена для работы с 25 африканскими языками, включая хауса, игбо, йоруба, амхарский, суахили, африкаанс и нигерийский пиджин, а также с арабским, французским, английским и португальским. Максимальный родной контекст — 514 токенов. Модель подходит как языковая основа для заполнения пропусков и downstream-задач с африканскими языками. Она распространяется по лицензии MIT. Карточка описывает адаптацию языковой модели, но не приводит результатов оценки качества; поддержка конкретных прикладных задач сверх заполнения масок не подтверждена.
AI-Music-Detection/ai_music_detection_large_60s — модель для классификации музыкальных записей как созданных искусственным интеллектом или человеком. Разработчик дообучил ASTForAudioClassification на базе MIT/ast-finetuned-audioset-10-10-0.4593 на датасете SleepyJesse/ai_music_large. Модель содержит 113,2 млн параметров и использует библиотеку Transformers; веса опубликованы в формате safetensors. Модель принимает аудио длительностью до 60 секунд и выдаёт класс, соответствующий происхождению музыки. В обучении использовались разделение данных 80/20 и аугментация аудио с вероятностью 0,8. Карточка не сообщает лицензию и результаты оценки качества, поэтому точность классификации и условия лицензирования оценить по ней нельзя.
Bunny2308/ast-gtzan-exp05 — модель классификации аудио, дообученная на наборе GTZAN от MIT/ast-finetuned-audioset-10-10-0.4593. Она использует архитектуру Audio Spectrogram Transformer (AST), основанную на Vision Transformer, и содержит 113,2 млн параметров. Модель предназначена для отнесения аудиозаписей к классам; в оценке на GTZAN указаны точность 0,91 и функция потерь 0,3180. Модель принимает аудио и выдаёт метки классов. Лицензия — BSD 3-Clause. Данные не уточняют набор классов, длительность входных записей или ограничения за пределами оценки на GTZAN.
bert-ascii-small — компактная модель семейства BERT, разработанная aajrami и предварительно обученная предсказывать сумму ASCII-кодов символов в маскированном токене. Эта цель предобучения отличается от стандартного предсказания токена и предназначена для изучения того, как выбор цели влияет на усвоение языковых свойств. Модель может извлекать векторные признаки из текста и подходит для экспериментов с представлениями языка и анализа влияния предобучения. Модель содержит 42,5 млн параметров, использует архитектуру RoBERTa и имеет контекст длиной до 514 токенов. Доступны веса PyTorch и Safetensors. Лицензия — CC BY 4.0. README не описывает результаты сравнительных оценок или конкретный набор поддерживаемых языков.
bert-small-amharic — компактная модель семейства BERT, разработанная rasyosef и предварительно обученная с нуля на амхарском языке. Она содержит около 31,5 млн параметров по метаданным и использует контекст до 512 токенов. Токенизатор обучен на том же корпусе и имеет словарь из 28 тысяч токенов. Основная задача модели — заполнение пропусков в тексте: она предсказывает замаскированные токены и подходит для экспериментов и разработки амхарских NLP-систем. README также приводит результаты отдельных дообученных вариантов для классификации тональности, распознавания именованных сущностей и классификации новостей; эти результаты не означают, что данный базовый чекпойнт напрямую выполняет эти задачи без дообучения. Для предобучения использовались амхарские подмножества OSCAR, mC4 и amharic-sentences-corpus, всего около 290 млн токенов. В оценке на амхарском наборе указаны loss 2,77 и perplexity 15,96; README сообщает о сопоставимых с XLM-RoBERTa-base результатах на этой оценке при существенно меньшем числе параметров. Модель предназначена для амхароязычного текста и не является мультимодальной. Лицензия в предоставленных данных не указана.
Salesforce/bic_simple_edit_id — модель Salesforce для классификации токенов на основе RoBERTa. В метаданных указаны 454,1 млн параметров, контекст до 514 токенов, формат PyTorch и лицензия Apache-2.0. Карточка сообщает, что выпуск предназначен для исследований в рамках академической статьи. Модель может применяться для задач разметки токенов, однако документация не уточняет целевые метки, датасеты, поддерживаемые языки и сценарии применения. Перед использованием следует оценить точность, безопасность и справедливость модели.
ConceptCLIP — разработанная авторами статьи Nature Biomedical Engineering концептуально расширенная биомедицинская модель «изображение—текст» для медицинских изображений. Она сочетает визуальный энкодер SigLIP-ViT-400M-16 и текстовый энкодер PubMedBERT; обучение выравнивает изображения с текстами и локальные области изображений с понятиями. Текстовая часть рассчитана на английский язык, а модель работает с разными модальностями медицинских изображений. Модель предназначена для исследовательских задач, где важны классификация, поиск между изображениями и текстом, аннотирование понятий и интерпретируемость. Её также можно использовать для извлечения признаков в исследованиях патологии, генерации медицинских отчётов и визуальных вопросов и ответов, а также дообучать для разных типов снимков. Доступ к репозиторию ограничен процедурой запроса доступа; лицензия MIT. Модель не является медицинским устройством и не предназначена для самостоятельной постановки диагноза, выбора лечения или сортировки пациентов. Результаты зависят от данных и клинического контекста; концептуальные объяснения не гарантируют причинной корректности и могут опираться на артефакты. Для практического применения нужны проверка на целевых данных, оценка смещений и контроль специалиста.
polejowska/detr-r50-cd45rb-8ah-6l — модель обнаружения объектов на базе DETR с ResNet-50, дообученная автором на наборе данных cd45rb. Она предназначена для нахождения и локализации объектов на изображениях; в карточке приведён результат оценки на тестовой выборке: loss 1,5794. Модель содержит 6,3 млн параметров и распространяется в формате PyTorch. Модель подходит для сценариев, где требуется обнаруживать объекты из набора классов cd45rb. Состав классов и подробные сведения о точности, обучении и ограничениях в карточке не описаны. Лицензия — Apache-2.0.
Модель mariagrandury/distilbert-base-uncased-finetuned-sms-spam-detection — дообученная на наборе sms_spam модель DistilBERT для бинарной классификации SMS на спам и обычные сообщения. Она принимает текст и возвращает метку класса; архитектура использует DistilBertForSequenceClassification. Контекст ограничен 512 токенами, веса опубликованы в форматах PyTorch и Safetensors. На тестовой выборке автор сообщает точность 99,21% и значение loss 0,0426. Модель подходит для фильтрации SMS и построения простых детекторов спама, однако карточка не описывает состав и объём обучающих данных или поведение на других языках и типах сообщений. Лицензия — Apache-2.0.
Это модель классификации последовательностей на базе DistilBERT, дообученная phailyoor от distilbert-base-uncased. Она предназначена для отнесения текста к классам; конкретная область применения и смысл меток в карточке не описаны. Модель принимает текст, использует архитектуру DistilBertForSequenceClassification и рассчитана на контекст до 512 токенов. В карточке указана точность 0,4010 и функция потерь 5,7685 на оценочной выборке, однако описание набора данных и меток отсутствует, поэтому эти результаты трудно интерпретировать. Модель распространяется по лицензии Apache-2.0.
SetFit/distilbert-base-uncased__sst2__train-8-1 — модель классификации текста на базе DistilBERT, дообученная на наборе данных SST-2 для классификации тональности отзывов. В метаданных указана архитектура DistilBertForSequenceClassification, формат PyTorch и контекст до 512 токенов. Модель принимает текст и выдаёт метку класса. На оценочной выборке в карточке указаны точность 0,5047 и функция потерь 0,6930, что свидетельствует о слабом качестве предсказаний. Модель может служить примером или отправной точкой для экспериментов с классификацией тональности; для практического применения её качество следует отдельно проверить. Лицензия — Apache-2.0.
Модель leomaurodesenv/electra-base-discriminator-disaster-tweet-jailbreaking-augmented — дообученный англоязычный энкодер ELECTRA на базе google/electra-base-discriminator для классификации текстовых последовательностей. В названии указана тематика твитов о катастрофах и jailbreaking, однако README не поясняет целевые классы и набор данных, поэтому конкретную схему классификации установить нельзя. Модель построена на архитектуре ElectraForSequenceClassification, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены результаты на оценочной выборке: loss 0,1216 и accuracy 0,9789; без сведений о датасете и методике оценки эти показатели нельзя напрямую переносить на другие данные. Модель распространяется под лицензией Apache-2.0.
Модель разработана Lax (LakshmiNarayanan Sugumar) и представляет собой BERT-base, дообученный для бинарной классификации новостных статей как настоящих или фальшивых. Она принимает текст заголовка и статьи на английском языке; архитектура BertForSequenceClassification содержит 136,7 млн параметров, поддерживает контекст до 512 токенов и распространяется в формате safetensors по лицензии Apache 2.0. Модель обучена на очищенной от ряда поверхностных подсказок версии WELFake: удалялись упоминания Reuters, фразы в верхнем регистре нормализовались, а восклицательные знаки ограничивались. Это улучшило распознавание некоторых настоящих статей вне обучающего распределения, сохранив высокие результаты на отложенной выборке WELFake. Модель предназначена для учебных и демонстрационных сценариев, например предварительной оценки новостного материала. Качество на обучающем распределении не гарантирует обобщения на другие источники и стили. В README отмечены слабые результаты на сатире и сухо написанных мистификациях; модель не следует использовать для производственной модерации или проверки фактов без участия человека.
espnet/hubert_dummy — модель самообучаемого представления речи на основе HuBERT, подготовленная chen26 с использованием рецепта ESPnet для LibriSpeech. Она предназначена для извлечения признаков из аудиосигналов и последующего применения в задачах обработки речи, где нужны предварительно обученные акустические представления. В каталоге Hugging Face модель обозначена как audio и self-supervised-learning с типом конвейера feature-extraction. Модель работает с речевыми аудиоданными и связана с английским языком через набор данных LibriSpeech. В README не указаны точный размер модели, число параметров, архитектурные гиперпараметры, поддерживаемые частоты дискретизации и максимальная длина контекста, поэтому эти характеристики определить нельзя. Конфигурация показывает демонстрационное обучение продолжительностью в одну эпоху и использование одного GPU, но это не является описанием ограничений инференса. Сильной стороной модели является интеграция с ESPnet2 и возможность использовать её как готовый экстрактор речевых признаков в экспериментах и последующих моделях обработки речи. Ограничения связаны с отсутствием подробных сведений о качестве, бенчмарках, языковом охвате и производительности; кроме того, название dummy может указывать на тестовый или демонстрационный характер модели. Модель распространяется по лицензии CC BY 4.0.
IA-Original — мультиязычная модель RoBERTa, разработанная IBM Research и предварительно обученная на монолингвальных корпусах 11 индоарийских языков: бходжпури, бенгальском, гуджарати, хинди, магадхи, маратхи, непали, ория, пенджаби, санскрите и урду. Модель содержит 197,7 млн параметров, использует архитектуру RobertaForMaskedLM и доступна в формате PyTorch; длина контекста — 514 токенов. Основное назначение модели — предсказание скрытых токенов в тексте. Её можно применять как основу для языковых исследований и оценки на разнообразных задачах, включая бенчмарк IndicGLUE. Модель обучалась на монолингвальных корпусах указанных языков. Лицензия в предоставленных данных не указана.
Модель TCL Research Europe определяет для каждого речевого хода, должен ли голосовой помощник ответить, в том числе когда пользователь обращается к нему без ключевого слова. Она учитывает текущую реплику и контекст до 20 предыдущих ходов, чтобы распознавать продолжения диалога и отличать обращение к помощнику от разговора между людьми. Для классификации использует Zipformer-small и причинный трансформер контекста; модель содержит 25,3 млн параметров и принимает аудио. Обучена и оценена на синтетическом англоязычном наборе intelligent_wakeup; фиксированное ключевое слово в обучающих данных — «Sigma». В тесте достигла F1 0,889, но полнота для реплик-продолжений без ключевого слова составила 0,716, а ложные срабатывания — 3,98 в час нерелевантной речи. Модель классифицирует уже сегментированные ходы и требует внешних VAD и диаризации. Лицензия — Apache-2.0.
Jonrewardstage1epi1 — дообученная модель на базе openai-community/gpt2, разработанная автором репозитория Setpember. По архитектуре GPT-2 она предназначена для классификации последовательностей текста. Модель использует плотную архитектуру, сохранена в формате safetensors и имеет контекст длиной до 1024 токенов. Карточка не описывает обучающие данные, целевые классы и результаты оценки, поэтому практическое качество и подходящие сценарии применения определить нельзя. Модель распространяется по лицензии MIT.
RadixArk/Kimi-K3-DSpark — вспомогательная модель черновой генерации для ускорения инференса Kimi K3 методом спекулятивного декодирования. Она разработана для совместной работы с целевой моделью Kimi K3 и не является самостоятельной языковой моделью для ответов пользователю. В метаданных указаны плотная архитектура семейства Qwen3, класс DSparkDraftModel и размер 3,4 млрд параметров; README описывает пять слоёв полного внимания в стиле Qwen3 с GQA и блоком из семи черновых токенов. Веса целевой модели, включая embedding и unembedding, в репозиторий не входят. Модель предназначена для ускорения генерации в SGLang: она предлагает несколько токенов-кандидатов, которые проверяет Kimi K3. README приводит результаты принятия черновых токенов на SWE-Rebench, GSM8K, MATH500 и RULER V2. Метаданные заявляют контекст до 1 048 576 токенов, а README уточняет, что обучение проводилось на контексте 65 536 токенов; для конфигурации до миллиона токенов используется YaRN-16. Формат весов — Safetensors; метаданные указывают библиотеку Transformers. Лицензия в предоставленных данных не указана.
KoBERT-LM — корейская модель на базе BERT, разработанная monologg и дополнительно предварительно обученная для повторного обучения маскированной языковой головы. Она предназначена для предсказания скрытых токенов и дальнейшего обучения языковой модели на корейских текстах. Модель содержит 119,4 млн параметров, принимает текстовые последовательности длиной до 512 токенов и доступна в форматах PyTorch, Flax и safetensors. Модель подходит как основа для экспериментов и задач восстановления пропущенных слов в корейском тексте. README указывает, что для загрузки токенизатора через AutoTokenizer требуется trust_remote_code=True. Распространяется по лицензии Apache-2.0.
Legal-HeBERT — модель семейства BERT для обработки текстов на иврите в юридической и законодательной сферах. Репозиторий avichr/Legal-heBERT_ft содержит дообученную версию HeBERT на юридических и законодательных документах; в README также описана отдельная версия, обученная с нуля, но карточка этого репозитория относится к варианту дообучения. Модель имеет 136,7 млн параметров, архитектуру BertForMaskedLM и контекст до 512 токенов. Основная задача модели — восстановление замаскированных токенов. Её можно использовать для анализа и разработки инструментов NLP для израильских законов и судебных документов, а также дообучать для прикладных задач обработки юридического иврита. Обучающие данные включают израильское законодательство и судебные решения. Модель распространяется в формате PyTorch; сведения о лицензии в предоставленных данных отсутствуют.
GraphWiz/LLaMA2-7B-DPO — инструктивная языковая модель проекта GraphWiz на архитектуре LLaMA, предназначенная для решения задач на графах. Модель преобразует текстовые описания графов и структур в явное рассуждение на естественном языке и ответ. В карточке указаны 6,6 млрд параметров, контекст до 4096 токенов и формат PyTorch. Модель обучалась в два этапа: смешанное обучение на нескольких типах задач и выравнивание предпочтений методом DPO. Она предназначена для задач о циклах, связности, двудольности, топологии, кратчайших путях, треугольниках, потоках, гамильтоновых циклах и подграфах. В качестве датасета указан GraphWiz/GraphInstruct-RFT-72K. Лицензия — Apache-2.0. Модель генерирует ответы на естественном языке, однако её результаты по задачам на графах могут быть ошибочными; README приводит сравнительные оценки, но доступный фрагмент не содержит полных результатов. Язык модели и результаты за пределами графовых задач в предоставленных данных не описаны.
Lyric alignment — модель и фреймворк для выравнивания вьетнамского текста песен по музыкальной записи с вокалом. Проект разработал nguyenvulebinh для задачи Zalo AI Challenge 2022. На вход подаются аудиофрагмент и текст песни, на выходе — времена начала и окончания каждого слова. В карточке Hugging Face модель отмечена как automatic-speech-recognition, но описанный пользовательский сценарий — принудительное выравнивание текста и аудио. Акустическая модель основана на wav2vec2-large-vi-vlsp2020 и архитектуре Wav2Vec2ForCTC; размер составляет 402,8 млн параметров. Она обучена на песенных данных, а метод выравнивания использует CTC-Segmentation и вероятности меток по кадрам. Перед выравниванием текст приводится к произносимой форме: для англоязычных слов применяется отдельная модель написания произношения, для чисел — Vinorm. В README приведены WER 0,2267 на публичном тесте Zalo и IoU 0,632 на публичном лидерборде. Модель рассчитана на вьетнамские песни; смешанные английские слова и числовые записи обрабатываются через отдельные преобразования текста. Лицензия репозитория — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.