II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейЭто дообученная Mask2Former для сегментации отдельных объектов на изображениях. Модель обучена на небольшой подвыборке ADE20K примерно из 2 000 изображений; обучающая разметка охватывает классы «человек» и «автомобиль», а остальные пиксели отнесены к фону. Модель предназначена для выделения масок людей и автомобилей, например, при анализе уличных или иных сцен. В карточке указаны PyTorch и формат весов safetensors; обучение выполнялось через API Trainer библиотеки Transformers. Качество на других наборах данных и способность распознавать дополнительные классы не подтверждены. Условия лицензии в предоставленных данных не описаны.
GhostNet 1.0 — компактная сверточная модель классификации изображений из семейства GhostNet, опубликованная авторами соответствующей работы и обученная на ImageNet-1k. Версия timm/ghostnet_100.in1k содержит около 5,2 млн параметров и рассчитана на изображения размером 224 × 224 пикселя; для запуска используются PyTorch и библиотека timm, веса доступны в форматах PyTorch и Safetensors. Модель определяет классы объектов на изображениях и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Компактный размер и низкая вычислительная стоимость делают её подходящей для классификации изображений в приложениях с ограниченными ресурсами. Она ориентирована на категории ImageNet-1k, поэтому качество на других наборах данных и специализированных классах может быть ниже без адаптации. Лицензия — Apache 2.0.
Git-RSCLIP — большая модель сопоставления изображений и текстов для данных дистанционного зондирования Земли, разработанная авторами проекта Git-RSCLIP. Она дообучена на 10 миллионах пар изображение–текст из набора Git-10M и использует архитектуру, подобную Google SigLIP Large Patch16-256. Модель предназначена для извлечения признаков изображений, классификации изображений без дополнительного обучения и поиска соответствий между изображениями и текстовыми описаниями. Модель принимает RGB-изображения, приводимые к размеру 256×256, и текстовые описания, токенизируемые до 64 токенов; на выходе формирует признаки для сопоставления изображений и текста. Она специализирована на снимках дистанционного зондирования, поэтому её применение вне этой области может быть ограничено. Репозиторий распространяется под лицензией Apache-2.0.
Модель LYTinn/gpt2-finetuning-sentiment-model-3000-samples — дообученная на наборе IMDb модель GPT-2 для классификации тональности текстов. Она использует архитектуру GPT2ForSequenceClassification и предназначена для определения тональности отзывов, в частности отзывов о фильмах. Модель принимает текст и выдаёт метки классов. В карточке приведены результаты оценки на тестовой выборке: accuracy 0,6467 и F1 0,6159; эти показатели указывают на ограниченное качество классификации. Контекст модели составляет 1024 токена. Веса представлены в формате PyTorch, лицензия — MIT. Карточка не уточняет набор меток и языки обучающих данных, поэтому область применения за пределами IMDb не подтверждена.
Модель ruben09/image_classification — дообученная для классификации изображений версия Vision Transformer google/vit-base-patch16-224-in21k. Она принимает изображение и предсказывает его класс. Модель построена на Transformers, веса доступны в формате Safetensors; размер составляет около 113,2 млн параметров. В README указаны результаты на наборе оценки: loss 2,0337 и accuracy 0,275. Назначение конкретных классов и набор данных описаны только как imagefolder, поэтому применимость модели к определённым категориям изображений не установлена. Лицензия — Apache-2.0.
korean_kws2 — модель классификации аудио, разработанная на основе Kkonjeong/wav2vec2-base-korean и дообученная для распознавания аудиоклассов. Архитектура Wav2Vec2ForSequenceClassification содержит 113,3 млн параметров; веса опубликованы в формате safetensors и предназначены для использования с библиотекой Transformers. Карточка сообщает точность 1,0 и loss 0,2604 на оценочном наборе, но не описывает набор данных, классы или конкретный сценарий применения. Поэтому результаты нельзя переносить на другие данные без проверки. Лицензия в предоставленных сведениях не указана.
ChiJuiChen/Lab8_DETR_BOAT — дообученная модель обнаружения объектов на изображениях, основанная на zhuchi76/detr-resnet-50-finetuned-boat-dataset. Она использует архитектуру DETR с ResNet-50 и предназначена для обнаружения и локализации лодок на изображениях. Модель содержит 6,3 млн параметров и распространяется в формате Safetensors. Модель подойдёт для поиска лодок на изображениях и получения их расположения в виде рамок объектов. Она обучена на наборе boat_dataset. Лицензия — Apache-2.0.
Om Patnaik разработал mBERT-hinglish-cm — дообученную модель mBERT для бинарной классификации хинди-английского смешанного текста. Она определяет, содержит ли текст оскорбительное высказывание: метка 0 означает NOT_OFFENSIVE, метка 1 — OFFENSIVE. Модель построена на BertForSequenceClassification и содержит 205,1 млн параметров; базовая архитектура — google-bert/bert-base-multilingual-cased. Она принимает текст, поддерживает хинди и английский, имеет контекстное окно 512 токенов; в описанном обучении вход обрезался до 128 токенов с учётом специальных токенов. Модель предназначена для исследовательских сравнений, анализа ошибок и изучения обнаружения оскорбительной речи в смешанном хинди-английском тексте. В README приведены результаты на наборе CM для трёх seed, однако контрольная выборка участвовала в выборе чекпойнта, поэтому оценки не являются результатами независимого финального теста. Обобщение на другие наборы данных ограничено; ошибки возможны из-за транслитерации, слов, связанных с идентичностью, цитируемых оскорблений и отсутствия контекста диалога. Модель не проверена для автономной модерации или принятия решений о людях. Лицензия на тонко настроенные веса пока не назначена; лицензия Apache-2.0 базовой модели не распространяется автоматически на данные и эту производную модель.
MeBERT-Mixed — модель семейства BERT, разработанная авторами проекта MeBERT и дообученная на корпусе L3Cube-MeCorpus. Она предназначена для работы с код-смешанным текстом на маратхи и английском, записанным латиницей и письмом деванагари. Модель содержит 205,1 млн параметров, принимает последовательности длиной до 512 токенов и поддерживает задачу восстановления замаскированных токенов. Модель подходит для языковых исследований и построения систем, которым нужно предсказывать пропущенные слова в маратхи-английских текстах. Она основана на multilingual BERT и обучена на корпусе, ориентированном на код-смешанный язык. Репозиторий содержит веса PyTorch; лицензия — CC BY 4.0.
Ffohturk выпустил Mila_1L — базовую языковую модель с одним слоем на архитектуре LLaMA 2. Она обучена на 6 млрд токенов из раздела algebraic-stack набора Proof-Pile 2; автор отмечает, что распределение её ответов в основном ориентировано на код. Модель содержит 20,6 млн параметров, использует токенизатор LLaMA 2 и рассчитана на контекст до 1024 токенов. Модель предназначена для генерации текста, прежде всего кода, и для экспериментов с компактными языковыми моделями и обучением на математических и кодовых данных. В README приведены значения потерь на обучении и тестировании, но нет сведений о прикладной оценке качества. Лицензия указана как Llama 2; перед использованием следует учитывать её условия.
Koichi Yasuoka разработал ModernBERT-large-japanese-aozora-luw-upos — модель семейства ModernBERT для разметки японского текста. Она дообучена на основе KoichiYasuoka/modernbert-large-japanese-aozora и предварительно обучалась на текстах 青空文庫; размер модели — 409,7 млн параметров, контекст — до 8192 токенов. Модель присваивает каждому длинному слову части речи по схеме UPOS и признаки FEATS. Она предназначена для морфологической разметки японских текстов и может применяться в обработке корпуса, лингвистическом анализе и подготовке данных для синтаксического разбора. В карточке также заявлен dependency parsing, но пример использования показывает pipeline для UPOS-разметки. Модель принимает текст и выдаёт метки токенов. Поддерживается японский язык. Лицензия — Apache-2.0. Качество разметки и ограничения на конкретных жанрах или типах текста в карточке не описаны.
mStyleDistance — многоязычная модель эмбеддингов стиля текста, представленная авторами работы «mStyleDistance: Multilingual Style Embeddings and their Evaluation». Она преобразует текст в векторы так, чтобы тексты с похожим стилем письма располагались ближе, а с разным стилем — дальше, независимо от содержания и языка. Модель предназначена для стилистического анализа многоязычных текстов, кластеризации, идентификации и верификации авторства, а также автоматической оценки переноса стиля. Она основана на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель дообучена контрастивным методом на синтетическом наборе mSynthSTEL с примерами примерно 40 стилистических признаков на девяти неанглийских языках. Сильная сторона модели — построение представлений стиля с меньшей зависимостью от содержания и применимость между языками. Для использования эмбеддингов в прикладной задаче может потребоваться отдельная кластеризация или метрика сходства. Модель распространяется по лицензии MIT.
StanislavKo28 создал модель классификации музыкального настроения на основе wav2vec 2.0. Это дообученная модель Facebook/Wav2Vec2-base-960h с архитектурой Wav2Vec2ForSequenceClassification, 113,3 млн параметров и весами PyTorch в формате safetensors. Она принимает аудио и относит музыку к одному или нескольким из 14 настроений: злому, мрачному, энергичному, эпическому, эйфоричному, радостному, таинственному, расслабляющему, романтичному, грустному, пугающему, гламурному, воодушевляющему и сентиментальному. Модель предназначена для тегирования музыкальных записей, организации медиатеки, рекомендаций и поиска музыки по настроению, а также анализа музыкального контента. Обучение проводилось на HWNAS Dataset: 6930 размеченных аудиофрагментов длительностью 30 секунд, поровну распределённых по 14 категориям. В README приведены метрики оценки по эпохам, но они невысоки в первых трёх показанных эпохах, поэтому качество на новых музыкальных данных следует проверять отдельно. Лицензия — Apache-2.0.
RadBERT-CT — модель классификации текстовых последовательностей на основе RoBERTa, опубликованная IAMJB. Она дообучена на отчётах КТ из набора CT-RATE и выдаёт оценки для 18 классов, что подходит для автоматической категоризации и структурирования радиологических описаний компьютерной томографии. Модель содержит 151,8 млн параметров, использует формат safetensors и рассчитана на последовательности длиной до 514 токенов. Модель принимает текст и возвращает классовые оценки и предсказания. Её специализация — отчёты КТ; сведений о поддержке других языков, кроме указанного в карточке датасета, нет. Базовая модель — zzxslp/RadBERT-RoBERTa-4m. Лицензия — MIT.
RegNetZ B16 — модель классификации изображений из библиотеки timm, обученная Россом Уайтманом на ImageNet-1k. Архитектура использует блоки с инвертированным узким местом и линейными выходами блоков; вариант B16 имеет групповую ширину 16 и вычислительную сложность около 1,5 GFLOPs при размере изображения 256×256. Модель содержит около 9,7 млн параметров. Модель предназначена для присвоения изображению метки класса из набора ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. В карточке указаны размер обучения 224×224 и тестирования 288×288; лицензия — Apache-2.0.
SeyedAli/Remote-Sensing-UAV-image-classification — дообученная модель Vision Transformer (ViT) для классификации изображений дистанционного зондирования, в том числе полученных с БПЛА. Она основана на google/vit-base-patch16-224-in21k и содержит 113,2 млн параметров. Модель обучена на наборе данных jonathan-roberts1/RSSCN7; для оценки указана точность 0,9907 и потеря 0,0593. Модель принимает изображения и предсказывает для них классы, поэтому подходит для классификации снимков дистанционного зондирования в задачах компьютерного зрения. Она распространяется в форматах PyTorch и Safetensors по лицензии Apache-2.0. Подробности о метках классов и ограничениях применения в карточке не приведены.
ResNet34.a3_in1k — свёрточная модель классификации изображений из библиотеки timm, обученная сообществом timm на ImageNet-1k по рецепту ResNet Strikes Back A3. Архитектура ResNet использует активации ReLU, начальную свёртку 7×7 с пулингом и проекции 1×1 в shortcut-связях. В модели около 21,8 млн параметров и 1,9 GMACs; обучение проводилось на изображениях 160×160, стандартный размер при оценке — 224×224. Модель предназначена для классификации изображений по категориям ImageNet, а также может использоваться как backbone для извлечения карт признаков и эмбеддингов изображений. Для воспроизводимости рецепт обучения включает оптимизатор LAMB, BCE loss и косинусное расписание скорости обучения с разогревом. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0.
SecBERT — предварительно обученная языковая модель семейства BERT, разработанная для работы с текстами по кибербезопасности. Модель обучена на корпусе материалов APTnotes, Stucco-Data, CASIE и отчётов SemEval-2018 Task 8. Она использует собственный WordPiece-словарь secvocab, адаптированный к этой тематике; архитектура — BertForMaskedLM, размер — 96,6 млн параметров, контекст — 514 токенов. Основной сценарий применения — предсказание скрытых токенов в текстах по кибербезопасности. Модель также предназначена для дальнейшего использования в задачах распознавания сущностей, классификации текста, семантического анализа и ответов на вопросы в этой области. Поддерживаемый язык — английский. Модель распространяется по лицензии Apache-2.0.
Модель peldrak/segformer-b4-ade-512-512-finetuned-coastTrain — модель семантической сегментации изображений на базе SegFormer B4 от NVIDIA, дообученная на наборе peldrak/coastTrain_512-512. Она присваивает пиксели изображениям классы прибрежной сцены: вода, прибойная пена, осадок, природный рельеф, растительность, застройка и неизвестный класс. В оценке на тестовом наборе достигла mIoU 0,7259 и общей точности 0,8905; точность для воды составила 0,9420, а для прочего природного рельефа — 0,5254. Модель подходит для анализа береговой линии и классификации элементов прибрежных изображений. Она наследует архитектуру SegFormer B4 и была обучена на изображениях размером 512 × 512. Данные README не раскрывают состав и объём обучающей выборки, поэтому качество на других источниках изображений не установлено. Лицензия указана как other; конкретные условия следует проверить в репозитории модели.
StanfordAIMI/SRR-BERT-Leaves-with-Statuses — модель Stanford AIMI для многоклассовой классификации текстовых медицинских заключений. По примеру из карточки она присваивает тексту метки заболеваний и рентгенологических признаков с указанием статуса, например «неопределённо». Модель построена на BERT и имеет 136,7 млн параметров; максимальная длина контекста составляет 512 токенов. Модель предназначена для разметки текстов рентгенологических заключений, включая выявление признаков вроде ателектаза и затемнения лёгочной ткани. Карточка показывает пример предсказания, но не содержит сведений о языках обучения, наборе меток, качестве на независимых данных или лицензии, поэтому пригодность для конкретного клинического процесса оценить по ней нельзя.
stanfordnlp/stanza-gv — модель из набора Stanza, разработанного Stanford NLP Group для лингвистического анализа манксского языка. Она предназначена для разметки текста на уровне токенов; в составе Stanza такие модели используются в конвейерах NLP-анализа. Модель распространяется в формате PyTorch по лицензии Apache-2.0.
stanfordnlp/stanza-nn — модель Stanza от Stanford NLP для лингвистического анализа нюнорска. Она предназначена для разметки последовательностей токенов в текстах на нюнорске и входит в набор инструментов, который анализирует текст от исходной формы до синтаксического разбора и распознавания сущностей. Репозиторий содержит веса PyTorch и использует библиотеку Stanza. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает размер, длину контекста или конкретный состав разметки этой модели; поэтому её возможности описаны на уровне задачи token classification.
T5-Base-10K-Summarization — дообученная модель на базе Google T5-Base для составления кратких изложений разделов финансовых отчётов 10-K. Она принимает текст отчёта и формирует сжатое текстовое резюме, помогая финансовым аналитикам и регулирующим организациям быстрее находить сведения о финансовых данных и тенденциях. Модель имеет архитектуру T5 с 123,8 млн параметров и контекстом до 512 токенов; формат весов — safetensors. Для обучения использовались размеченные отчёты 10-K из разных отраслей. Лицензия в предоставленных данных не указана.
Модель restor/tcd-segformer-mit-b2 разработана Restor и ETH Zurich для семантической сегментации древесного покрова на аэрофотоснимках. Она классифицирует каждый пиксель как покрытый или не покрытый кронами деревьев и рассчитана на изображения с разрешением около 10 см на пиксель. Модель построена на архитектуре SegFormer с энкодером MiT-B2 и предназначена для анализа отдельных тайлов; обработка крупных ортофотопланов требует внешнего разбиения на тайлы и объединения результатов. Основной сценарий — оценка доли территории, занятой древесным пологом, с анализом нужной области интереса. Модель не распознаёт отдельные деревья и не оценивает биомассу или высоту крон. Возможны ложные срабатывания на кустарниках и другой растительности, а качество может снижаться для недопредставленных биомов и снимков с другим разрешением. В карточке указана лицензия CC; авторы отмечают, что SegFormer распространяется по отдельной исследовательской лицензии, а обучающие изображения включают материалы CC BY-NC, поэтому перед использованием следует проверить применимые условия лицензирования.
tf_mobilenetv3_small_075.in1k — компактная модель классификации изображений семейства MobileNetV3. Её обучили на ImageNet-1k авторы статьи в TensorFlow, затем Ross Wightman перенёс веса в PyTorch; модель доступна через библиотеку timm. В ней около 2 млн параметров, она рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям ImageNet-1k и может использоваться как основа для извлечения признаков и получения эмбеддингов изображений. Компактный размер делает её подходящей для приложений с ограниченными вычислительными ресурсами. Лицензия репозитория — Apache-2.0. Карточка не приводит метрик качества; результаты на других наборах данных и для задач, отличных от классификации ImageNet-1k, не описаны.
Trendyol LLM v4.1.0 — чат-модель генерации текста, разработанная Trendyol на базе Trendyol LLM base v4.0. Базовая версия продолжительно обучалась на Qwen2.5 7B на 13 млрд токенов; версия v4.1.0 предназначена для диалогового использования. Модель имеет плотную архитектуру Qwen2, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель ориентирована на сценарии электронной коммерции: генерацию описаний товаров, извлечение атрибутов и тегов, определение категорий, суммирование, диалоги о моде, интерпретацию предпочтений по действиям пользователя и ответы с использованием RAG. Она поддерживает турецкий язык и интерфейс вызова функций, однако эта возможность обозначена как частично реализованная. Также заявлена поддержка английского языка. README предупреждает, что модель не прошла широкую проверку в реальных приложениях и может выдавать неточную, предвзятую или вредоносную информацию; для разговорной речи и языков, отличных от английского и турецкого, качество может быть ограничено. Для публичных сценариев рекомендуется проверка результатов человеком и тестирование под конкретное приложение. Модель распространяется по лицензии Apache 2.0.
vit_relpos_base_patch16_224.sw_in1k — модель классификации изображений семейства Vision Transformer, опубликованная в библиотеке timm. Вариант архитектуры ViT использует относительные позиционные эмбеддинги, не содержит токен класса и формирует итоговое представление усреднением токенов. Модель обучена на ImageNet-1k; в карточке указаны 86,4 млн параметров и размер входного изображения 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальный backbone или для получения эмбеддингов изображений. Она поддерживает конвейер image-classification и распространяется в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Карточка не описывает поддержку текстового или иных входов и не приводит измерений качества.
airasoul/wav2vec2-base-drum-kit — модель классификации аудио на базе Wav2Vec2, дообученная на facebook/wav2vec2-base для распознавания одиночных ударных и перкуссионных звуков. Она относит звук к одному из 10 классов: clap, conga, crash, cymbal, hat, kick, ride, rim, snare или tom. Модель принимает монофонический звук с частотой 16 кГц длительностью до 3 секунд; более длинные фрагменты обрезаются, короткие дополняются. Подходит для разметки отдельных ударов в аудиозаписях и сортировки звуков ударных. В README указана точность 97% на тестовой выборке из 300 примеров; результат может быть ниже на длинных миксах, перекрывающихся звуках и записях с отличающимися условиями. Модель содержит 113,3 млн параметров, использует архитектуру Wav2Vec2 и распространяется по лицензии MIT.
bobboyms/wav2vec2-base-en-phoneme-ctc-41h — модель распознавания английской речи, полученная дообучением facebook/wav2vec2-base. Это архитектура wav2vec 2.0 с CTC-головой, содержащая 113,3 млн параметров; модель принимает аудио и предназначена для вывода фонемной последовательности. В README приведены результаты оценки: PER 0,1045 и точность распознавания фонем 0,8955; набор данных не назван. Модель можно применять для преобразования английской речи в фонемы, например, в задачах фонетического анализа и подготовки произношения. Данные карточки не описывают ограничения по акустическим условиям или способу использования результатов. Лицензия — Apache-2.0.
Jzuluaga разработал wav2vec2-large-960h-lv60-self-en-atc-atcosim — модель распознавания речи на основе Wav2Vec 2.0, дообученную на корпусе ATCOSIM с сообщениями авиационного управления воздушным движением. Она преобразует аудиозаписи радиопереговоров на английском языке в текст и предназначена для автоматической расшифровки ATC-коммуникаций. Модель содержит 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC. На тестовой выборке ATCOSIM указана доля ошибок на уровне слов (WER) 1,67%. Для распознавания в других аудиодоменах, например в записях LibriSpeech или CommonVoice, сопоставимое качество не гарантируется. Модель распространяется по лицензии Apache-2.0.