II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейcodeswitch-hineng-lid-lince — модель Sagor Sarker для определения языка в смешанных сообщениях на хинди и английском. Она размечает текст на уровне токенов, присваивая фрагментам языковые метки, чтобы выявлять переключение между языками в одной последовательности. Модель построена на BERT и обучена на данных LinCE для распознавания хинди-английского кода. Она принимает текст и выдаёт токенные метки; поддерживаемая длина контекста — 512 токенов. Вес модели составляет около 205,1 млн параметров. Репозиторий содержит веса в форматах PyTorch и Flax, включая safetensors. Модель подходит для анализа код-свитчинга и подготовки разметки смешанных текстов, но область её применения ограничена сочетанием хинди и английского и задачей языковой идентификации на уровне токенов. Лицензия — MIT.
codeswitch-spaeng-lid-lince — модель на архитектуре BERT для идентификации языка в испанско-английских текстах со смешением языков. Она классифицирует токены, помогая определить, к какому языку относится каждый фрагмент текста. Модель обучена на данных LinCE и предназначена для анализа испанско-английского переключения кодов. Модель содержит 205,1 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и Flax, включая веса safetensors. Подходит для разметки смешанных испанско-английских сообщений и изучения языкового переключения. Распространяется по лицензии MIT.
NVIDIA Cosmos Reason 2 — мультимодальная модель зрения и языка на 8 млрд параметров, дообученная на базе Qwen/Qwen3-VL-8B-Instruct. Она предназначена для физического ИИ и робототехники: анализирует изображения и видео с учётом пространства, времени и физических закономерностей, объясняет выводы и помогает планировать действия воплощённых агентов. Модель поддерживает диалог, длинный контекст до 256 тысяч входных токенов, обнаружение объектов и выдачу меток, координат точек и ограничивающих рамок в 2D и 3D. Сценарии применения включают видеоаналитику, поиск причин событий в видеопотоках, отбор и аннотирование сенсорных данных, а также рассуждение и планирование для роботов и автономных транспортных средств. Модель разработана NVIDIA; в карточке указана библиотека Cosmos и формат весов safetensors. README заявляет готовность к коммерческому использованию, однако лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверять с лицензией репозитория. Выходы модели могут влиять на физические действия роботов, поэтому для задач с физическим воздействием требуется проверка результатов.
Модель tanganke/gpt2_cola разработана пользователем tanganke на основе openai-community/gpt2 и дообучена на наборе CoLA из бенчмарка GLUE. Это модель классификации текста с архитектурой GPT-2 и максимальным контекстом 1024 токена; в метаданных указан pipeline-тег text-classification. Модель предназначена для оценки грамматической приемлемости предложений английского языка: она определяет, выглядит ли предложение грамматически корректным. Дообучение выполнялось в течение 3 эпох с learning rate 5e-5, а в карточке модели для оценки указанная метрика — accuracy. Сильная сторона модели — специализация на задаче CoLA и возможность применять её для автоматического предварительного отбора или анализа английских предложений. Она не предназначена для универсальной классификации текстов, генерации ответов или полноценной проверки орфографии и стиля; результаты могут быть ограничены распределением данных GLUE и особенностями GPT-2.
Модель ourafla/mental-health-bert-finetuned разработана на основе mental/mental-bert-base-uncased и дообучена для классификации англоязычных текстов по четырём категориям: тревожность, депрессия, обычное состояние и суицидальные высказывания. Это BERT-Base с архитектурой BertForSequenceClassification, примерно 136,7 млн параметров и контекстом до 512 токенов; модель принимает текст и выдаёт метку класса. Модель предназначена для исследований текстов о психическом здоровье, анализа публикаций в социальных сетях и вспомогательного выявления высказываний, требующих внимания. В README сообщается о точности 89,72% на сбалансированном тестовом наборе из 992 примеров; показатели F1 различаются между классами, а тревожность и депрессия иногда смешиваются. Лицензия — Apache-2.0. Модель не предназначена для диагностики и не заменяет оценку специалиста. Она анализирует только текст, обучалась преимущественно на англоязычных публикациях из социальных сетей и может хуже работать с другими культурными контекстами и формами выражения переживаний.
NusaBERT-Plutchik-Emotion-Classifier — модель классификации текста на базе BERT, дообученная на основе Aardiiiiy/EmoSense-ID-Indonesian-Emotion-Classifier. Она предназначена для распознавания эмоций в индонезийском тексте и может применяться для анализа сообщений и других текстовых материалов. Модель содержит 137,8 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. В README приведён результат F1 0,6419 на оценочном наборе; данные этого набора и его состав не раскрыты. Модель распространяется по лицензии MIT.
Модель cm93/resnet18-eurosat — сверточная нейросеть на архитектуре ResNet-18, дообученная для классификации спутниковых изображений. Она предназначена для распознавания классов землепользования и земного покрова на цветных RGB-снимках Sentinel-2, подготовленных в наборе EuroSAT. Обучение проводилось на 27 000 размеченных изображениях, относящихся к 10 классам. В README сообщается точность 97,74% на тестовой выборке. Модель основана на ResNet-18, предварительно обученной на ImageNet-1k, и распространяется в форматах PyTorch и Safetensors по лицензии MIT.
TAPEX base, разработанная авторами TAPEX, — модель для ответов на вопросы по таблицам. Она основана на архитектуре BART и обучена выполнять табличные рассуждения, имитируя исполнение SQL-запросов; этот вариант дообучен на наборе WikiSQL. Модель содержит 95,2 млн параметров, принимает таблицу и вопрос в текстовом представлении и генерирует текстовый ответ. Указанная длина контекста — 1024 токена. Модель предназначена для ответов на сравнительно простые вопросы по табличным данным, включая поиск значений и подсчёты. Она ориентирована на английский язык. Репозиторий распространяется с лицензией MIT. Сложные вопросы и таблицы за пределами обучающего распределения могут приводить к ошибочным ответам.
Cardiff NLP представляет RoBERTa-base для анализа англоязычных публикаций в Twitter. Модель обучена на 168,86 млн твитов, опубликованных до конца сентября 2022 года, и содержит около 151,8 млн параметров. Это плотная трансформерная модель RoBERTa с головой masked language modeling; поддерживает контекст до 514 токенов и доступна в формате PyTorch. Основное применение — предсказание замаскированных слов в тексте Twitter. Карточка также показывает пример получения эмбеддингов твитов, но метаданные относят модель к задаче fill-mask. Для предобработки авторы рекомендуют заменять имена пользователей на @user, а ссылки — на http, в соответствии с подготовкой данных при обучении. Модель подходит для анализа языка соцсетей своего временного периода; новые выражения и изменения языка после сентября 2022 года могли не попасть в обучающие данные. Лицензия — MIT.
5CD-AI/visobert-14gb-corpus — языковая модель на архитектуре XLM-RoBERTa, созданная продолжением предобучения uitnlp/visobert на объединённом корпусе объёмом 14 ГБ. В корпус вошли публикации и комментарии Facebook, данные UIT и материалы MC4 по электронной коммерции. Модель содержит 124,8 млн параметров и принимает последовательности длиной до 514 токенов. Чекпойнт предназначен для заполнения пропусков в тексте и как основа для дообучения задачам классификации и разметки вьетнамских текстов из социальных сетей. В README описано дообучение для распознавания эмоций, выявления ненавистнических высказываний, спам-отзывов и выделения фрагментов ненавистнической речи. Для указанных экспериментов использовались последовательности длиной до 128 токенов. Модель распространяется в формате Safetensors; для загрузки используется Transformers. В метаданных лицензия не указана. Результаты README относятся к перечисленным downstream-задачам, поэтому качество на других языках и типах текстов по этим данным оценить нельзя.
keremberke/yolov8n-building-segmentation — модель компьютерного зрения на архитектуре YOLOv8 от автора keremberke, предназначенная для сегментации зданий на изображениях. Она выдаёт маски объектов класса Building и рассчитана на применение с библиотекой Ultralytics; репозиторий содержит веса PyTorch и связан с датасетом satellite-building-segmentation. Модель можно использовать для выделения зданий на спутниковых снимках и анализа застройки. Карточка указывает один поддерживаемый класс — Building. Условия лицензии в предоставленных данных не описаны.
bengali_pos_v1 — модель mHossain, дообученная на csebuetnlp/banglabert с использованием набора pos_tag_100k для разметки частей речи на уровне токенов. Это дискриминативная модель ELECTRA с архитектурой ElectraForTokenClassification, содержащая 137,8 млн параметров и поддерживающая контекст до 512 токенов. В метаданных указан формат весов safetensors. Модель предназначена для присвоения токенам бенгальского текста тегов частей речи. На оценочном наборе указаны точность 0,8182, precision 0,7541, recall 0,7567 и F1 0,7554. Лицензия в предоставленных данных не указана.
hezarai разработала hezarai/bert-fa-pos-lscp-500k — модель на основе ParsBERT, дообученная на наборе данных LSCP-500k для определения частей речи в персидском тексте. Она размечает токены грамматическими категориями и предназначена для запуска через библиотеку hezar. Репозиторий содержит веса PyTorch. Модель подходит для автоматической морфосинтаксической разметки персидских текстов и подготовки данных для лингвистического анализа. Карточка не сообщает размер модели и длину контекста. Условия лицензии в предоставленных данных не указаны.
BERTweet — англоязычная языковая модель на архитектуре RoBERTa, разработанная Dat Quoc Nguyen, Thanh Vu и Anh Tuan Nguyen и предварительно обученная специально на сообщениях Twitter. Для предобучения использован корпус из 850 млн англоязычных твитов, включая сообщения за 2012–2019 годы и 5 млн твитов о COVID-19. Модель содержит 162,4 млн параметров и рассчитана на контекст до 130 токенов. Основная задача модели — предсказание замаскированных слов в тексте. Она подходит для анализа и подготовки англоязычных твитов, например для языковых исследований или как основа для адаптации к задачам обработки коротких сообщений. Доступны версии весов для PyTorch, TensorFlow и Flax. Лицензия — MIT. Авторы просят цитировать их статью при публикации результатов или включении модели в программное обеспечение.
BioRedditBERT-uncased — англоязычная модель семейства BERT, разработанная исследователями Cambridge Language Technology Lab. Она основана на BioBERT Base v1.0 и дополнительно предварительно обучена на сообщениях о здоровье из Reddit, чтобы лучше представлять медицинские термины и упоминания симптомов в текстах социальных сетей. Модель содержит 135,5 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Модель предназначена для извлечения признаковых представлений текста, в том числе для задач связывания медицинских упоминаний с сущностями в корпусах социальных сетей. В описанном авторами эксперименте представления BioRedditBERT улучшили точность связывания сущностей на наборе AskAPatient по сравнению с BERT-base и BioBERT v1.1. Репозиторий содержит веса в форматах PyTorch, TensorFlow и Flax, включая safetensors. Лицензия в предоставленных данных не указана.
Модель представляет собой дообученный BERT-классификатор для выявления токсичности и языка ненависти в текстах на чилийском испанском. Её разработал Jorge Ortiz Fuentes на основе dccuchile/patana-chilean-spanish-bert и обучил на наборе jorgeortizfuentes/toxicity_spanish_hate_speech_v2. Архитектура — BertForSequenceClassification, размер — 137,1 млн параметров, контекст — до 512 токенов. Модель предназначена для классификации испаноязычных сообщений, например, для модерации пользовательского контента и анализа токсичных высказываний. В README приведён результат F1 0,8161 на оценочной выборке. Модель распространяется по лицензии CC BY 4.0; качество на других вариантах испанского и вне домена обучения не описано.
Модель tanganke/clip-vit-base-patch32_resisc45 — дообученная на наборе спутниковых снимков RESISC45 визуальная часть CLIP ViT-Base с размером патча 32. Она извлекает признаки изображений и предназначена для представления и анализа снимков дистанционного зондирования Земли. В README приведены результаты оценки: 0,6047 для исходной предобученной модели и 0,9522 после дообучения; метрика не уточнена. Модель содержит 113,2 млн параметров и распространяется в формате Safetensors. Базовая модель — openai/clip-vit-base-patch32; лицензия в предоставленных данных не указана.
NVIDIA Cosmos Reason 2 — мультимодальная модель с 2 млрд параметров для рассуждений по изображениям и видео в задачах физического ИИ и робототехники. Она дообучена на Qwen/Qwen3-VL-2B-Instruct и предназначена для анализа пространства, времени и физических взаимодействий, а также для планирования действий воплощённых агентов. Модель поддерживает диалоговый анализ визуальных данных, временные метки, поиск объектов с координатами точек и рамками 2D/3D, метками и объяснениями. Заявлена работа с контекстом до 256 тыс. входных токенов. Сценарии применения включают видеоаналитику, отбор и аннотацию сенсорных данных, а также рассуждения для планирования роботов и автономных транспортных средств. Разработчик — NVIDIA; карточка заявляет готовность к коммерческому использованию. Метаданные указывают лицензию «other», поэтому конкретные условия следует сверить с лицензией репозитория. Модель предназначена для исследовательских и прикладных систем физического ИИ; её выводы могут влиять на физическое управление, поэтому ошибки в рассуждениях и локализации могут привести к неверным действиям. Для инференса в карточке проверялись H100 и A100.
DictaBERT Sentiment — дообученная модель семейства BERT для анализа тональности текстов на современном иврите. Её разработала команда Dicta для проекта по обработке иврита и арабского языка; модель обучена на датасете HebrewSentiment и предназначена для классификации текста по тональности. Модель принимает текстовые последовательности и выдаёт метки классов тональности. Архитектура — BertForSequenceClassification, размер — 211,6 млн параметров, максимальная длина контекста — 512 токенов. Модель можно использовать через Transformers для определения тональности отдельных фраз и текстов на иврите. В карточке заявлено свободное использование; лицензия — CC BY 4.0. Модель специализирована на иврите, поэтому её результаты для других языков не подтверждены. Качество может зависеть от тематики и стиля текста.
hezarai выпустила ParsDistilBERT — модель на базе hezarai/distilbert-base-fa, дообученную на датасете LSCP-500k для определения частей речи в персидском тексте. Она выполняет разметку на уровне токенов и подходит для автоматической POS-разметки предложений и корпусов. Модель распространяется в формате PyTorch и предназначена для использования с библиотекой Hezar. Лицензия в доступных данных не указана.
OlmoEarth-v1_2-Tiny — компактная фундаментальная модель ViT-Tiny с 12 млн параметров для анализа данных дистанционного зондирования. Модель разработана Ai2 и предназначена для работы со снимками и временными рядами изображений Sentinel-1, Sentinel-2 и Landsat. Модель извлекает признаки изображений, которые можно использовать для построения эмбеддингов и дообучения под задачи дистанционного зондирования, включая сегментацию. Она представлена как часть семейства OlmoEarth v1.2; для неё доступны обучающие материалы по вычислению эмбеддингов и адаптации к прикладным задачам. Модель распространяется по лицензии OlmoEarth Artifact License и предназначена для использования с учётом Responsible Use Guidelines Ai2. Подробности ограничений лицензии и показатели качества в предоставленной карточке не раскрыты.
Это веса энкодера ResNet-18 для извлечения признаков из спутниковых изображений Sentinel-2 в RGB. Репозиторий опубликован TorchGeo и содержит веса в формате PyTorch; по README модель адаптирована для использования только энкодера. Карточка Hugging Face относит её к классификации изображений и геопространственным задачам. Модель можно использовать для получения визуальных признаков RGB-снимков Sentinel-2 как этапа геопространственного анализа или построения классификатора. Лицензия Apache-2.0 разрешает использование на её условиях. Сведения о точном размере изображений и качестве на конкретных задачах в предоставленных данных отсутствуют.
Карточка модели torchgeo/resnet50_sentinel2_rgb_seco на Hugging Face совпадает с карточкой torchgeo/resnet18_sentinel2_rgb_seco, поэтому описание составлено по ней. Это веса энкодера ResNet-18 для извлечения признаков из спутниковых изображений Sentinel-2 в RGB. Репозиторий опубликован TorchGeo и содержит веса в формате PyTorch; по README модель адаптирована для использования только энкодера. Карточка Hugging Face относит её к классификации изображений и геопространственным задачам. Модель можно использовать для получения визуальных признаков RGB-снимков Sentinel-2 как этапа геопространственного анализа или построения классификатора. Лицензия Apache-2.0 разрешает использование на её условиях. Сведения о точном размере изображений и качестве на конкретных задачах в предоставленных данных отсутствуют.
Terminal-file_operations — дообученная компанией или автором cuong1692001 модель Qwen3-8B с 7,6 млрд параметров. Она предназначена для генерации текста в диалоговом формате и обучена на наборах nemotron_easy_file_operations, nemotron_medium_file_operations и nemotron_mixed_file_operations, поэтому ориентирована на выполнение задач с файловыми операциями. Архитектура — плотная авторегрессионная языковая модель Qwen3; максимальный контекст составляет 40 960 токенов. Модель принимает текст и выдаёт текст. Карточка не описывает оценку качества и конкретные ограничения. Указана лицензия other, поэтому условия использования следует сверить с лицензией репозитория.
CAMeL-Lab разработала CAMeLBERT-MSA POS-MSA — модель для разметки частей речи в текстах на современном стандартном арабском языке (MSA). Это дообученная на наборе данных PATB версия CAMeLBERT-MSA, построенная на архитектуре BERT и имеющая около 136,3 млн параметров. Модель предназначена для использования в конвейере Transformers; для неё указаны форматы PyTorch и TensorFlow, а максимальный контекст составляет 512 токенов. Модель определяет часть речи для каждого токена арабского текста и может использоваться в задачах лингвистической обработки MSA. Карточка также указывает, что модель планировалась для поддержки в CAMeL Tools. Она выпущена под лицензией Apache-2.0. Доступные сведения не содержат оценок качества или подробностей о метках разметки, поэтому пригодность для конкретного корпуса следует проверять отдельно.
Модель DunnBC22/bert-base-cased-finetuned-Stromberg_NLP_Twitter-PoS_v2 — англоязычная модель BERT base cased, дообученная для классификации токенов на наборе twitter_pos_vcb. Она размечает части речи и связанные с ними токенные категории в тексте Twitter. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. На оценочном наборе указаны точность 98,53% и взвешенная F1-мера 98,53%; макроусреднённая F1-мера составляет 89,31%, что указывает на различия качества между классами. Модель предназначена для демонстрации разметки частей речи, а результаты и применимость вне данных Twitter могут отличаться. Лицензия — Apache-2.0; датасет дообучения может иметь отдельные условия использования.
Англоязычная модель классификации последовательностей на базе DistilBERT, созданная Deepak John Reji и Shaina Raza для исследовательской темы «Bias and Fairness in AI». Она дообучена на наборе MBAD для выявления предвзятости и проблем справедливости в предложениях новостных статей; максимальная длина входа — 512 токенов. Модель использует архитектуру DistilBertForSequenceClassification и опубликована в формате TensorFlow. Модель подходит для автоматической проверки новостных текстов и исследовательского анализа предвзятых формулировок. В карточке указаны точность 76,97% на обучении и 62% на валидации, что указывает на заметное снижение качества вне обучающей выборки. Результаты классификации следует проверять, особенно при оценке текстов, отличающихся от новостных предложений из обучающих данных. Лицензия в предоставленных данных не указана.
Модель dima806/car_models_image_detection разработана на основе Vision Transformer ViT и предназначена для определения марки автомобиля по изображению. Она возвращает предсказанную марку; в README заявлена точность около 84%. Модель содержит 113,2 млн параметров и использует библиотеку Transformers. Это дообученная для классификации изображений версия google/vit-base-patch16-224-in21k. Подходит для автоматической сортировки фотографий автомобилей и распознавания марки на изображении. Лицензия — Apache-2.0.
Granite Geospatial Land Surface Temperature — модель IBM, дообученная для предсказания температуры поверхности суши (LST) по спутниковым снимкам и климатическим данным. Она предназначена для оценки городского теплового острова и анализа температурной динамики, в том числе для заполнения временных пробелов в наблюдениях. Модель использует архитектуру Shifted Windowing (Swin) Transformer на базе IBM Prithvi-SWIN-L. Энкодер с предобученными весами дообучен совместно с декодером UperNet для регрессии и дополнительной сверточной регрессионной головой. На вход подаются патчи 224 × 224, содержащие шесть спектральных каналов HLS L30 B02–B07 и слой температуры воздуха ERA5-Land. Заявлены пространственное разрешение 30 м и почасовая временная частота прогноза. Модель обучена на данных HLS и ERA5-Land за 2013–2023 годы для 28 городов в разных гидроклиматических зонах. Репозиторий предоставляет веса в формате PyTorch и инструкции для работы через TerraTorch. Лицензия Apache-2.0. Результаты зависят от наличия и качества соответствующих входных спутниковых и климатических данных; README не сообщает количественные метрики качества.
NanoForecast v0.6-HC — экспериментальный чекпойнт для прогнозирования временных рядов, разработанный автором репозитория eulogik. Модель сочетает причинную нормализацию среднего и стандартного отклонения DART-Norm с расширением каналов для задач высокой размерности: для electricity и traffic используются 8 каналов. При обучении эти данные получали двойной вес. В метаданных указаны 1 млн параметров и библиотека nanoforecast; веса опубликованы в формате safetensors. Чекпойнт предназначен для экспериментов с прогнозированием на наборах ETTh1, ETTh2, ETTm1, exchange_rate, electricity и traffic. Результаты абляции неоднородны: качество улучшилось на ETTh2 и electricity, но ухудшилось на ETTh1, ETTm1 и traffic; автор отмечает, что нормализация DART-Norm может быть слишком агрессивной для некоторых данных. Версия v0.5 остаётся официальной. Лицензия — Apache-2.0.