II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейAesthetic Shadow V2 — модель NeoChen1024 для оценки эстетического качества аниме-изображений. Это визуальный трансформер ViT с 1,4 млрд параметров по метаданным; README указывает поддержку изображений размером 1024×1024 и описывает результат как оценку эстетической привлекательности изображения. Модель предназначена для фильтрации изображений низкого качества в наборах данных и оценки визуальной цельности аниме-иллюстраций, включая детали и пропорции. Репозиторий содержит веса в формате safetensors. Модель улучшена относительно shadowlilac/aesthetic-shadow. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение. Оценка модели может быть неточной и не должна трактоваться как объективная характеристика работы художника. README также предупреждает, что модель может ошибочно классифицировать изображения.
pysentimiento/bertweet-hate-speech — англоязычная модель классификации коротких сообщений из Twitter, разработанная проектом pysentimiento. Это RoBERTa-классификатор на 162,4 млн параметров, дообученный на корпусе SemEval 2019 Task 5 HatEval, подзадача B; базовая модель BERTweet была обучена на англоязычных твитах. Контекст модели составляет 130 токенов. Модель одновременно определяет, содержит ли текст язык ненависти, направлен ли он на конкретного человека и является ли агрессивным. Она подходит для разметки и анализа англоязычных публикаций в социальных сетях. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.
Chart Recognizer — модель Stephan Akkerman для классификации изображений, дообученная на базе EfficientNet-B0 из timm. Она предназначена прежде всего для распознавания финансовых графиков на изображениях из социальных сетей; обучение проводилось на наборах криптовалютных графиков, графиков акций и изображений FinTwit. Модель подходит для автоматического отбора изображений с графиками и первичной классификации финансовых визуализаций. Она использует библиотеку timm и распространяется в форматах PyTorch и Safetensors. Карточка не сообщает размер модели, длину контекста или подробный перечень классов. Лицензия — MIT.
distil-qwen3-0.6b-posthog-narrator — компактная специализированная модель Distil Labs на базе Qwen3-0.6B, дообученная на платформе Distil Labs. Она преобразует поток событий пользовательской сессии PostHog с временными метками в связный рассказ ровно из трёх предложений на английском языке в прошедшем времени. Предназначена для анализа сессий в составе инструментария distil-posthog-traffic-analyser: описывает посещённые страницы, нажатия, ошибки и поисковые запросы, а также признаки затруднений или отказа от действия, опираясь на переданные события. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 508 млн параметров и контекст до 40 960 токенов. README сообщает о 10 033 синтетических обучающих примерах, расширенных из набора seed-примеров; базовая модель — Qwen/Qwen3-0.6B. Репозиторий содержит веса safetensors и GGUF в формате F16. Лицензия — Apache 2.0. В оценке на небольшом отложенном наборе модель получила 100% по оценке LLM-судьи и 63,98% ROUGE; проверка формата на десяти сессиях прошла успешно. Эти результаты относятся к ограниченным тестовым наборам и не гарантируют качество на произвольных данных. Для достоверного описания модели необходимы структурированные события PostHog; она должна следовать формату из трёх предложений и может ошибаться или упускать детали за пределами обучения.
Карточка модели hanzla/gemma-2b-datascience-instruct-v4 на Hugging Face совпадает с карточкой hanzla/gemma-2b-datascience-instruct-v4.5, поэтому описание составлено по ней. hanzla/gemma-2b-datascience-instruct-v4.5 — дообученная модель hanzla на базе google/gemma-2b. Это плотная авторегрессионная языковая модель архитектуры Gemma с 2,5 млрд параметров, предназначенная для генерации текста; название указывает на ориентацию на инструкции и задачи анализа данных, однако карточка не описывает конкретные сценарии или результаты обучения. Модель принимает текст и выдаёт текст, поддерживает английский язык и имеет контекстное окно до 8192 токенов. В README указано, что при обучении использовались Unsloth и библиотека TRL. Лицензия — Apache-2.0.
hanzla/gemma-2b-datascience-instruct-v4.5 — дообученная модель hanzla на базе google/gemma-2b. Это плотная авторегрессионная языковая модель архитектуры Gemma с 2,5 млрд параметров, предназначенная для генерации текста; название указывает на ориентацию на инструкции и задачи анализа данных, однако карточка не описывает конкретные сценарии или результаты обучения. Модель принимает текст и выдаёт текст, поддерживает английский язык и имеет контекстное окно до 8192 токенов. В README указано, что при обучении использовались Unsloth и библиотека TRL. Лицензия — Apache-2.0.
MultiTabQA — модель для ответов на вопросы по нескольким таблицам, предложенная Vaishali Pal, Andrew Yates, Evangelos Kanoulas и Maarten de Rijke. Это модель на основе архитектуры TAPEX и BART с 95,2 млн параметров: двунаправленный энкодер обрабатывает вход, а авторегрессионный декодер генерирует ответ в виде таблицы. Модель дообучена на датасете Spider для ответов на вопросы на естественном языке по нескольким таблицам и поддерживает операции UNION, INTERSECT, EXCEPT и JOIN. Модель предназначена для запросов к связанным таблицам, когда ответ требует объединения или сопоставления данных из нескольких источников. Заявленный родной размер контекста — 1024 токена; модель поддерживает английский язык. Веса доступны в форматах PyTorch и Safetensors. Лицензия — MIT. README указывает на работу с несколькими входными таблицами, однако не приводит подробностей о схеме их представления, оценках качества или ограничениях на размер таблиц и число операций. Модель рассчитана на табличные вопросы по сценарию датасета Spider; качество на иных данных карточка не характеризует.
Fiorino Nano — компактная модель для классификации табличных данных от Nanite Labs. Это модель с примерно 4,5 млн параметров, обученная на синтетических и исторических табличных данных. Она использует обучение в контексте: принимает размеченные строки как контекст и предсказывает классы для новых строк одним проходом без дообучения на задаче. Архитектура включает групповые токены ячеек, внимание по признакам и примерам, обучаемые представления типов и идентификаторов столбцов, канал пропусков и 24 внутренних строки вычислений. Модель предназначена для классификации таблиц и может применяться для прогнозирования категориальных исходов на новых наборах данных. В README приведены результаты на бенчмарках: средний macro ROC-AUC 0,818 на TabArena-38 и точность 0,87 в пробе обучения на новых задачах; эти показатели относятся к указанным протоколам и не гарантируют результат на произвольных данных. Контекст ограничен 2048 строками с подвыборкой и примерно 44 признаками. Модель также уступает случайному лесу на задачах регрессии, но этот репозиторий описывает классификационный вариант. Веса распространяются по лицензии MIT; лицензии обучающих архивов могут ограничивать их использование.
robertuito-hate-speech — испаноязычная модель классификации текста от pysentimiento, построенная на базе RoBERTuito — RoBERTa, обученной на испанских твитах. Модель содержит около 136,3 млн параметров и принимает последовательности длиной до 130 токенов. Модель дообучена на корпусе HatEval (SemEval 2019, подзадача B) для анализа испаноязычных публикаций в соцсетях. Она определяет, содержит ли текст язык ненависти, направлен ли он на конкретного человека и является ли он агрессивным; эти признаки выдаются как метки классификации. В карточке для оценки на HatEval указан Macro F1 0,759. Подходит для анализа пользовательских публикаций и исследований языка ненависти в испанских соцсетях. Результаты могут хуже переноситься на другие языки, жанры и более длинные тексты; модель не заменяет человеческую модерацию. Сведения о лицензии в предоставленных данных отсутствуют.
TAPEX-large-finetuned-WikiSQL — модель Microsoft для ответов на вопросы по таблицам. Она дообучена на WikiSQL и использует архитектуру BART: трансформер с двунаправленным кодировщиком и авторегрессионным декодировщиком. Модель содержит 252,8 млн параметров, принимает таблицу и вопрос в текстовом представлении и генерирует ответ; заявленная длина контекста — 1024 токена. Модель рассчитана на относительно простые вопросы к табличным данным, например поиск значения, подсчёт и извлечение сведений из строк и столбцов. Для сложных составных запросов README не заявляет поддержку. Репозиторий распространяется под лицензией MIT.
sulaimank/truecaser-lin-sna — дообученная модель XLM-RoBERTa Large для восстановления регистра в тексте языка Sna. Она выполняет токен-классификацию: предсказывает регистровую метку для каждого токена. Модель содержит 658,7 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате safetensors. В README приведены результаты оценки: accuracy 0,9932 и recall для метки Lower 0,9984; для метки Cap указаны recall 0,9374 и precision 0,9788. Данные обучения и подробности применения в карточке не описаны. Модель основана на Davlan/afro-xlmr-large-114L. Лицензия — MIT.
Yemberzal — модель автоматического распознавания кашмирской речи, разработанная как полный fine-tune ARTPARK-IISc/SraVaani-1.0. Это контрольная точка эпохи 28, предназначенная для распознавания речи в рабочем процессе сбора данных. Модель построена на архитектуре NVIDIA NeMo EncDecHybridRNNTCTCBPEModel; основной способ декодирования — TDT/RNN-T, также доступно диагностическое декодирование CTC. При дообучении использовано 45 часов данных IndicVoices-R на кашмирском языке. На официальном тестовом разделе IndicVoices-R для кашмирского языка, после фильтрации длительности записей и удаления дубликатов, WER составил 38,13%, а CER — 12,74% на 403 записях. Эти результаты указывают на необходимость проверки распознанных транскрипций, особенно имён собственных, переключения языков, коротких фрагментов и речи с шумом. Контрольная точка предназначена для указанного исследовательского и рабочего процесса сбора данных; перед распространением или коммерческим применением следует проверить условия базовой модели и обучающих данных.
MUDES en-base — англоязычная модель семейства BERT для обнаружения токсичных фрагментов в текстах социальных сетей. Она представлена авторами системы MUDES (Multilingual Detection of Offensive Spans) и оценивалась на задаче Toxic Spans соревнования SemEval 2021, Task 5. Модель выполняет классификацию на уровне токенов и предназначена для выделения оскорбительных или токсичных фрагментов текста. Она содержит 135,5 млн параметров, использует контекст до 512 токенов и доступна в форматах PyTorch и Flax. Лицензия — Apache-2.0. Модель ориентирована на английские тексты и сообщения из социальных сетей. Карточка указывает на экспериментальную демонстрацию MUDES-UI; качество обнаружения может зависеть от языка, тематики и стиля текста, а оценка проводилась в рамках конкретного бенчмарка.
PitchLens YOLO26x Ball-Detection Teacher — модель обнаружения футбольных мячей, разработанная для проекта PitchLens и основанная на YOLO26x с дообучением на наборе PitchLens Ball Detection v002. Это крупная модель на базе Ultralytics; основная версия для разметки обучена при разрешении 960 пикселей. Модель принимает изображения и возвращает рамки с обнаруженными мячами. Модель предназначена для автоматического предложения рамок мяча в футбольных кадрах перед проверкой человеком, а также для формирования псевдоразметки видео. На указанном наборе валидации версия 960 пикселей показала mAP50 75,2%, precision 82,5% и recall 70,9% при заданных в карточке порогах. Она настроена на качество и полноту разметки, а не на работу на мобильных устройствах. Мелкие, размытые и летящие мячи обнаруживать сложно; круглые статичные объекты, головы, вывески и запасные мячи могут давать ложные срабатывания. Обучающий домен пока не соответствует фиксированной любительской камере iPhone, а предсказания следует проверять и считать предложениями разметки, а не эталонной истиной. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
Корейская модель расстановки пробелов в тексте на основе RoBERTa. Разработчик использовал корейскую RoBERTa и настроил её для задачи токенной классификации, чтобы определять, где в корейском тексте нужны пробелы. Модель содержит 137,8 млн параметров, работает с текстом и рассчитана на контекст до 514 токенов. Модель подходит для автоматического восстановления пробелов в корейском тексте перед чтением или дальнейшей обработкой. Она распространяется в формате PyTorch через Transformers; сведения о лицензии в предоставленных данных отсутствуют.
Siki-77/sbert_yelp2class — модель классификации текста, дообученная на данных Yelp для бинарного определения тональности отзывов. В README указана базовая модель sentence-transformers/all-MiniLM-L6-v2; метаданные описывают архитектуру как MPNetForSequenceClassification с 136,7 млн параметров и контекстом до 514 токенов, поэтому сведения о семействе и размере противоречат друг другу. Модель предназначена для классификации отзывов Yelp на два класса. В README приведены результаты обучения за две эпохи: точность на валидации достигла 0,981158. Карточка не сообщает названия классов и деталей набора данных или процедуры оценки, поэтому эти значения нельзя переносить на другие источники отзывов без проверки. Разработчик и лицензия в карточке не указаны. Модель опубликована в формате safetensors и использует библиотеку Transformers; доступные сведения не уточняют условия использования.
vinai/bertweet-covid19-base-cased — англоязычная языковая модель для текстов Twitter, разработанная Dat Quoc Nguyen, Thanh Vu и Anh Tuan Nguyen. Это модель на архитектуре RoBERTa, предварительно обученная на 850 млн англоязычных твитов, включая 5 млн твитов о пандемии COVID-19. Веса содержат около 162,4 млн параметров, контекст — до 130 токенов. Модель подходит для заполнения пропусков в тексте и как языковая основа для анализа коротких сообщений в Twitter, в том числе связанных с COVID-19. Доступны версии в форматах PyTorch, TensorFlow и Flax. Лицензия — MIT. README просит цитировать публикацию BERTweet при использовании результатов в научных работах или программном обеспечении.
Карточка модели vinai/bertweet-covid19-base-uncased на Hugging Face совпадает с карточкой vinai/bertweet-covid19-base-cased, поэтому описание составлено по ней. vinai/bertweet-covid19-base-cased — англоязычная языковая модель для текстов Twitter, разработанная Dat Quoc Nguyen, Thanh Vu и Anh Tuan Nguyen. Это модель на архитектуре RoBERTa, предварительно обученная на 850 млн англоязычных твитов, включая 5 млн твитов о пандемии COVID-19. Веса содержат около 162,4 млн параметров, контекст — до 130 токенов. Модель подходит для заполнения пропусков в тексте и как языковая основа для анализа коротких сообщений в Twitter, в том числе связанных с COVID-19. Доступны версии в форматах PyTorch, TensorFlow и Flax. Лицензия — MIT. README просит цитировать публикацию BERTweet при использовании результатов в научных работах или программном обеспечении.
Модель Amna-Shahzad/code-switching-codesaviours-si26-Amna разработана Амной Шахзад в рамках проекта CodeSaviours SI-26 и организации Code Saviours (SMC-PRIVATE) Limited. Это дообученная XLM-RoBERTa-base с 305,2 млн параметров и классификационной головой для разметки отдельных токенов текста. Модель определяет, относится ли слово к урду, английскому или смешанному варианту: метки URD, ENG и MIX. Она предназначена для анализа переключения языков в тексте на романизированном урду и английском, в том числе как этап предварительной обработки для последующих NLP-задач. Максимальный контекст — 514 токенов. В README сообщается об обучении на 140 предложениях, тестировании на 35 предложениях и точности 99,70%; эти результаты относятся к указанной небольшой выборке. Модель распространяется в формате safetensors по лицензии Apache-2.0 в метаданных, тогда как README указывает на исследовательское и учебное применение и рекомендует проверять условия базовой модели и датасетов перед коммерческим использованием.
Модель Chandanab/mit-b0-finetuned-eurosat — дообученная версия SegFormer MiT-B0 от NVIDIA для классификации спутниковых изображений из набора EuroSAT. В README указана точность 0,9495 и loss 0,1782 на оценочной выборке. Модель предназначена для отнесения изображений к классам земного покрова EuroSAT. Она использует архитектуру SegFormer и веса в формате PyTorch. Лицензия указана как other; дополнительные условия лицензирования в карточке не приведены.
OlmoEarth-v1_2-Small — базовая модель ViT-Small с 36 млн параметров от Allen Institute for AI (Ai2), предназначенная для задач дистанционного зондирования Земли. Она работает со снимками и временными рядами изображений Sentinel-1, Sentinel-2 и Landsat и формирует эмбеддинги для последующего использования в прикладных задачах.
OpenMed разработала OpenMed-NER-PharmaDetect-SuperClinical-434M — специализированную модель распознавания химических сущностей в биомедицинских текстах. Это дообученная для token classification модель на архитектуре DeBERTa V2 с 533,8 млн параметров; README указывает базовую архитектуру DeBERTa V3 Large. Модель принимает токенизированный текст и выдаёт BIO-разметку сущностей типов B-CHEM и I-CHEM. Контекст — до 512 токенов. Модель обучена на BC5CDR_CHEM и предназначена для извлечения названий химических соединений и лекарственных веществ из научной литературы и медицинских документов. Возможные сценарии — поиск препаратов в текстах, мониторинг нежелательных явлений и подготовка данных для биомедицинских графов знаний. В README приведены результаты на BC5CDR_CHEM: F1 0,9614, точность 0,9520 и полнота 0,9710; эти показатели относятся к указанному набору данных и не гарантируют качество на иных типах текстов. Карточка указывает английский язык. Лицензия — Apache-2.0.
cardiffnlp/twitter-roberta-base-irony — модель Cardiff NLP для распознавания иронии в сообщениях Twitter. Это RoBERTa-base с 151,8 млн параметров, предварительно обученная на примерно 58 млн твитов и дообученная для классификации иронии на бенчмарке TweetEval. Модель принимает текст и предсказывает метки «ирония» или «не ирония» с оценками уверенности; поддерживается контекст до 514 токенов. Модель подходит для анализа тональности и стилистических особенностей англоязычных твитов, а также для исследовательских экспериментов с классификацией коротких сообщений. Доступны версии весов для PyTorch, TensorFlow и Flax, а интеграция с библиотекой TweetNLP упрощает использование. Карточка не сообщает лицензию, поэтому условия распространения и коммерческого использования следует проверять в репозитории модели.
ViSoBERT là một языковая модель, разработанная авторами исследования Nam Nguyen, Thang Phan, Duc-Vu Nguyen и Kiet Nguyen для обработки вьетнамских текстов из социальных сетей. Она построена на архитектуре XLM-RoBERTa и обучена как монолингвальная модель с маскированным языковым моделированием; в репозитории представлены веса PyTorch объёмом около 124,8 млн параметров, а длина контекста составляет 514 токенов. Модель предназначена для заполнения пропусков в тексте и как основа для дообучения под анализ эмоций, выявление языка вражды, анализ тональности, обнаружение спам-отзывов и разметку фрагментов с языком вражды во вьетнамских публикациях. Авторы сообщают о результатах уровня state of the art на нескольких задачах обработки вьетнамских социальных сетей. В карточке указана лицензия для использования только в исследовательских целях; авторы просят цитировать статью при публикации результатов или включении модели в программное обеспечение.
Koichi Yasuoka разработал эту модель на основе BERT для разметки частей речи в текстах на тайском языке. Она дообучена на текстах тайской Википедии и присваивает каждому слову тег UPOS из универсального набора частей речи; архитектура — BertForTokenClassification, размер — 119,8 млн параметров, максимальная длина контекста — 512 токенов. Модель подходит для автоматической POS-разметки тайских текстов и подготовки данных для языкового анализа, включая сценарии синтаксического разбора. Она принимает текст и выдаёт метки для токенов. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0.
Модель разработана Харшитом Кетаватом и Вэймином Ху из лаборатории геоинформатики и моделирования ИИ Университета Джорджии. Это CLIPSeg, полностью дообученная на наборе CloudSEN12+ для сегментации облаков на спутниковых снимках Sentinel-2. Модель выделяет четыре класса: чистое небо, плотные и тонкие облака, а также тени от облаков. Модель предназначена для анализа спутниковых изображений и адаптирована к особенностям дистанционного зондирования. В оценке на тестовой части CloudSEN12+ она показала IoU 0,8540 для чистых областей, 0,7875 для плотных облаков и 0,4702 для тонких облаков; README не приводит результат для теней от облаков. Это указывает на более слабое качество сегментации тонких облаков по сравнению с другими опубликованными классами.
mhiveai/Qwen-Insure — текстовая модель Sentence Transformer, дообученная разработчиком mhiveai на базе Qwen/Qwen3-Embedding-0.6B для задач в области страхования и перестрахования. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 1024 и предназначена для поиска семантически близких формулировок, сравнения текстов и ранжирования результатов по косинусному сходству. Модель построена на архитектуре Qwen3 с трансформером, пулингом последнего токена и нормализацией векторов. Максимальная длина последовательности — 32768 токенов. В README описано дообучение на 936 примерах с парами и отрицательными примерами из страховой терминологии; на указанном тесте reinsurance_te_eval cosine accuracy составила 0,8291. Применять её можно для семантического поиска страховых полей, сопоставления терминов и кластеризации текстовых обозначений. Карточка не указывает лицензию и не описывает явно поддерживаемые естественные языки, поэтому их нельзя уверенно перечислить. Небольшой обучающий набор и узкая специализация могут ограничивать качество на иных тематиках и формулировках; приведённая метрика относится только к указанной оценке.
7wolf/wav2vec2-base-gender-classification — модель классификации аудио, дообученная на базе facebook/wav2vec2-base. Она предназначена для определения гендерной категории по аудиозаписи речи. Архитектура — Wav2Vec2ForSequenceClassification, размер — 113,3 млн параметров; веса опубликованы в формате safetensors. В README указаны результаты на оценочном наборе: accuracy 0,9892 и loss 0,0438. Датасет и подробности методики оценки не раскрыты, поэтому эти показатели нельзя напрямую переносить на другие данные. Модель распространяется по лицензии Apache-2.0.
SuperAnnotate AI Detector — англоязычный классификатор текста, разработанный SuperAnnotate на основе дообученной RoBERTa Large. Модель относит текст к одной из двух категорий: написан человеком или сгенерирован искусственным интеллектом. Она предназначена для проверки текстов, учебных и научных работ, а также данных для обучения на признаки машинной генерации и возможного мошенничества. Модель обучена на сбалансированном наборе из 44 тысяч пар человеческих и сгенерированных ответов из Википедии, Reddit ELI5, научных публикаций и набора RAID. В обучении использовались тексты, созданные 14 моделями из семейств GPT, LLaMA, Anthropic и Mistral; из обучающих данных удаляли наиболее коррелирующие с метками n-граммы длиной от двух до пяти слов. В метаданных указаны библиотека Transformers и формат safetensors. В README приведены результаты на подмножестве RAID, но они различаются по моделям-генераторам, поэтому качество нельзя считать одинаковым для любого текста. Модель принимает текст и выдаёт классификацию. Она рассчитана прежде всего на английский язык и не должна рассматриваться как окончательное доказательство авторства: результаты могут зависеть от тематики, генератора и способов изменения текста. Лицензия указана как SAIPL в README и как other в метаданных Hugging Face; перед использованием следует проверить условия SAIPL.
Это сверточная модель ConvNeXT-Tiny, разработанная на основе facebook/convnext-tiny-224 и дообученная автором репозитория на наборе EuroSAT для классификации спутниковых изображений по типам землепользования и земного покрова. Архитектура ConvNeXT использует современные решения, вдохновлённые Vision Transformers, сохраняя свёрточную основу. Модель принимает изображения и выдаёт метку класса. В README сообщается точность 0,9805 и значение функции потерь 0,0549 на оценочном наборе. EuroSAT включает 10 классов и изображения Sentinel-2; набор данных описан как содержащий 13 спектральных каналов. Репозиторий распространяет веса в форматах PyTorch и Safetensors по лицензии Apache-2.0. Карточка не уточняет условия обработки многоканальных данных и ограничения оценки, поэтому показатели не следует автоматически переносить на другие спутниковые данные.