II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейAlpamayo 2 Super — базовая модель NVIDIA для разработки систем автономного вождения. Она объединяет трансформерную визуально-языковую основу на 32 млрд параметров с диффузионным экспертом для действий примерно на 2,3 млрд параметров и дообучена на основе nvidia/Cosmos3-Super. Модель принимает синхронизированные изображения с нескольких камер, видео, текстовые запросы и историю движения автомобиля. Модель предназначена для задач восприятия и принятия решений в автономном транспорте: предсказания траекторий, визуальных вопросов и ответов, привязки объектов к координатам и автоматической разметки. Она также формирует текстовые объяснения причин решений и метадействия. Траектория может содержать 64 точки на интервале от 0,1 до 6,4 секунды; текстовые выходы и разметка имеют переменную или структурированную форму. Обучающие данные включают многоракурсные дорожные видео и аннотации движения; карточка сообщает об оценках на наборах LingoQA, AlpaSim и PhysicalAI-AV. Для запуска NVIDIA указывает PyTorch 2.8 или новее, Transformers 4.57.1 или новее и DeepSpeed 0.17.4 или новее; проверенная аппаратная конфигурация — NVIDIA H100 с 80 ГБ памяти, ОС — Linux. Лицензия модели — OpenMDW 1.1. Для применения в реальных системах автономного вождения необходимы проверки на данных и сценариях конкретного продукта.
Модель nagorebravo/ast-finetuned-audioset-10-10-0.4593-finetuned-gtzan — дообученная на датасете GTZAN модель MIT/ast-finetuned-audioset-10-10-0.4593 для классификации аудио. Она использует архитектуру Audio Spectrogram Transformer (AST), основанную на Vision Transformer, и содержит 113,2 млн параметров. По README, на оценочной выборке модель достигла точности 0,88 при значении loss 0,403864. Модель предназначена для классификации музыкальных аудиозаписей в сценариях, связанных с GTZAN. Условия использования определяет лицензия BSD 3-Clause.
shamsaH/ast-gtzan — модель классификации аудио, дообученная на GTZAN на основе MIT/ast-finetuned-audioset-10-10-0.4593. Она использует архитектуру Audio Spectrogram Transformer (AST), основанную на Vision Transformer, и содержит 113,2 млн параметров. Модель предназначена для определения музыкального жанра по аудиозаписи; на оценочной выборке GTZAN указана точность 0,875 и значение loss 0,4171. Для загрузки доступны веса в формате safetensors, библиотека — Transformers. Модель принимает аудио и выдаёт класс жанра. README не уточняет поддерживаемые жанры и детали подготовки аудио. Репозиторий распространяется по лицензии BSD-3-Clause.
Модель классификации текста, дообученная с помощью AutoTrain на базе google-bert/bert-base-uncased. Она предназначена для отнесения текстовых последовательностей к классам; конкретная предметная область и состав классов в карточке не раскрыты. Модель использует архитектуру BERT для классификации последовательностей, содержит 136,7 млн параметров и поддерживает контекст до 512 токенов. Валидационные метрики составляют 0,5 для accuracy, micro-F1 и micro-recall; macro-F1 и weighted-F1 равны примерно 0,434. Эти результаты указывают на ограниченное качество классификации и требуют проверки на данных предполагаемого применения. Модель опубликована в формате Safetensors; сведения о лицензии в предоставленных данных отсутствуют.
BanglaBERT Toxicity Classifier — модель классификации текста на базе ELECTRA, разработанная Polygl0t для оценки токсичности текста на бенгальском языке. Она обучена на наборе Polygl0t/bengali-toxicity-qwen-annotations: к csebuetnlp/banglabert_generator добавлена классификационная голова с одним регрессионным выходом, а веса базовой модели заморожены. Модель содержит 20,8 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для определения уровня токсичности бенгальских текстовых сообщений, например для первичной модерации пользовательского контента. В карточке приведены метрики: macro F1 0,6132 и accuracy 0,7768, поэтому результаты классификации могут требовать проверки и не должны трактоваться как безошибочные. Лицензия указана как other; конкретные условия использования по предоставленным данным определить нельзя.
Danish BERT — модель на архитектуре BERT, разработанная BotXO.ai для работы с датским текстом. Она предназначена для задачи fill-mask: предсказывает замаскированные слова по контексту и подходит для языкового моделирования и анализа датских текстов с маскированными токенами. Модель содержит 137,8 млн параметров и поддерживает контекст до 512 токенов. Исходные веса обучены в TensorFlow, затем преобразованы в формат PyTorch; в репозитории доступны версии PyTorch и Flax. Карточка указывает датский язык и данные Common Crawl и Wikipedia. Лицензия — CC BY 4.0.
BERTu — одноязычная модель для мальтийского языка, разработанная MLRS и обученная с нуля на корпусе Korpus Malti v4.0. Она использует базовую архитектуру BERT и предназначена для предсказания замаскированных слов в тексте, а также может служить основой для последующей адаптации к задачам обработки мальтийского языка. Модель содержит 153,2 млн параметров, принимает текстовые последовательности длиной до 512 токенов и доступна в форматах PyTorch и Safetensors. Для использования весов применяется лицензия CC BY-NC-SA 4.0, которая требует указания авторства и распространения производных материалов на тех же условиях и ограничивает коммерческое использование.
Карточка модели hfl/cino-large-v2 на Hugging Face совпадает с карточкой hfl/cino-base-v2, поэтому описание составлено по ней. CINO-base-v2 — многоязычная предварительно обученная языковая модель лаборатории HFL, совместной лаборатории HIT и iFLYTEK Research. Она построена на XLM-R и дополнительно обучена на корпусах китайского и ряда языков и языковых разновидностей Китая: тибетского, монгольского в уйгурской письменности, уйгурского, казахского в арабской письменности, корейского, чжуанского и кантонского. Модель предназначена для понимания текста на этих языках и может использоваться как основа для NLP-систем; её основная задача в каталоге — восстановление замаскированных токенов (fill-mask). Архитектура — XLM-RoBERTa для masked language modeling, размер — 217,2 млн параметров, длина контекста — 514 токенов. Доступны веса PyTorch и TensorFlow. Модель принимает текст и предсказывает замаскированные текстовые токены. README не приводит результаты оценивания или конкретные ограничения качества. Лицензия — Apache-2.0.
flax-community/clip-rsicd-v2 — дообученная модель CLIP от OpenAI, адаптированная сообществом flax-community для изображений дистанционного зондирования Земли. Она предназначена для классификации изображений без предварительного обучения на заданных классах, а также для поиска похожих изображений и изображений по текстовому запросу. Модель сопоставляет изображения и текст по сходству: визуальный энкодер построен на ViT-B/32, текстовый — на Transformer с masked self-attention; обучение использовало контрастивную функцию потерь. Модель обучена на наборах подписей к снимкам дистанционного зондирования RSICD, UCM и Sydney. В README для zero-shot классификации приведены значения k=1: 0,883, k=3: 0,968, k=5: 0,982 и k=10: 0,998. Модель рассчитана прежде всего на исследователей компьютерного зрения и поиск по крупным коллекциям спутниковых и аэрофотоснимков; отдельно упомянуты возможные сценарии в климатических исследованиях, обороне и правоохранительной деятельности. Доступны веса в форматах Flax и PyTorch. README предупреждает о возможных смещениях и ограничениях, унаследованных от исходного CLIP и связанных с обучающими данными. Лицензия в предоставленных сведениях не указана.
Cortex 1 Code — небольшая авторская языковая модель для генерации кода, разработанная VADRK155 и обученная с нуля без предобученных весов. Это декодерный Transformer с собственной реализацией на PyTorch, содержащий 36,5 млн параметров; веса представлены в формате fp32. Модель предназначена для генерации кода на Python. Комментарии и текстовый вывод — на английском языке. Короткое контекстное окно в 512 токенов подходит для небольших фрагментов кода и простых запросов, но ограничивает работу с длинными файлами и контекстом проекта. Качество генерации ограничено небольшим размером модели: код может быть неполным, ошибочным или неработающим. Лицензия MIT.
CredLayer — графовая нейросеть для выявления мошенничества в экосистеме Solana DeFi, разработанная авторами репозитория CredLayer. Архитектура объединяет GraphSAGE и GATv2: три графовых слоя используют представления размерности 128 и 64, пакетную нормализацию, активации и dropout. Модель реализована на PyTorch и PyTorch Geometric и классифицирует графовые сущности и потоки транзакций. Модель предназначена для выявления подозрительных пулов ликвидности, токенов с признаками rug pull и мошеннических потоков между кошельками. Для дисбаланса классов применяется Focal Loss, а GNNExplainer используется для ранжирования важных признаков и связей. В README приведены идеальные показатели на тестовой выборке, но не описаны протокол разбиения данных и независимая проверка, поэтому эти результаты не гарантируют качество на новых данных. Для применения нужны входные данные в совместимом графовом представлении; подробная схема входных признаков не приведена. Лицензия — MIT.
Koichi Yasuoka разработал небольшую модель DeBERTa V2 для анализа японского текста. Она дообучена на базе KoichiYasuoka/deberta-small-japanese-aozora и размечает каждое короткое слово тегом части речи по стандарту UPOS; модель также предназначена для синтаксического анализа зависимостей. Модель содержит 18,4 млн параметров, принимает текст на японском языке и имеет контекст длиной до 128 токенов. Её можно использовать для автоматической разметки частей речи и анализа структуры японских предложений. Модель распространяется под лицензией CC BY-SA 4.0.
Andou2yu/deep-attackg-bi-encoder — англоязычная модель Sentence Transformer, дообученная на базе BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска и сравнения текстов. Архитектура включает BERT, пуллинг по CLS-токену и нормализацию; сходство векторов оценивается косинусной мерой. Максимальная длина входа — 512 токенов, библиотека — Sentence Transformers. Модель обучалась на 54 320 парах предложений с помощью MultipleNegativesRankingLoss. Примеры обучающих данных относятся к кибербезопасности: описания сетевых действий и техник атак сопоставляются с формулировками об угрозах. Она подходит для семантического поиска, сравнения похожих формулировок и группировки материалов по киберугрозам. В карточке не указана лицензия.
Модель not-lain/distilhubert-finetuned-gtzan — компактная аудиомодель на архитектуре HuBERT, дообученная на GTZAN на основе ntu-spml/distilhubert. Она предназначена для классификации музыкальных аудиозаписей по жанрам; на оценочной выборке указана точность 0,88 после одной эпохи обучения. Модель содержит 18,9 млн параметров и опубликована в формате safetensors. Базовая модель NTU предназначена для извлечения представлений из аудио с частотой 16 кГц. Репозиторий выпущен под лицензией Apache-2.0. Карточка не уточняет состав классов и другие условия использования, поэтому результаты на иных аудиоданных могут отличаться.
Это крупная модель EoMT-DINOv3 для паноптической сегментации изображений, опубликованная tue-mps и обученная на COCO. Она использует архитектуру Encoder-only Mask Transformer с энкодером DINOv3 ViT-L/16; заявленный размер составляет 402,7 млн параметров. Модель рассчитана на изображения с разрешением 640×640 и выполняет сегментацию объектов и фона в рамках паноптического представления. Архитектура опирается на ViT и не требует отдельного специализированного декодера или модуля слияния пикселей; для семантической, экземплярной и паноптической сегментации используются разные этапы постобработки. Репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. Лицензия — MIT. Модель подходит для анализа сцен и получения паноптических масок на изображениях, особенно в сценариях, близких к датасету COCO. Карточка не приводит метрик качества и подробностей постобработки; данные о поддержке произвольных разрешений или других датасетов не заявлены.
Модель dima806/facial_age_image_detection разработана на базе Vision Transformer google/vit-base-patch16-224-in21k и дообучена для классификации изображений лиц по возрастным группам. Она принимает изображение лица и возвращает метку возрастной группы. Модель содержит 113,2 млн параметров и распространяется в формате Safetensors. Модель предназначена для оценки возрастной категории по лицу в сценариях, где достаточно группового диапазона, а не точного возраста. Она использует архитектуру ViT для классификации изображений. Лицензия Apache-2.0.
FinModernBERT-large-DAPT — англоязычный ModernBERT-large, адаптированный к финансовым текстам компанией BatuhanECB посредством доменного продолжения предобучения: на 5,65 млрд токенов финансовых документов обучалась задача masked language modeling. Это плотный двунаправленный энкодер с 394,7 млн параметров, архитектурой ModernBertForMaskedLM и контекстом до 8192 токенов; основное применение чекпойнта — заполнение масок и дальнейшая настройка энкодера для финансовых задач. Модель рассчитана на английские финансовые документы, включая отчётность SEC, финансовые новости и материалы финансовых веб-сайтов. Её можно использовать как основу для дообучения, например, для получения эмбеддингов, однако сама по себе она не является готовой моделью эмбеддингов: авторские измерения показывают, что DAPT почти не улучшает качество поиска и сходства предложений без дополнительной настройки. Корпус обучения не опубликован из-за лицензионных ограничений исходных материалов; модель распространяется по лицензии Apache-2.0.
Модель Sukanyan/google_electra-base-discriminator — дообученный англоязычный энкодер ELECTRA для классификации последовательностей. Она основана на google/electra-base-discriminator и содержит 136,7 млн параметров; модель и её веса в формате safetensors доступны для Transformers. Контекст ограничен 512 токенами. Модель предназначена для задач классификации текста, однако README не описывает целевые классы, набор данных или конкретные сценарии применения. На указанном в карточке наборе оценки получены loss 1,0171 и accuracy 0,5934, поэтому пригодность для практической задачи следует проверять отдельно. Лицензия — Apache-2.0.
HY3D-Bench — набор высококачественных 3D-данных Tencent для обучения и оценки моделей компьютерного зрения, генеративного моделирования и робототехники. В репозитории также представлен базовый чекпойнт Hunyuan3D-Shape-v2-1 Small на 0,8 млрд параметров, обученный на Full-level данных; метаданные связывают его с Hunyuan3D-2.1 и указывают задачу image-to-3d. Набор включает три части: более 252 тысяч цельных водонепроницаемых сеток с многовидовыми изображениями и точками, 240 тысяч объектов с разбиением на части и 125 тысяч синтетических объектов из 1 252 категорий. Данные очищены и нормализованы; предусмотрены сегментация частей и изображения собранных объектов. Они подходят для обучения и тестирования генерации и реконструкции 3D-форм, анализа геометрии, а также робототехнических задач, включая планирование захвата. Это прежде всего датасет, а не отдельная модель для пользовательского вывода. Базовый чекпойнт описан как модель image-to-3d. Условия лицензии в метаданных обозначены как other, поэтому конкретные права использования следует сверять с лицензией репозитория. Полный набор занимает около 22,5 ТБ.
KoELECTRA v3 Base Generator — предварительно обученная языковая модель для корейского языка, опубликованная monologg. Она основана на архитектуре ELECTRA и предназначена для заполнения пропусков в тексте и использования в качестве основы для задач обработки корейского языка. Модель содержит 21,5 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и safetensors. Модель можно загружать вместе с токенизатором через Transformers. Лицензия Apache-2.0 разрешает использование, изменение и распространение на её условиях. Карточка содержит мало сведений об обучающих данных и качестве, поэтому перед применением в конкретной задаче результаты стоит проверить на целевых текстах.
Jeevesh8/long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_13 — модель пользователя Jeevesh8 на базе BERT-base-uncased, первоначально разработанного Google. На Hugging Face она обозначена как модель классификации текста и доступна для Transformers; отдельная карточка модели отсутствует. По идентификатору видно, что модель дообучена для задачи QQP (Quora Question Pairs), то есть предназначена для классификации пар вопросов, в частности определения их смысловой эквивалентности или дублирования. В названии также указаны длина последовательности 128 токенов и варианты процедуры обучения, включая перемешивание, clipping и warmup. Архитектура BERT-base-uncased содержит около 110 млн параметров, работает с англоязычным текстом без учета регистра и использует двунаправленный Transformer; исходная модель поддерживает контекст до 512 токенов, но данная версия, судя по названию, обучалась с длиной последовательности 128 токенов. Сильная сторона модели — использование предварительно обученных представлений BERT для специализированной классификации пар английских текстов. Она не предназначена для генерации текста, мультимодальных задач или надежной работы с другими языками. Точные метрики, состав обучающей выборки, ограничения, смещения и условия лицензирования именно этой производной модели на странице не указаны, поэтому оценить качество и юридические условия использования невозможно.
MahaBERT — модель языка маратхи семейства BERT, разработанная L3Cube-Pune. Она создана дообучением google/muril-base-cased на корпусе L3Cube-MahaCorpus и других общедоступных одноязычных датасетах маратхи. Модель предназначена для работы с замаскированными токенами: по контексту она предсказывает пропущенное слово или часть слова в тексте на маратхи. Модель использует архитектуру BERT для masked language modeling, содержит около 264,8 млн параметров и принимает последовательности длиной до 512 токенов. Доступны веса в форматах PyTorch и Safetensors. Лицензия — CC BY 4.0; при распространении и использовании нужно соблюдать её условия атрибуции.
rntc/medembed-v9 — модель эмбеддингов на базе Sentence Transformers, разработанная автором репозитория rntc. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 768 для оценки семантического сходства, семантического поиска, поиска перефразировок, классификации и кластеризации текста. Модель построена на ModernBERT с усреднением токенных представлений и поддерживает последовательности длиной до 8192 токенов; сходство векторов рекомендуется оценивать косинусной мерой. Модель дообучена на парах и триплетах текстов. Примеры обучающих данных включают французские медицинские коды и описания процедур, поэтому она может быть полезна для поиска и сопоставления медицинских формулировок. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
MERT-v1-95M — модель семейства Music Audio Pre-training, разработанного m-a-p для понимания музыки. Это предобученный трансформер MERTModel с 12 слоями и размерностью признаков 768; в метаданных репозитория указано 113,3 млн параметров, а в README размер модели округлён до 95 млн. Модель обучена по схеме MLM на музыкальных аудиоданных и предназначена для извлечения признаков и последующего решения задач классификации аудио и других задач понимания музыки. Модель принимает аудио с частотой дискретизации 24 кГц и выдаёт признаки с частотой 75 кадров в секунду. При выборе слоя для извлечения признаков следует учитывать, что разные слои могут подходить для разных задач. README указывает предварительно обучаемый контекст в 5 секунд; для работы нужно учитывать память, необходимую для загрузки модели. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
Mini-Jamba-v2 — экспериментальная компактная языковая модель TechxGenus, построенная по архитектуре Jamba и обученная примерно на 1 млрд токенов кода Python. В метаданных указано 27,3 млн параметров; модель реализована как причинная языковая модель JambaForCausalLM с архитектурой MoE и доступна в формате safetensors через Transformers. Модель предназначена для генерации простого кода Python по текстовым запросам. Карточка предупреждает, что она может ошибаться и выдавать вводящую в заблуждение информацию, плохо справляться с задачами вне программирования и прошла лишь ограниченное тестирование. Лицензия — Apache-2.0.
llm-semantic-router/mmbert-embed-medical — дообученная командой llm-semantic-router модель Sentence Transformers для получения эмбеддингов медицинских текстов. Она основана на ModernBERT и преобразует предложения и абзацы в плотные векторы размерностью 768; сходство между ними можно оценивать по косинусной мере. Модель принимает текстовые последовательности длиной до 32 768 токенов. Модель подходит для семантического поиска по медицинским материалам, сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Обучение проводилось на 492 примерах с использованием MultipleNegativesRankingLoss. В репозитории представлены форматы safetensors и ONNX. Условия лицензирования в предоставленных данных не описаны.
chordai/mms-fa-aligner-coreml — мультиязычный принудительный выравниватель речи и текста, подготовленный chordai на основе Meta MMS и преобразованный в формат CoreML. Модель принимает монофонический аудиосигнал с частотой 16 кГц в окне фиксированной длины 60 секунд и выдаёт логарифмические вероятности CTC по кадрам с шагом 20 мс. Для выравнивания переданный текст должен соответствовать аудио; для нелатинских письменностей его требуется предварительно романизировать с помощью uroman. Модель предназначена для получения временных меток слов в текстах песен и других сценариях, где известная расшифровка привязывается к аудиозаписи. Она поддерживает более 1000 языков через романизацию и может использоваться как часть локального на устройстве конвейера выравнивания, например на iOS 17. Для длинных записей README рекомендует обрабатывать перекрывающиеся окна, а для сильно обработанных музыкальных треков — выравнивать отделённую вокальную дорожку. Это преобразование torchaudio.pipelines.MMS_FA в CoreML, а не универсальная модель распознавания речи: для работы требуется готовый транскрипт, а выход модели — CTC-эмиссии для последующего выравнивания алгоритмом Витерби. Лицензия CC-BY-NC-4.0 допускает некоммерческое использование; для коммерческого приложения необходимо отдельно урегулировать ограничение некоммерческого использования.
KoichiYasuoka/modernbert-base-japanese-aozora-upos — дообученная модель ModernBERT, созданная Koichi Yasuoka на основе modernbert-base-japanese-aozora. Она размечает японский текст по коротким словесным единицам, назначая каждой тег части речи UPOS и признаки FEATS; карточка также указывает применение для синтаксического разбора зависимостей. Модель подходит для анализа японских предложений и подготовки лингвистически размеченных корпусов. Модель имеет плотную архитектуру ModernBERT и 160,2 млн параметров, принимает текст и выдаёт метки токенов. Нативная длина контекста — 8192 токена. Весы доступны в формате PyTorch, лицензия — Apache-2.0. Карточка демонстрирует использование через Transformers pipeline с пользовательским кодом.
MOSS-Audio-Tokenizer-v2 — аудиотокенизатор команды OpenMOSS-Team, представленный в работе «MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models». Это унифицированная дискретная модель на архитектуре Cat (Causal Audio Tokenizer with Transformer), обученная с нуля. Общий размер энкодера и декодера составляет 2 млрд параметров; репозиторий содержит веса Safetensors и реализацию для Transformers с удалённым кодом. Модель кодирует и восстанавливает стереозвук с частотой дискретизации 48 кГц, сжимая его до 12,5 кадров в секунду. Стек из 32 уровней residual vector quantization поддерживает разные битрейты. Токены рассчитаны на сохранение качества реконструкции и семантических характеристик речи, звуковых эффектов и музыки; их можно использовать в последующих системах распознавания и синтеза речи. Предусмотрена потоковая обработка фрагментами. Модель обучена на 3 млн часов разнообразных аудиоданных с совместной оптимизацией компонентов кодека и семантического выравнивания. Карточка не заявляет конкретный список поддерживаемых языков. Для загрузки требуется Transformers и trust_remote_code=True; README рекомендует фиксировать проверенную ревизию. Лицензия — Apache-2.0.
Multi-dialect-Arabic-BERT — модель семейства BERT от Mawdoo3-AI, дообученная на арабских текстах для работы с различными диалектами. Веса инициализированы из Arabic-BERT, затем модель обучали на 10 млн арабских твитов из неразмеченной части данных задачи Nuanced Arabic Dialect Identification (NADI). Модель с 137,8 млн параметров принимает текст и предсказывает токены вместо замаскированных фрагментов; её можно использовать, например, для подстановки пропущенных слов в арабских текстах. Максимальная длина контекста — 512 токенов. Доступны версии весов PyTorch и Flax для библиотеки Transformers. Модель ориентирована на арабский язык, включая диалектные тексты. Карточка не приводит сравнительных оценок качества или условий лицензии, поэтому пригодность для конкретного диалекта и сценария следует проверять отдельно.