II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейidb-ita/gilberto-uncased-from-camembert — италоязычная предварительно обученная языковая модель GilBERTo, разработанная командой idb-ita. Модель основана на архитектуре RoBERTa с подходом к токенизации CamemBERT и обучена на большом итальянском веб-корпусе OSCAR с использованием маскирования подслов. Модель предназначена прежде всего для задачи fill-mask: она предсказывает пропущенные токены в итальянском тексте. Её также можно дообучать для задач итальянской обработки естественного языка, включая разметку частей речи и распознавание именованных сущностей. Модель содержит около 137,8 млн параметров, использует 12-слойную архитектуру с 12 attention heads, словарь SentencePiece/BPE примерно на 32 тысячи подслов и поддерживает контекст длиной до 514 токенов. Сильные стороны модели — специализация на итальянском языке и пригодность для последующего дообучения в итальянских NLP-сценариях. Это не генеративная диалоговая модель и не универсальная модель для свободного написания длинных текстов. Вариант uncased не сохраняет регистр букв, а качество downstream-задач зависит от доступности итальянских датасетов и выбранного дообучения.
Image Quality Fusion Model — модель оценки качества и эстетической привлекательности изображений, разработанная Matthewyuan. Она объединяет признаки BRISQUE для выявления размытия, шума и артефактов с эстетическими и семантическими признаками Aesthetic Predictor и CLIP. Сеть прямого распространения с остаточными связями, содержащая около 2,1 млн параметров, выдаёт оценку от 1 до 10; изображения для CLIP приводятся к размеру 224×224. Модель дообучена на базе openai/clip-vit-base-patch32 и оценивалась на фотографиях смартфонов SPAQ; метаданные указывают библиотеку PyTorch и лицензию MIT. Модель подходит для автоматической сортировки и фильтрации фотоколлекций, проверки пользовательских и товарных снимков, а также для помощи при выборе фотографий. На SPAQ заявлены корреляция с человеческими оценками 0,520 и средняя абсолютная ошибка 1,41 балла. Основные ограничения — ориентация на смартфонную фотографию, субъективность эстетических оценок и возможные смещения обучающих данных; качество следует проверять на целевом наборе изображений.
chenbowen184/instacart-two-tower-sbert — англоязычная Sentence Transformer модель, разработанная на основе sentence-transformers/all-MiniLM-L6-v2 и дообученная для поиска товаров по данным Instacart. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерностью 384; в README указана функция сходства cosine similarity. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов, а в архитектуре модели из README задана максимальная длина последовательности 256 токенов. Модель подходит для семантического поиска товаров и сопоставления описаний, в частности для рекомендаций продуктов по истории покупок и поиска похожих позиций. README сообщает о дообучении на 1 246 220 обучающих примерах с парами anchor и positive и приводит результаты оценки поиска на наборе order-recommendation. Векторы также можно использовать для кластеризации и классификации текстов, однако эти сценарии не описаны как отдельная специализация обучения. Лицензия в предоставленных данных не указана.
Intellect_binary — модель классификации текста, созданная ajrayman тонкой настройкой microsoft/deberta-v3-base. Она использует архитектуру DeBERTa V2 и содержит 211,6 млн параметров; модель принимает текстовые последовательности длиной до 512 токенов и выдаёт результат классификации. Карточка не раскрывает названия классов и предметную область, поэтому назначение меток нельзя уточнить. В README приведены результаты оценки: accuracy 0,6488, precision 0,6455, recall 0,6584, F1 0,6519 и AUC 0,6932. Модель распространяется по лицензии MIT. Карточка не описывает обучающие данные и ограничения применения.
KoELECTRA Base Generator — предварительно обученная языковая модель для корейского языка, разработанная monologg на архитектуре ELECTRA. Она предназначена для восстановления замаскированных токенов и может использоваться как основа для задач обработки корейского текста. Модель содержит 20,8 млн параметров, принимает текстовые последовательности длиной до 512 токенов и доступна в формате PyTorch. Для загрузки используются Transformers и токенизатор ElectraTokenizer. Лицензия — Apache-2.0. Модель ориентирована на корейский язык; сведения о специальных ограничениях качества или областях применения в карточке не приведены.
Это версия модели для классификации текста, автоматически преобразованная в формат ONNX и опубликованная через Hugging Face Space. Модель основана на DistilBERT и дообучена для бинарного определения, относится ли текст к еде; она рассчитана на запуск через Transformers.js и поддерживает входную длину до 512 токенов. В README указана точность 1,0 и потеря 0,0005 на оценочном наборе, однако сведения о наборе данных и методике оценки отсутствуют, поэтому эти показатели не позволяют судить о качестве на новых данных. Модель распространяется по лицензии Apache-2.0.
GeorgeDrayson/modernbert-ai-detection — англоязычный классификатор для выявления текста, созданного языковыми моделями. Модель разработана GeorgeDrayson и представлена как часть исследования о предотвращении коллапса языковых моделей; обучение выполнено на наборе данных MAGE. Это дообученная ModernBERT-base с архитектурой ModernBertForSequenceClassification, примерно 149 млн параметров и контекстом до 8192 токенов. Она принимает текст и относит его к классам текстовой классификации, поддерживая сценарий обнаружения машинно-сгенерированного текста. Модель распространяется под лицензией Apache-2.0. Карточка не описывает качество на разных жанрах текста и не приводит метрик, поэтому надёжность детекции в конкретных условиях следует оценивать отдельно.
Ornith-1.5-35B-A3B-MTP — экспериментальный объединённый чекпойнт Shisa AI на основе мультимодальной модели Ornith-1.5-35B-A3B. Веса целевой модели и мультимодальные компоненты взяты из официального BF16-чекпойнта Ornith-1.5; к ним добавлена заменённая голова MTP для ускоренного спекулятивного декодирования. Голова инициализирована из совместимой MoE-головы Qwen3.6-35B-A3B и дообучена дистилляцией KL на скрытых состояниях Ornith. Репозиторий содержит объединённые BF16-веса в 17 шардах safetensors и рассчитан на запуск через vLLM. Модель предназначена для ускорения генерации, особенно кода, с помощью multi-token prediction: по локальным тестам голова повысила принятие черновых токенов и пропускную способность на кодовых запросах относительно исходного MTP-чекпойнта. Основа имеет архитектуру Qwen3.5 MoE, около 35 млрд параметров; суффикс A3B указывает на вариант семейства, а число активных параметров здесь отдельно не подтверждено. В метаданных задача указана как image-text-to-text, доступны текстовый чат, код, интерфейс вызова инструментов и зрение; тестирование MTP в README было только текстовым. Проверялись английские и японские общие запросы, а обучение головы было ориентировано на код. Авторы отмечают экспериментальный статус и не рекомендуют считать чекпойнт производственным вариантом по умолчанию: на отдельных тестах vLLM спекулятивный режим давал расхождения с авторегрессионной генерацией, а поведение при длинном контексте и мультимодальном MTP не проверено. Данные для обучения головы частные и синтетические, а преимущество ориентировано на код и не переносится на все запросы. Лицензия — Apache-2.0.
jason9693/Qwen2.5-1.5B-apeach — текстовая модель классификации на архитектуре Qwen2, опубликованная пользователем jason9693 на Hugging Face. Репозиторий содержит модель для sequence classification размером 1,5 млрд параметров и заявляет контекст до 131 072 токенов. Пример загрузки использует Transformers и pipeline text-classification. Карточка модели автоматически сгенерирована и не описывает назначение меток, обучающие данные, качество, поддерживаемые языки или лицензию. Поэтому модель можно охарактеризовать как средство классификации текста, но нельзя надёжно уточнить, какие именно категории или предметные сценарии она поддерживает.
Модель qwen2.5-3b-code-sft-shuffled-lr1e5-step102 — готовая к инференсу версия Qwen2.5-3B, дообученная для генерации кода. Разработчик в карточке не назван; обучение выполнено на наборе qwen3b_code_sft_data_s300 с перемешанным порядком примеров, без replay, до шага оптимизатора 102. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров, реализованная через Qwen2ForCausalLM. Она принимает текстовые запросы и генерирует текст, в первую очередь код; заявленное контекстное окно — 32 768 токенов. Модель подходит для экспериментов с кодовой генерацией и оценки влияния порядка данных и стратегии replay при SFT. Это экспериментальный чекпойнт обучения, а не универсальная рекомендация для продакшена. README не описывает конкретные языки программирования, результаты оценивания или ограничения применимости. Лицензия в предоставленных данных не указана.
Это извлечённый из Qwen3-VL-4B-Instruct визуальный энкодер Qwen3 ViT, преобразованный для библиотеки timm. Модель содержит vision backbone, пространственный merger и проекцию признаков в размерность 2560; языковые веса и обученная классификационная голова отсутствуют. В карточке указаны 332,7 млн параметров и базовый размер изображения 768 × 768. Энкодер предназначен для получения признаков и пространственных токенов из изображений, а также промежуточных карт признаков. Он принимает RGB-изображения с размерами, кратными 16; для варианта с merger 2 × 2 размеры должны быть кратны 32. Поддерживаются прямоугольные изображения, позиционные эмбеддинги интерполируются для размера входной сетки. Реализация работает только с изображениями и не включает обработку языка или видео. Это перенос весов в формат timm без дополнительного обучения. Лицензия — Apache 2.0. Энкодер сам по себе не выполняет классификацию: для неё нужна классификационная голова.
Realtime RE-USE — дообученная версия NVIDIA Real-time RE-USE для улучшения шёпота и шумных аудиозаписей перед распознаванием речи. Модель использует свёрточный энкодер, блоки Mamba и свёрточные декодеры; базовая архитектура содержит 12 слоёв и 3,7 млн параметров. Модель принимает монофонический звук с частотой дискретизации от 8 до 48 кГц и выдаёт улучшенное монофоническое аудио. При дообучении использовались обычная и шёпотная речь, а также записи с фоновым шумом. Задача модели — предварительная обработка звука в конвейерах распознавания речи; она не выполняет само распознавание. Модель распространяется под лицензией, обозначенной в метаданных как other; конкретные условия следует проверять в репозитории. Поддержка нескольких частот дискретизации и работа с разными типами речи указаны в карточке, но численные оценки качества и задержки не приведены.
Reliquary-4B — плотная языковая модель на архитектуре Qwen3, разработанная ReliquaryForge на базе Qwen/Qwen3-4B-Base. Модель содержит около 3,7 млрд параметров, распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Она обучена групповым относительным обучением с подкреплением на английских математических задачах и задачах программирования на Python; авторы указывают 12 842 обновления RL без supervised fine-tuning и дистилляции. Модель предназначена для пошагового решения математических задач и генерации Python-функций, проверяемых тестами. В README приведены результаты на GSM8K, MATH-500, AMC23, HumanEval+ и MBPP+, но для воспроизведения улучшений нужны исходные текстовые промпты и sampling-декодирование. Это модель завершения текста, а не чат-модель: у неё нет чат-шаблона и отдельной настройки следования инструкциям или безопасности. Обучение ограничено английской математикой и Python, поэтому обобщение на другие задачи не установлено. Лицензия — Apache-2.0.
keefezowie/sa_mobileBERT — модель классификации текста на основе архитектуры DistilBERT, дообученная на наборе данных emotion. Она предназначена для отнесения текста к эмоциональным категориям. Модель принимает текст и выдаёт метки классов; максимальная длина контекста составляет 512 токенов. В репозитории представлены веса Safetensors и версия TFLite. Разработчик не указал подробности о целевых сценариях, языках, качестве и ограничениях модели. Лицензия в предоставленных данных не указана.
Qdrant разработала SPLADE Multi-Domain E-Commerce Search — разреженный текстовый энкодер на базе DistilBERT, дообученный для поиска товаров в нескольких областях электронной коммерции. Модель кодирует запросы и описания товаров в разреженные векторы размерности 30 522, сравниваемые скалярным произведением. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и извлечения товаров по запросу в каталогах Amazon, Wayfair и Home Depot, а также для переноса поиска между разными сегментами электронной коммерции. В карточке сообщается о лучшей междоменной обобщающей способности по сравнению с однодоменной версией и BM25 на приведённых наборах данных. Это англоязычная модель, обученная на данных ESCI, WANDS и Home Depot; лицензия — Apache-2.0. Энкодер выдаёт разреженные признаки для поиска и ранжирования, а не готовые текстовые ответы. Внутри используется DistilBERT с MLM-трансформером и SPLADE pooling; качество может различаться по доменам, причём на ESCI многодоменная версия уступает указанной однодоменной модели.
taoki/Swallow-MS-7b-v0.1-qlora-amenokaku-code — дообученная на наборе kunishou/amenokaku-code-instruct языковая модель для генерации текста с ответами в формате кода. В основе лежит плотная авторегрессионная архитектура MistralForCausalLM семейства Mistral; модель содержит 7,2 млрд параметров и рассчитана на контекст до 4096 токенов. В примере на японском языке она отвечает фрагментом Python-кода. Модель подходит для генерации кода по инструкциям и текстовых ответов на японском. Базовая Swallow-MS-7b-v0.1 описана как японско-английская модель общего назначения, однако карточка этой версии не подтверждает, насколько хорошо она справляется с английским или другими языками и задачами. Лицензия — Apache 2.0. В README указано, что при обучении использовались Unsloth и TRL.
Это веса модели timm-efficientnet-b0, предварительно обученной на ImageNet и предназначенной для использования как энкодер в библиотеке segmentation-models-pytorch. EfficientNet-B0 — компактная сверточная архитектура для классификации изображений; в этом репозитории доступны веса в формате safetensors. Модель подходит для извлечения признаков изображений и классификации, а также как компонент моделей сегментации на базе segmentation-models-pytorch. Она принимает изображения и выдаёт классовые предсказания или признаки для последующих слоёв. Лицензия указана как other, поэтому условия использования следует сверить с карточкой репозитория.
Это дообученная модель TimeSformer для классификации видео, основанная на facebook/timesformer-base-finetuned-k400 и опубликованная пользователем tihon-nth. Веса содержат около 113,2 млн параметров и сохранены в формате safetensors; модель использует библиотеку Transformers. Модель предназначена для отнесения видео к классам действий. В README указаны результаты оценки на неизвестном наборе данных: точность 0,9277 и loss 0,0721. Состав классов и данные обучения не описаны, поэтому эти показатели нельзя переносить на другие наборы данных. Лицензия — CC BY-NC 4.0, допускающая использование с соблюдением её условий и ограничением на коммерческое применение.
ytu-ce-cosmos/turkish-base-bert-uncased — базовая модель BERT для турецкого языка в варианте uncased, разработчик — ytu-ce-cosmos. Она предсказывает пропущенные токены в тексте и подходит как основа для языкового анализа и последующей адаптации под конкретные задачи. Модель содержит 137,8 млн параметров, использует архитектуру BERT и поддерживает контекст до 512 токенов; доступны веса PyTorch, SafeTensors и TensorFlow. Токенизатор имеет известную особенность: перед обработкой текст нужно вручную привести к нижнему регистру с преобразованием `I` в `ı` (`text.replace("I", "ı").lower()`); параметр `do_lower_case=True` использовать не следует. Обучение преимущественно на собранных из интернета данных может приводить к предвзятым предсказаниям. Условия лицензии в доступных данных не приведены.
UIT-xlnet-large-cased-finetuned — дообученная модель классификации текста на основе xlnet/xlnet-large-cased. В метаданных указана архитектура XLNetForSequenceClassification и 435,4 млн параметров; веса сохранены в формате safetensors. Модель предназначена для присвоения текстам классов, однако описание не сообщает, какие именно категории она распознаёт и для какого набора данных обучалась. В карточке приведены результаты оценки: F1 — 0,7191, ROC AUC — 0,7866, точность — 0,4765, loss — 0,7544. Языковая специализация и конкретная область применения не описаны; базовая модель XLNet large англоязычная. Лицензия модели — MIT.
CrabInHoney разработала компактную модель семейства BERT для анализа URL и последующего дообучения под конкретные задачи. Это плотная архитектура BertForMaskedLM с 4,8 млн параметров и контекстом 64 токена. Модель предсказывает замаскированные части URL: в примере она восстанавливает вероятные домены верхнего уровня, такие как .com и .org. Модель подходит как основа для дообучения и для предсказания пропущенных токенов в URL. В метаданных также указан тег text-classification, но README демонстрирует задачу fill-mask. Лицензия Apache-2.0.
Модель dvs/videomae-base-finetuned-kinetics-finetuned-movienet-2 — дообученная на неизвестном наборе данных модель VideoMAE для классификации видео. Она построена на архитектуре VideoMAEForVideoClassification и содержит 113,2 млн параметров. По результатам оценки на тестовом наборе точность составила 0,7969, а значение eval_loss — 1,1884. Модель предназначена для присвоения видео категорий. В README не раскрыты набор данных, категории классов и конкретные сценарии применения. Репозиторий содержит веса PyTorch; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
nateraw/vit-base-cats-vs-dogs — модель классификации изображений на базе Vision Transformer (ViT), дообученная на наборе cats_vs_dogs. Она различает изображения кошек и собак. Модель содержит 113,2 млн параметров и опубликована в формате PyTorch. По данным карточки, на тестовой выборке модель достигла accuracy 0,9935 и loss 0,0202. Её можно применять для автоматической сортировки изображений кошек и собак. Модель распространяется по лицензии Apache-2.0.
Модель tihon-nth/vivit-vit-8-10-epochs-5_class_1_p0_full_splited-1789192041.5686274 — версия ViViT, дообученная на основе google/vivit-b-16x2-kinetics400 для классификации видео. Она принимает видеоролики и предсказывает класс для каждого ролика. В README указаны результаты оценки: accuracy 0,7857 и loss 0,6915; данные и набор классов не описаны. Модель содержит 113,2 млн параметров, использует архитектуру ViViT и формат safetensors, работает с библиотекой Transformers. Лицензия — MIT.
facebook/wav2vec2-base-100k-voxpopuli — базовая модель Facebook AI на архитектуре Wav2Vec2, предварительно обученная на 100 тысячах часов неразмеченной речи из корпуса VoxPopuli. Модель содержит 113,3 млн параметров и принимает аудио; предобучение не использует текстовую разметку. Чекпойнт предназначен для дообучения под распознавание речи на размеченных аудиоданных. Сам по себе он не содержит токенизатора и не готов выдавать транскрипции: для распознавания нужно создать токенизатор и дообучить модель на паре аудио и текста. Корпус VoxPopuli многоязычный, однако конкретные поддерживаемые языки этим чекпойнтом не перечислены. Модель опубликована под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка рекомендует использовать её как основу для языковой адаптации и дообучения.
Wav2Vec2-Large — базовая модель Facebook для предварительного обучения на речевом аудио. Она содержит 402,7 млн параметров и реализована на архитектуре Wav2Vec2; модель обучалась на аудиозаписях с частотой дискретизации 16 кГц, поэтому входные записи также следует приводить к 16 кГц. Для распознавания речи её нужно дообучить на целевой задаче. Модель предназначена для получения речевых представлений и последующего применения в распознавании речи, в том числе при ограниченном количестве размеченных аудиоданных. В описанной авторами схеме Wav2Vec 2.0 маскирует вход в латентном пространстве и решает контрастивную задачу с квантованными представлениями. Веса доступны в формате PyTorch по лицензии Apache 2.0. Карточка приводит результаты экспериментов на LibriSpeech, но не описывает готовую к использованию систему распознавания речи: для этого требуется дообучение.
Kuongan/xlm-roberta-base-hin-finetuned — модель классификации текста на основе XLM-RoBERTa Base, дообученная разработчиком Kuongan. Она содержит около 305,2 млн параметров, использует плотную архитектуру XLM-RoBERTa и принимает последовательности длиной до 514 токенов. В README приведены результаты оценки: F1 — 0,7972, ROC AUC — 0,8712, accuracy — 0,77, loss — 0,1533; название указывает на настройку для хинди, однако назначение классов и обучающий набор данных не описаны. Модель предназначена для классификации текстов. Базовая XLM-RoBERTa поддерживает многоязычный текст, но по этой карточке нельзя установить, на каких языках и типах данных оценивалась дообученная версия. Распространяется в формате Safetensors по лицензии MIT.
YanoljaNEXT-Rosetta-4B — языковая модель с 4 млрд параметров, разработанная Yanolja NEXT и дообученная на основе google/gemma-3-4b-pt. Это плотная decoder-only модель семейства Gemma 3 с архитектурой Gemma3ForCausalLM, предназначенная для генерации текста и перевода структурированных данных в формате JSON с сохранением исходной структуры. Контекстное окно составляет 131 072 токена; модель работает через библиотеку Transformers. Модель обучалась для перевода между английским, испанским, французским, немецким, португальским, японским, корейским, китайским, арабским, русским и хинди. Она подходит для локализации каталогов товаров, перевода отзывов об отелях и других задач перевода JSON. В README указаны результаты сравнительного тестирования перевода с английского на корейский; числовой результат именно версии 4B в приведённой таблице не указан. Модель оптимизирована для структурированных данных, поэтому качество на обычном тексте или других форматах может отличаться. Лицензия — Gemma; перед использованием следует соблюдать её условия.
Piero2411/YOLOV8s-Barcode-Detection — дообученная разработчиком модель Ultralytics YOLOv8s для обнаружения штрихкодов и QR-кодов на изображениях. Она построена на небольшой версии архитектуры YOLOv8 и обучена на пользовательском наборе из более чем 5 000 изображений с разными типами штрихкодов, включая EAN13 и Code128, и QR-кодами. Модель предназначена для поиска и локализации штрихкодов и QR-кодов в изображениях, например, в системах автоматизированного сканирования товаров, посылок и доставок. README приводит метрики валидации: precision 0,97545, recall 0,99127 и mAP50 0,98643; эти результаты относятся к обучению и валидации автора и не гарантируют такую же точность на других данных. Число 11,2 млн параметров указано для базовой YOLOv8s, а не подтверждено отдельно для этой версии. Модель принимает изображения и выдаёт классы и рамки обнаруженных объектов. Для запуска требуется библиотека Ultralytics. Репозиторий распространяется по лицензии AGPL-3.0.
Это модель Audio Spectrogram Transformer (AST), разработанная авторами статьи Gong и соавторами и дообученная на наборе AudioSet. Она предназначена для классификации аудио по категориям AudioSet, например для распознавания звуковых событий в аудиозаписях. Архитектура AST адаптирует Vision Transformer (ViT) для аудио: сигнал преобразуется в спектрограмму, которая подаётся в трансформер. Модель содержит 113,2 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель подходит для категоризации звуковых событий и других сценариев аудиоклассификации. Карточка заявляет высокие результаты на нескольких тестах классификации аудио, но не приводит конкретных метрик. Лицензия — BSD 3-Clause. Поддерживаемые языки в карточке не заявлены; задача модели связана с аудиосигналом, а не с распознаванием речи.