II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейМодель patrickvonplaten/wavlm-libri-clean-100h-base — дообученная версия microsoft/wavlm-base для автоматического распознавания речи. Она использует архитектуру WavLMForCTC и содержит 113,3 млн параметров. Модель обучена на чистой части набора LibriSpeech ASR и предназначена для преобразования речи в текст. На указанном в карточке наборе для оценки модель показала WER 0,0675 и loss 0,0829. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
whisper-accent-medium.en — дообученная модель на основе OpenAI Whisper medium.en для распознавания и транскрибирования английской речи с разными акцентами. Она использует архитектуру Whisper и реализует обусловливание декодера на выученные представления акцентов через Adaptive Layer Normalization (AdaLN). Акцент оценивается по скрытым состояниям энкодера с помощью классификатора, а обучались только добавленные компоненты и представления акцентов; энкодер и декодер Whisper оставались замороженными. Всего в модели 839 897 904 параметра, около 9% из них обучались. Модель предназначена для транскрибации английской речи с разнообразными акцентами. В README указаны результаты оценки: WER 0,0939 и точность определения акцента 0,9615. Это результаты на наборе оценки, поэтому качество на других аудиозаписях может отличаться. Модель распространяется по лицензии Apache-2.0 и сохранена в формате safetensors.
Mohammed Nasri дообучил модель OpenAI Whisper Large на наборе Common Voice 11.0 для распознавания арабской речи. Это плотная модель архитектуры Whisper с 905,2 млн параметров, представленная в формате PyTorch. На оценочной выборке автор сообщает значение WER 15,9259 и loss 0,1784. Модель принимает аудио и генерирует текстовую расшифровку; карточка не описывает дополнительные сценарии или ограничения качества. Лицензия — Apache-2.0.
Модель sam8000/whisper-large-v3-turbo-greek-greece — дообученная на датасете FLEURS версия мультиязычной Whisper Large-v3-Turbo от OpenAI. Это модель распознавания речи, которая принимает аудио и преобразует его в текст. В метаданных указана архитектура WhisperForConditionalGeneration, библиотека Transformers и размер около 905,2 млн параметров. Название модели указывает на настройку для греческого языка в Греции; README также приводит метрики оценки на тестовом наборе: WER 11,0591 и WER Ortho 26,8701. Лицензия — MIT. README не содержит дополнительных сведений о сценариях применения или ограничениях.
pierluigic/xl-lexeme — модель на базе Sentence Transformers с архитектурой XLM-RoBERTa, разработанная pierluigic. Она преобразует целевое слово вместе с контекстом предложения в плотный вектор размерности 1024. Модель предназначена для сравнения контекстных значений слов и может применяться для поиска семантически близких примеров и кластеризации. Чекпойнт содержит 658,7 млн параметров и рассчитан на контекст до 514 токенов. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Модель принимает текст и выдаёт векторы; карточка не уточняет поддерживаемые естественные языки. Указана библиотека PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.
Модель chmanoj/xls-r-2B-te — дообученная версия facebook/wav2vec2-xls-r-2b для автоматического распознавания речи на датасете OPENSLR_SLR66 (NA). Архитектура основана на Wav2Vec2ForCTC; репозиторий содержит веса PyTorch и насчитывает 2,8 млрд параметров. Модель преобразует входящее аудио в текст и предназначена для распознавания речи в данных, похожих на обучающую выборку. В README для оценки указаны loss 0,4253 и WER 0,5109; сведений о языках, аудиоформатах и требованиях к использованию в карточке нет. Лицензия — Apache-2.0.
y22ma/alibaba-modernbert-router — англоязычная модель классификации текста, разработанная y22ma на базе Alibaba-NLP/gte-modernbert-base и дообученная с помощью Unsloth и TRL. Она предназначена для отнесения текста к классам; конкретные классы и сценарий маршрутизации в карточке не описаны. Модель построена на архитектуре ModernBERT, содержит 149 млн параметров и поддерживает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.
Apodex-1.0-mini — дообученная модель apodex для глубокого исследования с проверкой доказательств. Она создана на базе Qwen3.5-35B-A3B и предназначена для диалогов, многошагового поиска и ответов с использованием инструментов. Модель обучали в три этапа: SFT, agentic DPO и обучение с подкреплением на длинных агентных сценариях. Она поддерживает вызов функций и ориентирована на английский и китайский языки. Модель рассчитана на задачи, где важно собирать и проверять сведения перед формированием ответа. В составе Apodex-1.0-H она используется с командой специализированных агентов и глобальным проверяющим, однако этот режим требует внешней агентной инфраструктуры и не является свойством одиночного чекпойнта. В репозитории указаны веса Safetensors, библиотека Transformers и лицензия Apache-2.0. Карточка описывает характеристики семейства Apodex в целом, поэтому отдельные подробности реализации и качества варианта mini могут отличаться.
TurkuNLP/bert-base-finnish-cased-v1 — финская версия BERT, разработанная TurkuNLP и обученная с нуля на финскоязычных текстах. Это модель с архитектурой BERT для заполнения пропусков в тексте; её также можно дообучать для задач обработки финского языка, включая классификацию документов, распознавание именованных сущностей и разметку частей речи. Модель содержит 151,7 млн параметров, использует словарь из 50 000 WordPiece-токенов с улучшенным покрытием финских слов и поддерживает контекст до 512 токенов. Предобучение включало 1 млн шагов на корпусе более чем из 3 млрд токенов: новостях, интернет-обсуждениях и данных веб-сборов. Доступны веса в форматах PyTorch, TensorFlow, JAX/Flax и Safetensors. Карточка сообщает о результатах выше multilingual BERT в ряде финских задач, включая классификацию документов, NER и разметку частей речи. Для этих задач требуется дообучение на соответствующих данных; модель ориентирована на финский язык и не предназначена для генерации свободного текста. Лицензия в предоставленных данных не указана.
Это англоязычная модель классификации последовательностей на базе BERT, созданная Ишаном дообучением bert-base-uncased на наборе MultiNLI. Она предназначена для классификации отношений между парами текстов, в частности для определения логического следования, противоречия или нейтрального отношения между посылкой и гипотезой. Модель содержит 136,7 млн параметров, принимает текстовые входные данные и поддерживает контекст до 512 токенов. Доступны версии весов для PyTorch и Flax. В описанной оценке на MultiNLI точность составила 0,8456 на matched и 0,8484 на mismatched. Модель подходит для распознавания текстовых отношений и задач классификации, основанных на них; карточка не сообщает об оценке на других наборах данных. Лицензия в предоставленных данных не указана.
BERT large uncased — англоязычная предварительно обученная модель семейства BERT, разработанная Google. Она использует трансформерный энкодер с 24 слоями, размерностью скрытого представления 1024 и 16 головами внимания. Метаданные указывают 433,9 млн параметров; в карточке модели приводится конфигурация на 336 млн параметров. Модель обучена на BookCorpus и английской Википедии с задачами предсказания замаскированных токенов и следующего предложения. Текст приводится к нижнему регистру, используется токенизатор WordPiece с словарём из 30 000 токенов; максимальная длина контекста — 512 токенов. Основной сценарий непосредственного применения — заполнение пропусков в английском тексте. Также представления BERT можно использовать как основу для дообучения на классификации последовательностей и токенов или ответах на вопросы. Модель не предназначена для свободной генерации текста; для неё обычно требуется дообучение под целевую задачу. Предсказания могут отражать смещения обучающих данных. Модель распространяется по лицензии Apache-2.0. Метаданные указывают варианты весов для PyTorch, TensorFlow и Flax, включая safetensors.
Модель CLIP ConvNeXt-Large-D разработана Россом Уайтманом с использованием OpenCLIP и обучена на англоязычной подвыборке LAION-2B из LAION-5B. Она предназначена для классификации изображений по текстовым описаниям без специального обучения на заданных классах, а также для поиска изображений по тексту и текстов по изображениям. Визуальная башня основана на timm ConvNeXt-Large и принимает изображения с разрешением 320×320; текстовая башня имеет 16 слоёв и размерность эмбеддинга 768. Вариант soup получен усреднением весов трёх дообученных моделей. В тесте ImageNet zero-shot он показал точность top-1 76,9%. Модель работает с изображениями и английским текстом; обучение и оценка не охватывали другие языки. Карточка не рекомендует развёртывание модели и применение без тщательной проверки на конкретной задаче и фиксированной таксономии классов. Распознавание лиц и наблюдение указаны как недопустимые сценарии. Модель выпущена под лицензией MIT.
Это модель CLIP семейства ViT, обученная командой Stability AI с OpenCLIP на наборе DataComp-1B, содержащем около 1,4 млрд примеров. Она сопоставляет изображения и текстовые описания в общем пространстве представлений и предназначена прежде всего для классификации изображений без дообучения по заданным текстовым меткам, а также для поиска изображений по тексту и текстов по изображению. Модель можно применять в исследованиях и экспериментах с классификацией по произвольной таксономии, линейными пробами и дообучением для задач компьютерного зрения. В карточке указана точность zero-shot top-1 79,2% на ImageNet-1k и оценка на 38 наборах данных. Обучение на неотфильтрованных веб-данных может приводить к смещениям и нестабильному качеству в зависимости от набора меток; карточка не рекомендует развёртывание без тщательной проверки и исключает наблюдение и распознавание лиц. Лицензия репозитория — MIT.
Это англоязычная модель Sentence Transformer, разработанная автором репозитория и дообученная на базе microsoft/codebert-base для получения векторных представлений текста и кода. Архитектура основана на RoBERTa; модель содержит 151,8 млн параметров и выдаёт плотные эмбеддинги размерностью 768, которые можно сравнивать по косинусному сходству. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста, особенно в сценариях, связанных с кодом и CrewAI. В README приведены результаты поиска на наборе из 900 обучающих примеров; опубликованные значения метрик низкие, поэтому качество следует проверять на собственных данных. Модель принимает текст и возвращает векторы. Распространяется по лицензии Apache-2.0.
NVIDIA C-RADIOv4-1D-H — модель для извлечения признаков из RGB-изображений. Это дообученная версия C-RADIOv4-H, созданная методом дистилляции с несколькими учителями: SigLIP2-g, DINOv3-7B и SAM3. Энкодер на базе Vision Transformer ViT-H/16 содержит около 1,14 млрд параметров; дополнительный декодер использовался только при обучении. На этапе применения модель преобразует изображение в последовательность от 1 до 256 эмбеддинговых токенов. Число токенов выбирает вызывающее приложение, регулируя баланс между скоростью и детализацией: ранние токены передают глобальную семантику, последующие — более тонкие признаки. Модель подходит для классификации изображений, поиска похожих изображений с учётом объектов и их расположения, а также как визуальный энкодер для мультимодальных моделей; для сегментации требуется декодер, а для использования эмбеддингов — downstream-приложение. Поддерживаются RGB-изображения размером до 2048×2048 пикселей с шагом 16. Модель заявлена для коммерческого и некоммерческого использования по NVIDIA Open Model License Agreement. Она выдаёт признаки, а не готовые текстовые ответы или метки; качество конечной системы зависит от downstream-модели и выбранного бюджета токенов.
Это англоязычный разреженный CSR-энкодер, созданный дообучением модели mixedbread-ai/mxbai-embed-large-v1 на наборе Natural Questions с помощью библиотеки Sentence Transformers. Он преобразует запросы и документы в разреженные векторы размерностью 4096, ограничивая число активных измерений до 256; для сравнения используется косинусное сходство. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и разреженного информационного поиска, в частности для подбора ответов к вопросам на английском языке. В карточке приведены результаты оценки на вариантах nq_eval с разным числом активных измерений: качество поиска растёт при увеличении этого числа до 256. Модель принимает текст и выдаёт векторы признаков для поиска и сравнения. Разработчик исходной модели — Mixedbread AI; эта версия дообучена автором tomaarsen. Распространяется по лицензии Apache-2.0. Обучение и оценка связаны с Natural Questions, поэтому карточка не подтверждает одинаковое качество на других языках, доменах или типах запросов.
Это дообученная модель обнаружения объектов на базе nsugianto/detr-resnet50_finetuned_lstabledetv1s9_lsdocelementdetv1type3_session6, построенная на архитектуре DETR и представленная в формате safetensors. Карточка связывает её с распознаванием элементов документов, однако набор классов и обучающие данные не описаны. Модель принимает изображения и выдаёт обнаруженные объекты с рамками и метками. В карточке не приведены сведения о точности и сценариях применения, поэтому пригодность для конкретного набора документов следует оценивать отдельно. Лицензия в предоставленных данных не указана.
MigoXV опубликовал конверсию весов NVIDIA Streaming Sortformer v2.1 в формат safetensors для загрузки нативным PyTorch-загрузчиком проекта sortformer-dia. Потоковая модель выполняет диаризацию аудио: определяет до четырёх говорящих и размечает их реплики по ходу поступления сигнала. Транскрипцию речи модель не выполняет. В репозитории сохранены исходные 990 тензоров и конфигурация, необходимая для архитектуры и потоковых параметров. Для запуска нужны реализация модели и среда проекта sortformer-dia; наличие safetensors само по себе не обеспечивает совместимость с Transformers AutoModel. README сообщает, что CUDA может использовать Triton-ядра проекта, а поддержка NPU не проверена. Используются веса NVIDIA по лицензии NVIDIA Open Model License; эта публикация не является официальным выпуском NVIDIA.
camenduru/dinov3-vitl16-pretrain-lvd1689m — это вариант визуальной модели DINOv3, разработанной Meta AI и представленной в формате Transformers. Модель основана на Vision Transformer ViT-L с патчами 16×16; в метаданных указано 402,7 млн параметров. Она принимает изображения и формирует плотные признаки: представление класса, токены патчей и регистрационные токены. Для изображения 224×224 архитектура ViT-L использует 201 токен, а изображения большего размера поддерживаются при размерах, кратных 16 пикселям. Модель предназначена для извлечения универсальных визуальных признаков и использования в последующих задачах без обязательного дообучения. Полученные признаки подходят для поиска похожих изображений, классификации, сегментации, оценки глубины и обнаружения объектов; поддерживаемый pipeline Hugging Face — image-feature-extraction. Репозиторий указывает базовую модель facebook/dinov3-vit7b16-pretrain-lvd1689m и связь finetune. Модель распространяется по лицензии DINOv3 License (в метаданных лицензия обозначена как other). К ограничениям относятся снижение качества в низкодоходных регионах и различия результатов между географическими регионами; дообучение может усилить смещения, присутствующие в метках.
Efficient SPLADE от Naver — асимметричная модель поиска по тексту, представленная отдельными энкодерами для запросов и документов. Этот репозиторий содержит вариант для кодирования запросов; для поиска также нужен соответствующий энкодер документов. Модель преобразует предложения и абзацы в разреженные векторы размерности 30 522, пригодные для семантического поиска и извлечения пассажей. Архитектура основана на BERT с головой masked language modeling; максимальная длина входа — 512 токенов, а векторное сходство вычисляется скалярным произведением. В метаданных указано 4,4 млн параметров и поддержка английского языка; модель связана с MS MARCO. Модель подходит для построения поисковых систем и retrieval-компонента RAG, где требуется сопоставлять запросы с текстовыми фрагментами. Карточка приводит результаты на MS MARCO и низкую задержку для варианта Efficient SPLADE-VI-BT-large, но не уточняет условия измерений. Лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование.
kittn/eupe_vits16 — конверсия EUPE ViT-S/16 в формат Hugging Face Transformers на базе DINOv3, опубликованная пользователем kittn. Модель предназначена для извлечения признаков изображений; её можно использовать как визуальный энкодер для получения представлений изображения и патчей через last_hidden_state. Архитектура — ViT-S/16 с 28,3 млн параметров, 12 слоями, скрытым размером 384, шестью головами внимания, четырьмя register-токенами и размером патча 16. Репозиторий содержит веса safetensors. Для минимального расхождения с исходным путём инференса README рекомендует запуск на CUDA с bf16 autocast. Реализация RoPE в стандартном Hugging Face DINOv3 согласована сама с собой, но без дополнительной правки не совпадает побитно с эталонной реализацией EUPE/DINOv3. Лицензия указана как other, поэтому конкретные права использования по имеющимся сведениям определить нельзя. Модель принимает изображения и выдаёт признаки-векторы; естественные языки для неё не применимы.
EVA02 Tiny — компактная модель зрения семейства EVA-02, опубликованная авторами статьи и доступная в формате библиотеки timm. Это визуальный трансформер с размером входного изображения 224 × 224 пикселя, примерно 5,5 млн параметров и вычислительной сложностью около 1,7 GMAC. В архитектуре используются mean pooling, SwiGLU и Rotary Position Embeddings; модель обучена на ImageNet-22k методом masked image modeling с EVA-CLIP в роли учителя. Модель предназначена для извлечения признаков и эмбеддингов изображений, а также может служить основой для классификационных сценариев. Её небольшой размер подходит для визуального поиска, группировки изображений и построения компактных конвейеров компьютерного зрения. В репозитории timm веса сохранены в float32; исходные варианты некоторых чекпойнтов доступны в float16 или bfloat16. Это предобученный чекпойнт, а не описанное в карточке дообучение под конкретный прикладной набор классов. Для классификации под собственные категории потребуется соответствующая настройка или отдельная голова классификации. Лицензия — MIT.
FireRedPunc — модуль восстановления пунктуации из системы FireRedASR2S, разработанной командой FireRedTeam. Это отдельная BERT-модель для расстановки знаков препинания в китайском и английском тексте; README указывает средний F1 78,90% и сравнивает результат с FunASR-Punc. Модель предназначена для постобработки распознанной речи и может использоваться самостоятельно, отдельно от остальных модулей FireRedASR2S. В метаданных задача обозначена как automatic-speech-recognition, однако описание самого FireRedPunc указывает на восстановление пунктуации. Репозиторий содержит форматы PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0. Ограничения по размеру входного текста и подробности обучения в предоставленных материалах не описаны.
Gliese-Qwen3.5-27B-Abliterated-Caption — мультимодальная модель prithivMLmods на 27 млрд параметров, созданная дообучением Qwen3.5-27B и предназначенная прежде всего для подробного описания изображений. Она принимает изображения и текстовые инструкции, а в ответ генерирует развернутые текстовые подписи с описанием объектов, людей, сцен и окружения; также поддерживает диалоговый режим и визуальное понимание. Модель рассчитана на автоматическую разметку изображений, создание наборов подписей для обучения и исследования в области vision-language. В карточке указаны анализ направлений отказа и их ослабление, поэтому модель может отвечать на запросы, от которых базовая модель отказалась бы, включая генерацию откровенных или спорных описаний. Репозиторий использует архитектуру Qwen3.5 для условной генерации и формат safetensors; базовая модель содержит 27 млрд параметров. Для использования указана лицензия Apache-2.0.
GLiNER BERT Tiny — компактная модель извлечения сущностей, разработанная на базе BERT Tiny и обученная на наборе urchade/synthetic-pii-ner-mistral-v1. Она предназначена прежде всего для модульных тестов в средах с ограниченными вычислительными ресурсами, например GitHub Actions, и может применяться для простого распознавания сущностей в тексте. Модель работает с английским, французским, немецким, испанским, португальским и итальянским языками. Репозиторий содержит веса PyTorch и использует библиотеку GLiNER. Лицензия — Apache-2.0.
IdolSankaku SwinV2 Tagger v1 — модель DeepGHS для автоматической разметки изображений тегами. Она предсказывает рейтинги, персонажей и общие теги для фотографий; обучена на наборе реальных фотографий с разметкой, проверенной людьми. Архитектура SwinV2, модель совместима с timm и доступна в форматах ONNX и safetensors. ONNX-версия поддерживает пакетную обработку изображений и требует onnxruntime версии 1.17.0 или новее. Валидация версии 1.0 дала F1 0,6161 при пороге 0,3094. Модель подходит для автоматической категоризации и тегирования фотографий; точность зависит от изображения и предсказанных тегов. Лицензия — Apache-2.0.
ZeroXClem разработал диалоговую языковую модель, объединив методом Model Stock три модели на архитектуре Llama: Theia-Llama, Fireball-Meta-Llama и Llama-Hawkish. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; она предназначена для генерации текста и ответов на инструкции в диалоге. Модель ориентирована на вопросы о криптовалютах и финансах, количественные рассуждения, программирование и техническую поддержку. Она может помогать составлять финансовые обзоры, анализировать крипторынок, объяснять математические задачи и генерировать код. Заявлена поддержка английского языка. Модель выпущена в формате Safetensors с типом данных bfloat16 и доступна по лицензии Apache 2.0. Качество ответов и точность финансовых или инвестиционных выводов README не подтверждает независимыми оценками; сгенерированные расчёты и рекомендации требуют проверки.
MetaCLIP 2 (worldwide) — мультимодальная модель семейства MetaCLIP 2, представленная Meta в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Этот чекпойнт соответствует варианту ViT-bigG-14-worldwide и предназначен для классификации изображений по текстовым описаниям без предварительного обучения на заданных классах: пользователь задаёт возможные категории или подписи, а модель оценивает их соответствие изображению. Модель принимает изображения и текстовые описания и сопоставляет их в общем пространстве представлений. Карточка указывает на мультиязычную направленность; конкретные поддерживаемые языки и размер модели в предоставленных данных не уточнены. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Модель csikasote/mms-1b-all-bemgen-combined-train-drodat-gdro-1.65e-4-dat-0.019-no-sd-0.00-62 — дообученная версия facebook/mms-1b-all, созданная на наборе BEMGEN - BEM. Это модель распознавания речи на базе wav2vec2 с архитектурой Wav2Vec2ForCTC, предназначенная для преобразования аудио в текст. В карточке приведён результат оценки на тестовом наборе: CER 0,0532 и loss 12,3468. Размер модели — 1,3 млрд параметров. Языковая поддержка унаследована от многоязычной базовой MMS, рассчитанной более чем на тысячу языков, однако язык и область применения конкретного дообучения не уточнены. Для использования весов действует лицензия CC BY-NC 4.0, которая ограничивает коммерческое применение.
Карточка модели facebook/MobileLLM-R1.5-950M на Hugging Face совпадает с карточкой facebook/MobileLLM-R1.5-140M, поэтому описание составлено по ней. MobileLLM-R1.5-140M — компактная языковая модель Meta, дообученная методом on-policy дистилляции от facebook/MobileLLM-R1-140M-base. Это SFT-модель для решения математических и научных задач, а также задач программирования на Python и C++; разработчики отдельно отмечают, что она не предназначена для универсального общения. Модель содержит 140 млн параметров, использует текст на входе и выдаёт текст, поддерживает контекст до 32 тыс. токенов и словарь размером 128 тыс. токенов. Архитектура включает 15 слоёв, 9 attention heads и 3 KV heads. Дополнительная on-policy дистилляция применена как заключительный этап постобучения и, по данным авторов, улучшает результаты небольших моделей на сложных задачах рассуждения. Карточка приводит результаты семейства MobileLLM-R1.5, но конкретные численные показатели для версии 140M не выделяет. Модель опубликована под лицензией с обозначением «other»; условия лицензии следует проверить в карточке репозитория перед использованием.