II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейЭто FP8-квантизированная версия Qwen3-ASR-1.7B, подготовленная vrfai с помощью NVIDIA ModelOpt для развёртывания через vLLM. Модель предназначена для распознавания речи и транскрибации аудио; базовая модель поддерживает потоковую обработку. В архитектуре Qwen3ASRForConditionalGeneration около 1,7 млрд параметров: языковая часть размером примерно 1,4 млрд параметров квантизирована в FP8, а audio_tower и lm_head оставлены в BF16. По данным README, на тесте из 760 образцов VIVOS частота ошибок слов составила 7,60% против 7,34% у версии BF16; сходство выходов LLM с BF16 на 50 образцах — 0,994. Замеры также показывают более высокую пропускную способность FP8 на указанном оборудовании и уровнях конкурентности. Репозиторий распространяется по лицензии Apache-2.0.
roberta-large-eng-ara-128k — двуязычный энкодер на базе Transformer, разработанный исследователями Johns Hopkins University Center for Language and Speech Processing. Это модель XLM-RoBERTa большого размера с 24 слоями и 533,7 млн параметров, обученная с нуля на английских и арабских текстах. Для токенизации используется совместный словарь SentencePiece размером 128K; модель принимает последовательности до 512 токенов. Модель предназначена для предсказания замаскированных токенов и может служить основой для задач понимания английского и арабского текста, например классификации или извлечения информации после дообучения. При предобучении использованы Common Crawl, Википедия, Arabic Gigaword, OSCAR, Arabic News Corpus и OSIAN. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Модель распространяется по лицензии MIT. Это энкодер для текстовых задач, а не генеративный чат-бот; для прикладных задач, отличных от заполнения пропусков, потребуется подходящая классификационная голова или дообучение.
SauerkrautLM-Reason-Multi-ColBERT-15m — компактная мультиязычная модель поиска на основе ColBERT с поздним взаимодействием токенов. Разработчик — VAGOsolutions. Модель дообучена с дистилляцией знаний от VAGOsolutions/SauerkrautLM-Multi-ColBERT-15m и содержит 15,8 млн параметров; архитектура использует BERT и проекцию размерности 384 в 128. Она предназначена для семантического поиска и ранжирования документов по запросу, включая научные и технические материалы, и рассчитана на устройства с ограниченными ресурсами. Модель принимает текст запроса и документов, формируя токеновые векторные представления для сравнения по MaxSim. Карточка указывает контекст до 2048 токенов, максимальную длину запроса 256 токенов и поддержку немецкого, английского, испанского, французского, итальянского, нидерландского и португальского языков. Заявлены эффективность на научных и технических наборах и возможность локального запуска; результаты зависят от данных и сценария поиска. Лицензия — Apache 2.0.
zeromodels публикует реализацию SigLIP 2 Large Patch16 512 в формате Keras 3 для классификации изображений по текстовым описаниям без дообучения на целевых метках. Модель принимает изображения и текстовые запросы, сопоставляет их и позволяет выбирать наиболее подходящие метки. Реализация работает с TensorFlow, PyTorch и JAX. Модель основана на google/siglip2-large-patch16-512. Семейство SigLIP 2 использует мультиязычный словарь Gemma на 256 тысяч токенов; карточка отмечает поддержку многих языков. Модель пригодится для классификации изображений с пользовательскими категориями и поиска изображений по текстовым запросам. Распространяется по лицензии Apache 2.0.
Карточка модели Veritone/siglip2-large-patch16-512 на Hugging Face совпадает с карточкой google/siglip2-large-patch16-512, поэтому описание составлено по ней. SigLIP 2 Large — визуальная модель Google на архитектуре SigLIP, обученная для сопоставления изображений и текста. Версия Large с патчами 16×16 и входным разрешением 512 пикселей расширяет исходную схему предобучения SigLIP методами для улучшения семантического понимания, локализации и получения плотных признаков. Модель использует библиотеку Transformers и распространяется в формате Safetensors. Модель предназначена для классификации изображений по произвольным текстовым меткам без отдельного обучения, поиска изображений по текстовому запросу и использования в качестве визуального энкодера для VLM и других задач компьютерного зрения. Она предобучена на наборе WebLI. Карточка не сообщает об ограничениях качества для конкретных типов изображений. Лицензия — Apache 2.0.
kenpeter123/small-1b-dpo — языковая модель семейства Llama, разработанная автором репозитория и дообученная методом Direct Preference Optimization на базе kenpeter123/small-1b-sft. Она предназначена для генерации текста по запросам; метаданные также отмечают поддержку генерации кода. В README описана архитектура Transformer с 32 слоями, 12 головами внимания и группированным запросом внимания (GQA, 4 KV-головы); число параметров в метаданных — 956,3 млн, а контекст — 8192 токена. DPO-обучение использует пары предпочтений: правильное эталонное решение выбирается вместо ошибочного или повторяющего запрос ответа базовой SFT-модели. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Лицензия Apache-2.0. Карточка описывает обучающий чекпойнт, но не приводит оценки качества или подробностей о поддерживаемых языках помимо английского в метаданных.
sparse-encoder-testing/splade-bert-tiny-nq-onnx — компактная англоязычная модель разреженных текстовых представлений семейства SPLADE на архитектуре BERT, опубликованная пользователем или организацией sparse-encoder-testing. Модель реализована для библиотеки Sentence Transformers, доступна в формате ONNX и содержит около 4,4 млн параметров; максимальная длина входа составляет 512 токенов. Обучение выполнено с использованием SpladeLoss на наборе sentence-transformers/natural-questions размером около 99 000 примеров. Модель преобразует запросы и документы в разреженные векторные представления, пригодные для семантического поиска, информационного поиска и построения retrieval-компонента RAG-систем. Она ориентирована на английский язык и может применяться для сопоставления пользовательских вопросов с релевантными фрагментами документов. Формат ONNX удобен для быстрого или кроссплатформенного инференса при наличии совместимого runtime. Модель не генерирует ответы и не предназначена для обычной классификации или генерации текста; её результаты требуют последующего поиска и ранжирования. Качество может снижаться на русском и других языках, на текстах, существенно отличающихся от материалов Natural Questions, а также при превышении контекста в 512 токенов. Модель распространяется по лицензии Apache-2.0.
splade-camembert-base-v2 — франкоязычный разреженный кодировщик SPLADE, дообученный на базе almanach/camembert-base с использованием библиотеки Sentence Transformers и данных msmarco-qwen3-reranker-0.6_b-french. Модель принимает предложения и абзацы и преобразует их в разреженные векторы размерностью 32 005; сходство между векторами оценивается скалярным произведением. Модель предназначена для семантического поиска и разреженного извлечения документов, а также может использоваться для оценки сходства предложений. Архитектура включает CamembertForMaskedLM и SPLADE pooling с max-пулингом и ReLU. Максимальная длина последовательности — 512 токенов (514 токенов в метаданных). Карточка приводит результаты оценки на франкоязычных наборах NanoBEIR и French STS. Модель поддерживает французский язык и распространяется по лицензии Apache-2.0. Она создаёт разреженные векторные представления для поиска и не предназначена для генерации связных текстовых ответов; качество зависит от предметной области и корпуса поиска.
ssc-aln-mms-model-mix-adapt-max — модель распознавания речи на базе архитектуры wav2vec2 с выходной головой CTC, разработанная автором репозитория. По README, модель обучена с нуля на неизвестном наборе данных. Она предназначена для преобразования аудио в текст; в карточке приведены результаты оценки: CER 0,2065, WER 0,5208 и loss 1,0180. Модель содержит 1,3 млрд параметров, сохранена в формате safetensors и использует библиотеку Transformers. Язык распознавания, состав обучающих данных и условия лицензии в предоставленных материалах не раскрыты. Поэтому приведённые метрики нельзя переносить на конкретные языки или сценарии без дополнительной проверки.
ssc-ttj-mms-model — дообученная модель распознавания речи на базе facebook/mms-1b-all, опубликованная под лицензией CC BY-NC 4.0. Она использует архитектуру wav2vec2 с CTC-декодированием, содержит 1,3 млрд параметров и принимает аудио, чтобы преобразовывать речь в текст. Базовая модель поддерживает более тысячи языков, однако язык и состав данных для этого дообучения не указаны. В README приведены результаты оценки: CER 0,0795 и WER 0,4288 при значении loss 0,2494. Данных о наборе для обучения, сценариях применения и ограничениях автор не предоставил; качество на других данных и языках по этим метрикам определить нельзя. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.
SwarmDo-A2-merged — готовые объединённые веса модели SwarmDo-A2, созданные командой SwarmDo на базе Qwen/Qwen3.6-27B. Это плотная мультимодальная модель семейства Qwen3.5 с архитектурой Qwen3_5ForConditionalGeneration; в объединённой версии сохранена визуальная часть модели. Репозиторий содержит веса safetensors, рассчитанные на запуск через Transformers и vLLM. Модель предназначена для диалоговой разработки программного обеспечения: она помогает находить и исправлять ошибки в коде, а также создавать код по изображениям, включая визуальные макеты и рендеры. В README заявлены проверка исправлений исполнением кода и проверка визуального результата рендерингом. Для визуального программирования можно передавать изображение вместе с запросом. Заявлены поддержка инструментального интерфейса и совместимый с OpenAI формат сервера vLLM. Базовая модель содержит 27 млрд параметров. Карточка описывает главным образом работу с кодом и изображениями на английском языке. Известное ограничение: веса не следует подключать как LoRA в vLLM из-за зависания JIT на модулях gated-DeltaNet; README также предупреждает, что текстовая конверсия в GGUF теряет визуальную часть. Модель распространяется по лицензии Apache-2.0.
jadanovitch опубликовал инфраструктурную конверсию текстового энкодера из google/t5gemma-2-270m-270m для запуска в vLLM. Модель содержит 257 млн параметров, 18 слоёв, скрытый размер 640 и двунаправленное внимание; веса и активации представлены в BF16. Контекст составляет до 32 768 токенов. Энкодер предназначен для представления текста и сценариев поиска, извлечения информации и переранжирования. Несмотря на тег text-generation и возможность загрузки через generation runner в vLLM, модель не обучалась как самостоятельная авторегрессионная языковая модель и не предназначена для обычной генерации текста. Веса декодера, зрения и мультимодальные компоненты исключены. Применяются условия лицензии Gemma.
SetFit/test-setfit-sst2-diff-head — модель классификации текста на основе BERT и подхода SetFit. В репозитории SetFit её использовали как тестовый пример; разработчики отмечают, что модель не обучалась для достижения высокого качества. Чекпойнт содержит около 25,9 млн параметров и рассчитан на входные последовательности длиной до 512 токенов. SetFit сочетает дообучение Sentence Transformer контрастивным обучением и обучение классификационной головы на полученных признаках. Модель предназначена для классификации текста; каталог также отмечает извлечение признаков и оценку сходства предложений. Поддерживает обработку текста и выдаёт классы и текстовые эмбеддинги. Используется формат PyTorch; лицензия Apache-2.0.
czczup/textnet-small — компактная модель TextNet для извлечения признаков изображения, предназначенная для обнаружения областей с текстом. В карточке описана архитектура TextNet с эффективным по числу параметров backbone; семейство включает варианты TextNet-T, TextNet-S и TextNet-B размером 6,8 млн, 8,0 млн и 8,9 млн параметров соответственно. Для данного репозитория точный вариант не уточнён. Модель рассчитана на обнаружение текста в естественных сценах, в том числе разнонаправленного и многоязычного, а также на анализ текстовых областей в документах. README сообщает о предварительном обучении на IC17-MLT и дообучении на Total-Text для сравниваемых вариантов TextNet. Утверждается, что архитектура сочетает скорость вывода с точностью, но конкретные метрики для этого чекпойнта не приведены. Входом служат изображения, выходом — признаки для задач обнаружения текста. Лицензия в предоставленных данных не указана.
TIPS So400m/14 (v1) — контрастивная модель «изображение–текст» семейства TIPS, представленная в карточке как конверсия официальных чекпойнтов. Она объединяет визуальный энкодер ViT-So400m/14 с 27 слоями и текстовый трансформер с 27 слоями; размерность эмбеддингов — 1024, нативное разрешение — 448 пикселей. Визуальные признаки учитывают пространственную структуру изображения и сопоставляются с текстовыми эмбеддингами. Модель предназначена для классификации изображений по текстовым описаниям без специального обучения на заданных классах, а также для извлечения сопоставимых признаков изображений и текста. Можно кодировать изображения с разрешением 448 и другими размерами, кратными размеру патча, с интерполяцией позиционных эмбеддингов. Для изображений требуется диапазон значений [0, 1] без нормализации ImageNet; текст обрабатывается токенизатором SentencePiece в нижнем регистре, максимум 64 токена. В README также приведены варианты S/14, B/14 и L/14; данная карточка относится к варианту So400m/14, для которого README указывает 413 млн визуальных и 448 млн текстовых параметров. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.
UniSpeech-SAT-Base-Finetuned-100h-Libri — акустическая модель распознавания речи от Microsoft, дообученная на 100 часах английской части LibriSpeech. Она основана на архитектуре UniSpeech-SAT и использует CTC для преобразования аудиоречи в текст; размер модели — 113,3 млн параметров. Модель принимает речь с частотой дискретизации 16 кГц и рассчитана на транскрибирование английской речи, в том числе аудиокниг и записей с похожими условиями. Модель можно использовать как акустическую часть конвейера автоматического распознавания речи. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0. Карточка не приводит оценок качества распознавания или подробных ограничений для аудио, отличающегося от LibriSpeech, поэтому пригодность для таких записей следует проверять отдельно.
vit_giant_patch14_dinov2.lvd142m — модель извлечения визуальных признаков на основе Vision Transformer (ViT), опубликованная timm. Она предварительно обучена без учителя методом DINOv2 на наборе LVD-142M и предназначена для получения эмбеддингов изображений и использования в качестве основы для задач компьютерного зрения. Модель содержит около 1,14 млрд параметров и рассчитана на изображения размером 518 × 518 пикселей. Полученные признаки можно применять для поиска похожих изображений, кластеризации, классификации и других задач, где нужны визуальные представления. Модель принимает изображения и выдаёт признаки; самостоятельная классификация описана в карточке как возможный сценарий работы с визуальным backbone. Поставляется в форматах PyTorch и Safetensors, библиотека для работы — timm. Лицензия Apache-2.0.
Это веса визуального энкодера ViT-Huge/14 из семейства DFN CLIP, опубликованные timm. Модель предназначена для извлечения признаковых представлений изображений, которые можно использовать для поиска по изображениям, сравнения визуального сходства и построения мультимодальных систем. Это только энкодер изображений, а не полная модель CLIP с текстовым энкодером.
vit_so400m_patch16_siglip_gap_384.v2_webli — визуальный энкодер SigLIP 2 на архитектуре ViT, предназначенный для библиотеки timm. Это только image tower: вариант gap использует глобальное усреднение признаков и не содержит головы attention pooling. Модель обучена на наборе данных WebLI. Модель предназначена для извлечения признаков изображений и построения визуальных представлений, которые можно использовать в системах поиска и сопоставления изображений. Метаданные указывают задачу image-feature-extraction; веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.
Модель GaborMadarasz/w2v-bert-2.0-hungarian-CV24.0 разработана как дообученная версия facebook/w2v-bert-2.0 для автоматического распознавания венгерской речи. Это акустическая модель архитектуры Wav2Vec2-BERT на 402,7 млн параметров, принимающая аудио и преобразующая его в текст. Она обучена на венгерской части набора Common Voice Scripted Speech 24.0 и предназначена для транскрибации записанной речи. В карточке приведены результаты оценки на тестовых данных Common Voice: WER 5,65%, CER 1,47% и SER 32,26% для 12 066 примеров. Результаты показывают пригодность для распознавания венгерской речи в условиях, похожих на тестовый набор, но ошибки на отдельных примерах могут быть значительными. Для загрузки README рекомендует скачать репозиторий и выполнять инференс локально из-за проблем с разрешением метаданных токенизатора в загрузчике Hugging Face. Модель распространяется по лицензии MIT.
watt-tool-8B — языковая модель watt-ai на 7,5 млрд параметров, дообученная на базе meta-llama/Llama-3.1-8B-Instruct. Она предназначена для диалоговых систем и агентов, которым нужно выбирать инструменты и вызывать функции в ходе многошагового взаимодействия, например для построения рабочих процессов. Модель обучалась с использованием supervised fine-tuning и DMPO на специализированных данных для работы с инструментами и многоходовых диалогов; README сообщает о сильных результатах на Berkeley Function-Calling Leaderboard. Модель принимает текст и генерирует текст с интерфейсом диалога; заявленный контекст — до 131 072 токенов. В карточке указана поддержка английского языка. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0. Модель рассчитана на сценарии вызова инструментов и функций, однако фактическая надёжность зависит от доступных инструментов, формата их описаний и интеграции в приложение. Заявление о лидерских результатах на BFCL приведено в README; методика и цифры оценки там не указаны.
Модель KBLab на архитектуре wav2vec 2.0 Large предназначена для автоматического распознавания шведской речи. Она расширяет акустическую модель VoxRex-C социальным 4-граммным языковым моделированием, обученным на подмножестве шведского корпуса The Swedish Culturomics Gigaword Corpus: 40 млн слов из текстов социальных сетей за 2010–2015 годы. Модель содержит около 402,7 млн параметров и реализована как Wav2Vec2ForCTC в формате PyTorch. Модель принимает аудио и выдаёт текстовую расшифровку. Для обработки ожидается аудио с частотой дискретизации 16 кГц; аудио с другой частотой нужно предварительно пересчитать. На полном тестовом наборе Common Voice 6.1 VoxRex-C показала WER 9,03% без языковой модели и 6,47% с ней. Репозиторий распространяется по лицензии CC0-1.0.
Pinwheel/wav2vec2-large-xls-r-1b-hindi — модель автоматического распознавания речи, разработанная организацией Pinwheel на базе архитектуры Wav2Vec2-XLS-R компании Meta. Она преобразует аудиосигнал в текст и предназначена прежде всего для распознавания речи на хинди. Модель совместима с Transformers и PyTorch, использует архитектуру Wav2Vec2ForCTC и содержит около 1,3 млрд параметров. Конфигурация включает 48 скрытых слоёв, размер скрытого представления 1280 и словарь из 72 токенов.
kresnik/wav2vec2-large-xlsr-korean — модель автоматического распознавания речи на основе архитектуры Wav2Vec2, представленная пользователем kresnik. Модель обучена для распознавания корейской речи; карточка указывает оценивание на корпусе Zeroth-Korean. Модель принимает аудио и выдаёт текстовую транскрипцию. В метаданных указано около 403,9 млн параметров, класс Wav2Vec2ForCTC и форматы PyTorch и Safetensors. Для её использования подходит сценарий транскрибирования корейских аудиозаписей. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки или подробностей об ограничениях качества, поэтому точность на иных типах аудио по ней определить нельзя.
qanastek/whisper-base-french-cased — модель автоматического распознавания речи на основе Whisper Base, дообученная на французской части набора Mozilla Common Voice 11.0. Она преобразует французскую речь в текст и подходит для транскрибации записей и аудио с французской речью. Архитектура — WhisperForConditionalGeneration; модель содержит 51,7 млн параметров и опубликована в формате PyTorch. В карточке приведены результаты оценки: WER 24,0648 на тестовой выборке Common Voice 11.0 для французского языка, 24,20 на FLEURS fr_fr и 23,66 на VoxPopuli fr. Модель распространяется по лицензии Apache-2.0. Оценки относятся к указанным наборам данных и не гарантируют аналогичного качества на иных аудиозаписях.
Whisper-Hindi2Hinglish-Prime — дообученная Oriserve модель распознавания речи на архитектуре Whisper large-v3 от OpenAI. Она преобразует аудио с индийским произношением хинди в транскрипцию на хинглиш — разговорную смесь хинди и английского, записанную латиницей. Модель построена для работы с Transformers и имеет около 905 млн параметров. Для дообучения использовали примерно 550 часов шумных аудиозаписей на хинди с индийским акцентом; набор данных был специально собран и размечен с помощью автоматической транскрибации и последующей правки человеком. По данным README, модель снижает ошибки распознавания на тестах Common Voice, FLEURS и Indic-Voices относительно исходной Whisper large-v3 и предназначена для аудио с фоновым шумом. README также сообщает о снижении ложных транскрипций на записях с одним шумом. Модель подходит для транскрибации разговорной речи на хинглиш, в том числе в шумной обстановке. В README указано, что доступна более новая версия Whisper-Hindi2Hinglish-Apex. Лицензия — Apache-2.0.
RedHatAI/whisper-large-v3-quantized.w4a16 — квантизированная версия модели openai/whisper-large-v3, разработанная Neural Magic. Это аудио-текстовая модель архитектуры Whisper, которая принимает аудиосигнал и генерирует текст; в метаданных указана поддержка английского языка. Модель предназначена для автоматического распознавания речи и преобразования аудиозаписей в текст. Основная оптимизация — квантизация весов до формата INT4 с конфигурацией w4a16. Она уменьшает требования к памяти и может повысить эффективность инференса по сравнению с исходной моделью, сохраняя архитектуру базовой Whisper large v3. Модель подготовлена для запуска через vLLM версии 0.5.2 и выше; README также указывает возможность использования OpenAI-compatible serving. В примере развертывания задан параметр max_model_len 448, но это значение относится к конфигурации запуска. К ограничениям относятся возможное снижение качества распознавания из-за квантизации и отсутствие в README количественных результатов оценки точности или производительности. Лицензия модели — Apache 2.0.
sam8000 выпустил дообученную на наборе FLEURS модель OpenAI Whisper large-v3-turbo для автоматического распознавания речи на болгарском языке. Это мультиязычная модель архитектуры Whisper с 905,2 млн параметров, предназначенная для преобразования аудио в текст; в метаданных указана поддержка входного аудио. На тестовой выборке автор сообщает WER 9,9711 и WER Ortho 28,9047. Модель распространяется в формате Safetensors по лицензии MIT. Подробности о составе обучающих данных, кроме указания FLEURS, и о конкретных ограничениях в карточке не приведены.
Модель andrewbawitlung/whisper-large-v3-turbo-mizonal3-E3-lus-v2026.06 разработана как дообученная версия openai/whisper-large-v3-turbo на наборе данных MiZonal v3.0. Это плотная модель Whisper для автоматического распознавания речи; размер составляет 905,2 млн параметров, веса опубликованы в формате safetensors. Версия E3 обучалась с аугментацией скорости речи и предназначена для транскрибирования аудио. В README приведены результаты на оценочном наборе: WER 14,1847, CER 2,7327 и коэффициент реального времени 0,0546. Карточка не уточняет язык аудио, поэтому языковую поддержку и область применения по этим данным определить нельзя. Модель распространяется по лицензии Apache-2.0.
Это дообученная на базе openai/whisper-medium модель распознавания речи, опубликованная пользователем dianavdavidson. Она предназначена для преобразования аудиоречи в текст; название указывает на настройку для хинди и датасет Vaani, однако README не уточняет обучающие данные и сценарии применения. В метаданных указаны архитектура Whisper, библиотека Transformers и формат весов safetensors. В README приведены результаты оценки: Loss 0,4088 и Global WER 29,3511. Эти значения описывают оценку на указанном наборе, но без сведений о методике и данных их нельзя напрямую переносить на другие аудиозаписи. Модель распространяется по лицензии Apache-2.0.