II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейShellWhisperer-1.5B — языковая модель, разработанная командой FableForge и дообученная на базе Qwen/Qwen2.5-1.5B-Instruct. Она предназначена для преобразования запросов на естественном языке в точные команды Bash, а также для сценариев, связанных с DevOps, системным администрированием и работой в терминале. Модель имеет размер 1,5 млрд параметров, поддерживает текстовую генерацию и английский язык. Для локального запуска доступны файлы в формате GGUF с различными уровнями квантования, включая F16, Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные варианты. Заявлена совместимость с llama.cpp, Ollama и LM Studio; для диалогового взаимодействия используется формат ChatML. Контекстное окно в README не указано. К сильным сторонам относятся компактность, быстрота и специализация на генерации Bash-команд, благодаря чему модель может работать на устройствах с ограниченными ресурсами. Ограничения включают небольшой размер и узкую специализацию, а также отсутствие опубликованных количественных оценок качества и подробных сведений о данных обучения. Модель распространяется по лицензии Apache-2.0.
Карточка модели Veritone/siglip2-large-patch16-256 на Hugging Face совпадает с карточкой google/siglip2-large-patch16-256, поэтому описание составлено по ней. SigLIP 2 Large — большая модель визуально-языкового кодировщика, разработанная Google. Она расширяет подход SigLIP дополнительными методами предобучения, улучшая семантическое понимание изображений, локализацию объектов и получение плотных визуальных признаков. Модель предобучена на наборе WebLI и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для классификации изображений по текстовым описаниям без специального дообучения, поиска изображений по тексту и текста по изображению, а также использования в качестве визуального энкодера для визуально-языковых моделей и других задач компьютерного зрения. На вход подаются изображения и, для классификации, набор текстовых меток; результатом служат оценки соответствия изображения и меток или визуальные признаки. Лицензия — Apache-2.0. Карточка не приводит ограничений по языкам или длине контекста; качество зависит от изображений, формулировок текстовых меток и области применения, а для специализированных сценариев может потребоваться дополнительная проверка или адаптация.
SigLIP 2 So400m — модель семейства SigLIP 2, разработанная Google и предназначенная для сопоставления изображений и текста. Её применяют для классификации изображений по произвольным текстовым меткам, поиска изображений по текстовому запросу и как визуальный энкодер для мультимодальных моделей и других задач компьютерного зрения. Модель использует плотную архитектуру SigLIP и представлена в формате safetensors; работать с ней можно через Transformers. Предобучение проведено на наборе WebLI. SigLIP 2 развивает подход к предобучению SigLIP, объединяя его с ранее разработанными методами для улучшения семантического понимания, локализации и извлечения плотных признаков. Лицензия — Apache 2.0. Модель обрабатывает изображения и текстовые метки и выдаёт оценки соответствия; качество зависит от формулировок меток и характеристик изображений. README не приводит конкретных ограничений применения.
Экспериментальная модель эмбеддингов mayflowergmbh на основе SmolLM3 3B от Microsoft, дообученная с помощью LoRA для поиска по немецким текстам и оценки семантического сходства. Она преобразует текст векторовое представление размерностью 2048 и подходит для задач информационного поиска и сравнения предложений; совместима с библиотекой sentence-transformers. Архитектура основана на Llama и использует подход LLM2Vec: двунаправленное внимание и mean pooling. Метаданные указывают контекст модели 65 536 токенов, однако карточка README задаёт максимальную длину последовательности 512 токенов, после которой текст обрезается. Модель ориентирована на немецкий язык; качество для других языков не оценивалось. Для инференса требуется около 6 ГБ видеопамяти. Модель выпущена под лицензией Apache 2.0. В README она обозначена как экспериментальная; заявленное преимущество — настройка на немецкий информационный поиск с контрастивным обучением и подбором трудных негативных примеров.
Это англоязычный разреженный поисковый энкодер SPLADE, разработанный tomaarsen и дообученный на наборах вопрос–пассаж MIRIAD 4.4M от базовой модели Luyu/co-condenser-marco с использованием sentence-transformers. Модель на основе BERT преобразует предложения и абзацы в разреженные векторы размерностью 30 522; для сопоставления используется скалярное произведение. Модель предназначена для семантического поиска и разреженного извлечения документов, в том числе поиска пассажей по запросам. Максимальная длина входной последовательности — 512 токенов. Распространяется по лицензии Apache-2.0.
SPLADEv2max — разработанная Naver разреженная модель-энкодер для поиска по предложениям и абзацам. Она кодирует текст в разреженный вектор размерности 30 522 и предназначена для семантического поиска и извлечения passages; оценки релевантности вычисляются скалярным произведением векторов. Модель основана на distilbert/distilbert-base-uncased и использует masked language modeling с max-pooling и ReLU. Максимальная длина входа — 512 токенов; для воспроизведения оценки используется длина 256 токенов. Поддерживаемый язык — английский. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование.
ssc-ttj-mms-model-mix-adapt-max — модель автоматического распознавания речи на архитектуре Wav2Vec2 с CTC-выходом. В метаданных указано 1,3 млрд параметров; модель опубликована в формате Safetensors и использует библиотеку Transformers. Она принимает аудио и предназначена для преобразования речи в текст. В README приведены результаты оценки: CER 0,0697 и WER 0,3887 при loss 0,1838. Модель обучена с нуля на неизвестном наборе данных, поэтому нельзя определить поддерживаемые языки и области применения. Условия лицензии в предоставленных данных не указаны.
orionweller/tart-dual-contriever-msmarco — модель на базе архитектуры BERT объёмом 136,7 млн параметров, опубликованная для удобства использования. Она предназначена для извлечения признаков из текста; метаданные указывают ограничение контекста в 512 токенов. Файлы модели представлены в формате Safetensors. Название указывает на связь с TART, Dual Contriever и MS MARCO, однако README не описывает обучение, назначение этих компонентов или конкретный сценарий применения. Лицензия в предоставленных данных не указана.
zeromodels/tipsv2-so400m14 — конверсия модели Google DeepMind TIPSv2 в Keras 3, распространяемая проектом zeromodels. Это двухбашенная модель типа CLIP/SigLIP: визуальная башня на основе ViT в стиле DINOv2 с register-токенами и двунаправленная текстовая башня, обученные сопоставлять изображения и текст контрастивным методом. Модель предназначена для классификации изображений по текстовым меткам без специального обучения на этих метках и получения согласованных визуальных и текстовых признаков. В репозитории доступны полная модель и обе башни; реализация Keras 3 работает с TensorFlow, Torch и JAX. Для обработки изображений используется разрешение 448 пикселей и масштабирование значений в диапазон [0, 1]. Модель принимает изображения и текстовые метки и выдаёт оценки соответствия; лицензия Apache-2.0.
TrOCR base STR — модель оптического распознавания текста от Microsoft, дообученная на наборах IC13, IC15, IIIT5K и SVT. Она предназначена для распознавания текста на изображениях отдельных строк, например на фотографиях вывесок и коротких надписей. Модель построена по архитектуре vision encoder-decoder: Transformer-кодировщик изображений преобразует изображение в последовательность патчей 16×16, а авторегрессионный Transformer-декодер генерирует текст. Кодировщик инициализирован весами BEiT, декодер — RoBERTa. Репозиторий содержит веса PyTorch. Модель рассчитана на распознавание строк текста; качество для документов, многострочных изображений и других доменов может отличаться от качества на использованных наборах. Лицензия в предоставленных материалах не указана.
Vela FactCheck — модель классификации текста от vllm-sr, дообученная на базе vllm-sr/Vela-1.0-Encoder-307M. Она определяет, требует ли запрос внешних фактических знаний или поиска по источникам; модель не проверяет истинность утверждений. Архитектура — ModernBERT для классификации последовательностей, размер — 306,9 млн параметров, максимальная длина входа — 32 768 токенов с учётом специальных токенов. Модель рассчитана на классификацию запросов в системах маршрутизации и retrieval.
timm/ViT-B-16-SigLIP2 — визуально-языковая модель семейства SigLIP 2, обученная на наборе WebLI и преобразованная из исходных контрольных точек JAX проекта Big Vision для использования в OpenCLIP. Это контрастивный энкодер изображений и текста, предназначенный для классификации изображений без дополнительного обучения: пользователь задаёт текстовые описания классов, а модель сопоставляет их с изображением. Модель принимает изображения и текстовые описания, оценивает их соответствие и подходит для поиска изображений по тексту и классификации с произвольными текстовыми метками. В карточке указана поддержка многоязычного визуально-языкового обучения SigLIP 2; конкретные языки этой версии не перечислены. Модель распространяется в форматах PyTorch и safetensors и доступна на условиях Apache-2.0. Это конверсия исходных контрольных точек, а не отдельное дообучение. Карточка не сообщает конкретный размер модели, длину контекста или ограничения качества; результаты могут зависеть от формулировок текстовых меток и домена изображений.
Это визуальный энкодер SigLIP 2 на архитектуре ViT Giant с оптимизированными патчами 16 и входным разрешением 384 пикселя, подготовленный для библиотеки timm. Модель соответствует только визуальной части SigLIP 2 и обучена на наборе данных WebLI. Модель предназначена для извлечения признаков изображений: полученные представления можно использовать для поиска похожих изображений, сопоставления изображений с текстом в составе мультимодальной системы и других задач визуального анализа на основе признаков. Метаданные указывают задачу image-feature-extraction; модель принимает изображения и выдаёт векторные представления. Репозиторий распространяется по лицензии Apache 2.0. Карточка не сообщает число параметров, длину контекста или ограничения качества; это визуальный энкодер, поэтому он сам по себе не генерирует текст и не принимает текстовые запросы.
ViT-SO400M-14-SigLIP — контрастивная модель сопоставления изображений и текста на основе SigLIP, обученная на наборе WebLI. Исходные веса из контрольных точек JAX проекта Big Vision преобразованы в PyTorch; репозиторий поддерживается timm и распространяется в форматах PyTorch и safetensors под лицензией Apache-2.0. Модель предназначена для классификации изображений по текстовым описаниям без отдельного дообучения: она сравнивает изображение с набором предложенных пользователем категорий и позволяет выбрать наиболее подходящую. Через OpenCLIP доступны работа с изображениями и текстом, а через timm — получение эмбеддингов изображений. Карточка не приводит сведений о размере модели, длине контекста или поддерживаемых языках; точность зависит от формулировок текстовых меток и домена изображений.
Это визуальный энкодер SigLIP из библиотеки timm: модель преобразует изображения в признаки и поддерживает извлечение визуальных представлений. В карточке указаны вариант SO400M с патчами 14×14 и входным разрешением 378 пикселей; сохранён исходный механизм attention pooling. Модель разработана как часть семейства timm и распространяется в форматах PyTorch и safetensors. Энкодер подходит для получения признаков изображений в системах визуального поиска, сопоставления и анализа. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. В доступной карточке не приведены сведения о качестве на конкретных наборах данных.
cahya/wav2vec2-base-turkish-cv7 — модель распознавания турецкой речи, разработанная Cahya и дообученная на наборе MOZILLA-FOUNDATION/COMMON_VOICE_7_0 - TR. Она использует архитектуру wav2vec2 с CTC-декодером и содержит 113,3 млн параметров. Модель принимает аудио и выдаёт распознанный текст на турецком языке. На оценочной выборке указаны loss 0,2893 и WER 0,2713. Модель подходит для транскрибации турецкой речи, в том числе записей, похожих по условиям на Common Voice. Доступна по лицензии Apache-2.0.
Модель nguyenvulebinh/wav2vec2-base-vi-vlsp2020 — акустическая модель распознавания вьетнамской речи на архитектуре wav2vec2, представленная автором репозитория. Она предварительно обучена на 13 тысячах часов неразмеченной вьетнамской речи из YouTube, а затем дообучена на 250 часах размеченных данных VLSP ASR. Модель содержит 113,3 млн параметров и принимает речь с частотой дискретизации 16 кГц. Модель предназначена для преобразования вьетнамской речи в текст. В тесте VLSP T1 автор сообщает WER 8,66 без языковой модели и 6,53 с 5-граммовой языковой моделью. Эти результаты относятся к указанному тестовому набору и не гарантируют такое же качество на других типах аудио. Для использования модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое применение.
ctaguchi/wav2vec2-kac — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m и реализованная на базе Wav2Vec2ForCTC. Она принимает аудио и преобразует речь в текст. В карточке приведены результаты оценки: CER 0,0452 и WER 0,1986; набор данных и условия оценки не описаны, поэтому эти показатели нельзя напрямую сопоставлять с результатами других моделей. Модель содержит около 402,7 млн параметров, распространяется в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Суффикс kac в названии может указывать на язык, однако README и метаданные не подтверждают, какой язык поддерживается, поэтому языковые характеристики здесь не уточняются.
Модель dianavdavidson/wav2vec2-large-xlsr-53-iv_hindi_vaani-62420-hinglish_mixed_scripts-alldata-1e-4-100-mix-0.3-FT — дообученная Dianavdavidson версия facebook/wav2vec2-large-xlsr-53 для автоматического распознавания речи. Она построена на архитектуре Wav2Vec2ForCTC, содержит 402,8 млн параметров и принимает аудио, выдавая распознанный текст. По названию модели она ориентирована на хинди и хинглиш со смешанными письменностями; оценка на тестовом наборе указана как Global WER 29,1776 и loss 0,7903. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.
Модель scottykwok/wav2vec2-large-xlsr-cantonese разработана участником scottykwok и представляет собой wav2vec 2.0 XLSR, дообученную для автоматического распознавания кантонской речи. Она принимает аудио и выдаёт текстовую транскрипцию; модель основана на wav2vec2-large-xlsr-53 и обучалась на Common Voice zh-HK версии 6.1.0. Архитектура — Wav2Vec2ForCTC, размер — 406,3 млн параметров. Для тестовой части Common Voice zh-HK автор сообщает CER 15,11%. Модель рассчитана на кантонский язык; карточка не приводит длину аудиозаписи или контекста. Распространяется по лицензии CC BY-SA 4.0.
wav2vec2-large-xlsr-mvc-swahili — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53. Она предназначена для преобразования аудиозаписей на суахили в текст и обучена на данных Common Voice 13.0. Модель использует архитектуру Wav2Vec2ForCTC, содержит около 402,7 млн параметров и принимает аудио, выдавая текст. Базовая модель предварительно обучена на речи 53 языков. В README отмечена проблема со словарём: при обучении не учли некоторые специальные символы, поэтому распознавание таких символов может работать некорректно. Модель распространяется по лицензии Apache-2.0.
danurahul/wav2vec2-large-xlsr-pa-IN — модель автоматического распознавания речи на панджаби, созданная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования панджабской речи в текст. Для входного аудио требуется частота дискретизации 16 кГц; доступны веса PyTorch и Flax. В карточке указан результат тестирования 100% на тестовых данных Common Voice, однако метрика не названа, а разделение данных описано неоднозначно: README сообщает об использовании наборов train и validation для обучения, валидации и тестирования. Поэтому результат не позволяет оценить обобщающую способность модели. Лицензия — Apache-2.0.
CuongLD разработал wav2vec2-large-xlsr-vietnamese — модель распознавания вьетнамской речи, дообученную на базе facebook/wav2vec2-large-xlsr-53. Это акустическая модель Wav2Vec2 с выходной CTC-головой; размер модели составляет 402,7 млн параметров. Модель преобразует аудиозаписи речи в текст и подходит, например, для расшифровки голосовых сообщений и записей. В обучении использовались Common Voice и Infore_25h; для входного аудио требуется частота дискретизации 16 кГц. В карточке приведён результат оценки 58,63% на тестовых данных Common Voice, но метрика не уточнена. Модель рассчитана на вьетнамский язык. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.
wav2vec2-xls-r-1b-scandinavian-E2-100h-30-epochs-20250123 — дообученная Davidilag модель распознавания речи на базе facebook/wav2vec2-xls-r-1b. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая распознанный текст. В README приведены результаты на оценочном наборе: WER 21,627 и CER 4,5904; набор данных и условия оценки не описаны, поэтому эти значения нельзя уверенно переносить на другие записи. Модель предназначена для автоматической транскрипции речи. В метаданных указаны 1,3 млрд параметров, библиотека Transformers и формат safetensors. Лицензия — Apache-2.0. Язык или языки дообучения из карточки установить нельзя.
Larrycmu разработал эту модель дообучением facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Это плотная модель Wav2Vec2 с CTC-выходом, принимающая аудио и выдающая текст; репозиторий содержит веса в формате safetensors. Число параметров — около 402,8 млн. В карточке приведены результаты на тестовой выборке: CER 0,0746 и WER 0,3453. Язык распознавания и характеристики набора данных не раскрыты, поэтому применимость к конкретному языку и условиям записи по этим сведениям оценить нельзя. Лицензия — Apache-2.0.
RedHatAI/whisper-large-v3-quantized.w8a8 — квантизированная версия модели openai/whisper-large-v3, разработанная Neural Magic. Это аудио-текстовая модель распознавания речи, преобразующая аудиовход в текст. Модель предназначена для автоматической транскрипции речи и эффективного инференса, в том числе при развертывании через vLLM и его OpenAI-совместимый сервер. В README явно указана поддержка английского языка. Архитектура соответствует Whisper large-v3; точное число параметров и максимальная длина контекста в README не указаны. Веса и активации квантизированы в INT8 по схеме W8A8, что ориентировано на снижение вычислительных и ресурсных затрат при инференсе. Модель готова к использованию с vLLM версии 0.5.2 и выше и поддерживает обработку аудиоданных в мультимодальном запросе. README не содержит количественной оценки влияния квантизации на точность и подробностей об ограничениях качества. Модель распространяется по лицензии Apache 2.0.
Модель TalTechNLP/whisper-large-v3-turbo-et-verbatim — дообученная командой TalTechNLP мультиязычная модель Whisper large-v3-turbo для автоматического распознавания речи. Её обучили на 1400 часах аудио с вручную подготовленными дословными транскрипциями из набора TalTech Estonian Speech Dataset 1.0. Модель принимает аудио и выдаёт текст. Она подходит для дословной транскрибации эстонской речи; архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. Модель доступна в формате safetensors и рассчитана на работу через Transformers. Лицензия — MIT.
zuazo/whisper-medium-es — модель распознавания речи, созданная дообучением openai/whisper-medium на испанской части набора Mozilla Common Voice 13.0. Она принимает аудио и генерирует текст; предназначена прежде всего для транскрибации испанской речи. Архитектура — Whisper, плотная модель с 455,8 млн параметров. На оценочном наборе указаны loss 0,1915 и WER 5,4088. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0, которая разрешает использование, изменение и распространение с указанием авторства.
Wichtelchen-Qwen3.5-9B — модель schneewolflabs на архитектуре Qwen3.5-9B, дообученная для локальной работы с инженерными задачами и делегирования работы кодовому агенту. Она поддерживает диалог, работу с кодом и изображениями; в метаданных указан формат safetensors и библиотека Transformers. README сообщает о результатах 56,1% на hembench и 10/10 по делегированию в тесте egirl, однако это результаты внутренних бенчмарков разработчика. Модель предназначена для сценариев, где ассистент использует инструменты и передаёт инженерные задачи агенту egirl. README характеризует использование инструментов как одноходовое и привязанное к схеме инструментов egirl. Лицензия — Apache-2.0.
sentence-transformers/xlm-r-bert-base-nli-stsb-mean-tokens — модель Sentence Transformers, обученная командой sentence-transformers на основе XLM-RoBERTa. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения сходства. Модель принимает текст и выдаёт векторные представления; максимальная длина контекста составляет 514 токенов. Доступны варианты весов в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель многоязычная благодаря основе XLM-RoBERTa, однако README предупреждает, что качество её эмбеддингов низкое и модель устарела, поэтому для новых задач рекомендуются более современные модели эмбеддингов. Лицензия — Apache-2.0.