II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейceyda/wav2vec2-large-xlsr-53-turkish — модель распознавания речи, дообученная на турецком языке разработчиком карточки на основе facebook/wav2vec2-large-xlsr-53 с использованием данных Common Voice. Она преобразует аудиозапись речи в текст и предназначена для распознавания турецкой речи; входной сигнал должен иметь частоту дискретизации 16 кГц. Модель использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Доступны веса PyTorch и Flax. В README приведён результат 27,59 % на тестовых данных Common Voice, однако метрика не названа, поэтому напрямую интерпретировать её качество нельзя. Модель распространяется по лицензии Apache-2.0.
UrukHan/wav2vec2-russian — модель распознавания речи на основе архитектуры Wav2Vec2, опубликованная разработчиком UrukHan. Она принимает аудио в формате WAV и преобразует речь в текст с помощью распознавания на основе CTC. В README рекомендовано дополнительно обрабатывать результат моделью UrukHan/t5-russian-spell, которая исправляет ошибки распознавания, расставляет знаки препинания и приводит цифры в порядок. Модель содержит 402,7 млн параметров и распространяется в форматах PyTorch и safetensors. Карточка не сообщает точные характеристики аудиовхода и показатели качества, поэтому пригодность для конкретных условий записи следует оценивать отдельно. Условия лицензии в доступных данных не описаны.
dbdmg/wav2vec2-xls-r-300m-italian-robust — акустическая модель распознавания итальянской речи, дообученная на базе facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Для обучения использованы итальянские части наборов Common Voice 7.0, LibriSpeech multilingual, TED multilingual, Voxforge, M-AILABS, EuroParl-ST, EMOVO и MSPKA. Модель принимает аудио и преобразует речь в текст; карточка не описывает дополнительные режимы работы или длину контекста. Репозиторий предоставляет веса PyTorch и Safetensors. Лицензия — Apache 2.0.
DrishtiSharma/wav2vec2-xls-r-300m-kk-n2 — модель распознавания речи, дообученная на базе facebook/wav2vec2-xls-r-300m на казахской части набора Mozilla Common Voice 8.0. Она принимает аудио и преобразует речь на казахском языке в текст; архитектура — Wav2Vec2ForCTC семейства wav2vec2, размер — 402,7 млн параметров. На тестовой оценке автор сообщает WER 0,451 и loss 0,7149. Модель распространяется по лицензии Apache-2.0.
aneforge/whisper-base.en — англоязычная модель распознавания речи семейства Whisper от OpenAI, опубликованная ANEForge для запуска через ANEForge на Apple Neural Engine. Репозиторий содержит байт-в-байт копию весов openai/whisper-base.en в формате safetensors; архитектура — плотная WhisperForConditionalGeneration, размер — 51,7 млн параметров. Модель преобразует аудио в текстовую расшифровку. Она принимает монофонический аудиосигнал с частотой 16 кГц; базовая модель предназначена для английской речи. ANEForge компилирует граф модели в программу для Apple Neural Engine и загружает веса из репозитория. Модель распространяется по лицензии Apache-2.0. README описывает её как неизменённую копию исходной модели, поэтому отдельное дообучение не подтверждается; назначение репозитория — совместимость с ANEForge. Подробности о точности и ограничениях распознавания следует смотреть в карточке исходной модели.
istupakov/whisper-base-onnx — это версия модели Whisper base, разработанной OpenAI и преобразованной в формат ONNX для использования с библиотекой onnx-asr. Модель предназначена для автоматического распознавания речи в аудиофайлах, включая транскрибацию WAV, с возможностью автоматического определения языка или его явного указания. Ключевые характеристики включают архитектуру Whisper base в формате ONNX, поддержку обработки аудио и генерацию текстовой расшифровки. В карточке модели указаны английский и русский языки. Экспорт выполнен с использованием beam search, forced decoder input IDs, оптимизации ONNX и точности FP32. Количество параметров и максимальная длина контекста не указаны. Формат ONNX ориентирован на запуск через onnx-asr и ONNX Runtime, в том числе на CPU. Автоматическое определение языка может работать медленнее, чем распознавание с заранее заданным языком. Данные о точности, производительности, устойчивости к шуму и других ограничениях отсутствуют, поэтому оценить сильные стороны модели по сравнению с альтернативами нельзя. Модель распространяется по лицензии Apache-2.0.
Whisper Large-v2 Czech CV11 v2 — модель распознавания речи, созданная дообучением openai/whisper-large-v2 на чешской части набора Mozilla Common Voice 11.0. Она предназначена для преобразования чешской речи в текст. Модель основана на архитектуре Whisper и содержит 905,2 млн параметров. На оценочной выборке указана WER 9,0459 и loss 0,2120. Обучение проводилось с оптимизацией DeepSpeed и размером пакета 32. Модель распространяется по лицензии Apache-2.0. Подробности о дополнительных сценариях применения и ограничениях в карточке не приведены.
TalTechNLP дообучила мультиязычную модель OpenAI Whisper large-v3-turbo для автоматического распознавания речи. Обучение включало 1400 часов аудио с вручную подготовленными дословными транскрипциями на эстонском языке, около 4000 часов эстонских новостных аудиозаписей с автоматически созданными транскрипциями и контекстной подсказкой, а также около 500 часов англоязычных подкастов и видео YouTube. Модель особенно рассчитана на эстонскую речь с английскими терминами и фрагментами, например в технических подкастах. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 905,2 млн параметров. Она принимает аудио и выдаёт текст; использовать её можно через Transformers, а опубликованный вариант в формате GGML — с инструментами на базе whisper.cpp. Лицензия — MIT. Карточка не сообщает отдельные метрики качества или гарантии точности распознавания.
kingabzpro/whisper-large-v3-turbo-urdu — модель распознавания речи, созданная дообучением Whisper large-v3-turbo на наборе Common Voice 17.0. Она принимает аудио и выдаёт текстовую расшифровку на урду; модель реализована на архитектуре Whisper и содержит около 905,2 млн параметров. Модель предназначена для транскрибации речи на урду, в том числе записей, подобных примерам из Common Voice. В README приведены результаты оценки на тестовой части Common Voice 17.0: WER около 26% и CER около 8,8%, поэтому в расшифровках возможны ошибки, особенно при отличающихся условиях записи или речи. Модель доступна под лицензией Apache-2.0 и рассчитана на использование через Transformers.
zeynepgulhan/whisper-medium-mediaspeech-cv-tr — дообученная модель распознавания речи на базе openai/whisper-medium, разработанная автором репозитория. Она предназначена для преобразования аудио в текст; в карточке приведены результаты оценки: loss 0,1813 и WER 9,9776. Модель содержит 455,8 млн параметров, построена на архитектуре Whisper и распространяется в формате PyTorch. Базовая Whisper-medium мультиязычная, однако язык и особенности обучающих данных этой дообученной версии не установлены: README ссылается на набор данных «None» и не раскрывает область применения. Лицензия — Apache-2.0. Оценка WER приведена без описания набора тестов и условий измерения, поэтому её нельзя напрямую переносить на другие данные.
arbml/whisper-small-ar — дообученная версия OpenAI Whisper Small для автоматического распознавания речи. Модель основана на архитектуре Whisper и содержит 153,1 млн параметров; в репозитории представлены веса PyTorch. В метаданных указан датасет arbml/mgb2, а карточка сообщает о результате WER 21,3693 на оценочном наборе. Модель принимает аудио и преобразует речь в текст. Лицензия Apache-2.0 разрешает использование на её условиях. Карточка не описывает дополнительные сценарии применения или известные ограничения качества.
Whisper-small-ar — модель распознавания арабской речи, разработанная на основе архитектуры Whisper и дообученная на арабских данных Mozilla Common Voice 11.0. Она принимает аудио и преобразует произнесённую речь в текст; предназначена для транскрибирования записей, подкастов, видео и разговоров, а также для интеграции в голосовые интерфейсы и приложения на базе Hugging Face Transformers. Модель использует архитектуру Transformer encoder-decoder и содержит 153,1 млн параметров. В карточке заявлена поддержка арабских диалектов и акцентов. Модель распространяется по лицензии Apache-2.0. Ее ограничения: качество может различаться между диалектами, акцентами и условиями записи; численные оценки качества в карточке не приведены.
amirsz8203/whisper-small-fa-finetuned — версия Whisper Small, дообученная автором репозитория для автоматического распознавания речи. Модель принимает аудио и генерирует текстовую транскрипцию; карточка указывает оценку WER 24,1495 на наборе оценки, но не описывает сам набор данных и условия измерения. Модель использует архитектуру Whisper и библиотеку Transformers, веса представлены в формате safetensors. Лицензия — Apache 2.0. Поддерживаемый язык в карточке не подтверждён.
mlx-community/whisper-tiny-asr-fp16 — версия Whisper Tiny, преобразованная сообществом mlx-community из openai/whisper-tiny в формат MLX с помощью mlx-audio 0.2.10. Это компактная модель распознавания речи с архитектурой Whisper и примерно 29,4 млн параметров, предназначенная для преобразования аудиозаписей в текст. Репозиторий содержит веса Safetensors; для работы используется библиотека mlx-audio. Модель поддерживает многоязычное распознавание, в том числе русского, английского, китайского, немецкого, испанского, французского и японского языков. Она подходит для транскрибации коротких записей и речи в приложениях на устройствах Apple Silicon, совместимых с MLX. Это конверсия исходной модели, а не отдельное дообучение; для подробностей о качестве и ограничениях следует обращаться к карточке openai/whisper-tiny. Лицензия — Apache-2.0.
nagorebravo/whisper-tiny-en-minds14 — компактная модель распознавания речи на архитектуре Whisper, дообученная на openai/whisper-tiny разработчиком nagorebravo на датасете PolyAI/minds14. Она преобразует аудио в текст и предназначена для транскрибации речи, в том числе аудиозаписей из сценариев, представленных в этом датасете. На оценочном наборе указаны Loss 0,5909 и WER 0,3241 (WER Ortho 0,3288). Модель распространяется в формате safetensors по лицензии Apache-2.0.
NavAI · whisper-tiny-uzbek — компактная модель распознавания узбекской речи, разработанная NavAI на основе openai/whisper-tiny и дообученная на 753 часах аудио с человеческими расшифровками. В метаданных указано 29,4 млн параметров; README называет размер модели 39 млн. Архитектура — WhisperForConditionalGeneration, веса доступны в формате safetensors и предназначены для использования с Transformers. Модель преобразует узбекскую речь в текст, в первую очередь на латинице (uzn_Latn). Она подходит для транскрибации записей и пакетной обработки аудио; для лучших результатов рекомендуется явно задать язык «uz». Длинные записи обрабатываются окнами по 30 секунд. На четырёх тестовых наборах узбекской речи модель показывает макро WER 18,13% и микро WER 17,2%; качество ниже на энциклопедической речи и редких иностранных именах. Модель слабее справляется с дальними, шумными и выраженно диалектными записями; основной целевой вариант — узбекская речь на латинице. Лицензия модели — Apache-2.0.
Это дообученная на неизвестном наборе данных модель OpenAI Whisper large-v3-turbo для автоматического распознавания речи. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и представлена в формате safetensors; библиотека для работы с ней — Transformers. Модель принимает аудио и преобразует речь в текст. В карточке приведены результаты оценки: loss 0,3081 и глобальный WER 46,6495. Данных о целевых языках, сценариях обучения и ограничениях применения в README нет. Лицензия — MIT.
Это модель ALBERT XXLarge V2, дообученная Марком Фебловицем из IBM Research для ответов на вопросы по тексту в формате SQuAD 2.0. Она предназначена для открытых вопросов и задач понимания прочитанного: на вход получает вопрос и контекст, а на выходе определяет ответ в контексте или отсутствие ответа. Модель основана на архитектуре ALBERT и содержит около 3,3 млрд параметров. Максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch. Язык обучения и лицензия в карточке не уточнены.
ARC-Qwen-Video-7B-Narrator — дообученная мультимодальная модель TencentARC на базе Qwen2.5-VL-7B-Instruct для анализа коротких видео. Она формирует описания с временными метками, различает говорящих и передаёт распознанную речь, помогая разбирать события и диалоги в роликах. Архитектура — плотная модель семейства Qwen2.5-VL с 7,1 млрд параметров; она обрабатывает видео и аудио и выдаёт текст. В метаданных указан контекст длиной до 128 000 токенов. Модель подходит для создания временной расшифровки ролика, краткого описания сцен и анализа последовательности событий. В README также показан сценарий, где результат модели передают внешней LLM для получения более подробного структурированного разбора. Для развёртывания описаны проверенные конфигурации с NVIDIA H20 и A100; установка зависит от соответствующих библиотек и окружения. Модель распространяется по лицензии Apache-2.0.
ARK-ASR-0.6B INT8 ONNX — пакет для локального распознавания речи, подготовленный разработчиками ARK-ASR на основе модели AutoArk-AI/ARK-ASR-0.6B. Он предназначен для запуска ASR через ONNX Runtime на локальных компьютерах и периферийных устройствах, когда важен компактный формат инференса. Модель имеет плотную архитектуру ArkasrForConditionalGeneration, содержит около 504,7 млн параметров и использует 32 768 токенов контекста. Пакет включает INT8 ONNX-компоненты декодера, аудиоэнкодера и аудиоадаптера, а также FP32-эмбеддинги и необходимые файлы токенизатора и процессора. Входное аудио обрабатывается с частотой 16 кГц; модель распознаёт китайскую, английскую, немецкую, японскую, французскую, корейскую, испанскую, польскую, итальянскую, румынскую, венгерскую, чешскую, нидерландскую, финскую, хорватскую, словацкую, словенскую, эстонскую и литовскую речь и выдаёт текст. Квантованный ONNX-пакет рассчитан на компактный локальный инференс; лицензия — Apache-2.0.
ClassOne Gemma 4 E2B — дообученная модель принятия решений, разработанная devops-thiago на основе google/gemma-4-E2B-it. Она классифицирует входной текст за один проход и возвращает типизированные вероятностные результаты без пошаговой генерации текста: булеву оценку Noul, выбор из нескольких вариантов Choice или оценку по шкале Score. Модель предназначена для проверок условий, выбора между вариантами и выставления оценок по заданным рубрикам, в том числе в локальных сценариях, где важны малая задержка и конфиденциальность. В README приведены результаты на JevBench и RLCDAlignBench; на сложном уровне JevBench точность существенно ниже, чем на простом, а оценки безопасности охватывают ограниченный набор тестов. Архитектура — плотная Gemma 4; веса опубликованы в формате safetensors. Лицензия — Apache 2.0.
CodeSearch-ModernBERT-Crow-Plus-1.0 — модель эмбеддингов на базе Sentence Transformers, разработанная Shuu12121 на основе Shuu12121/CodeModernBERT-Crow. Она предназначена для поиска фрагментов кода по текстовому запросу и обучена для работы с кодом на Python, PHP, Java, JavaScript, Go, Ruby и Rust. Модель использует архитектуру ModernBERT, содержит 151,6 млн параметров и поддерживает контекст до 8192 токенов. В версии 1.0 к обучающим данным добавлены очищенные наборы PHP и Go. Автор приводит внутренние оценки на CodeSearchNetRetrieval и COIRCodeSearchNetRetrieval, но результаты не являются официальными оценками MTEB. Модель оптимизирована для поиска кода на уровне функций; для очень больших файлов и неполного кода результаты могут быть менее надёжными. Распространяется по лицензии Apache-2.0.
combinedwhispersanlishlr2e5 — дообученная модель распознавания речи на базе openai/whisper-small, подготовленная разработчиком thunderboltc. Она принимает аудио и преобразует речь в текст; в метаданных указаны архитектура WhisperForConditionalGeneration и библиотека Transformers. README приводит результаты оценки: WER 33,4213 и CER 8,1594; сведений о языке и составе обучающих данных нет. Модель подходит для транскрибирования аудиозаписей в сценариях, соответствующих данным её дообучения. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. README не описывает назначение дообучения и ограничения качества, поэтому область применения по языкам и типам аудио определить нельзя.
QuantFactory/Cotype-Nano-GGUF — это квантизированная версия легковесной языковой модели Cotype-Nano, разработанной MTSAIR. Квантизация выполнена с использованием llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы, объяснение технических тем и помощь в написании кода, при ограниченных вычислительных ресурсах. Заявлена поддержка русского и английского языков. По данным карточки, исходная модель обучалась в два этапа: сначала MLP-слои обучались на математических и программных данных, затем вся модель — на внутренних и открытых синтетических наборах инструкций. Архитектура, количество параметров, размер контекста и точный формат квантизации для этой версии не указаны. Среди сильных сторон заявлены лёгкость, высокая скорость и эффективность при ограниченных ресурсах; к ограничениям относятся отсутствие подробных характеристик и независимой оценки качества за пределами приведённого локального теста ru-llm-arena, где исходная Cotype-Nano получила 30,2 балла, а версия Cotype-Nano-4bit — 22,5. В метаданных указана лицензия Apache-2.0, при этом ссылка ведёт на отдельный файл лицензии MTSAIR. Модель предназначена для использования с инструментами экосистемы llama.cpp и совместимыми средствами запуска GGUF.
electricpipelines/deepseek — репозиторий Hugging Face с GGUF-квантованными версиями моделей семейства DeepSeek, опубликованный пользователем electricpipelines. По найденным данным, в нём представлен файл DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf размером около 1,89 ГБ, а также другие варианты и связанные модели семейства DeepSeek-R1-Distill. DeepSeek-R1-Distill-Qwen-1.5B разработана DeepSeek-AI и предназначена для генерации текста и решения задач, требующих рассуждений, включая математику, программирование и общий анализ. Это плотная языковая модель примерно на 1,5 млрд параметров, основанная на Qwen2.5-Math-1.5B и дообученная на 800 тысячах примеров, созданных DeepSeek-R1. Репозиторий использует формат GGUF, ориентированный на локальный запуск через llama.cpp и совместимые приложения. Модель поддерживает текстовую модальность; точный набор языков и размер контекстного окна для опубликованного GGUF-файла в доступных данных не указан. Сильная сторона модели — компактность и возможность локального использования при ограниченных ресурсах, однако по качеству рассуждений она уступает более крупным вариантам DeepSeek-R1-Distill. Для репозитория указана лицензия Apache-2.0; исходная серия DeepSeek-R1 также допускает коммерческое использование, модификацию и создание производных работ с учетом лицензий базовых моделей.
Distilled-HermesChat-7B — экспериментальная диалоговая модель, созданная автором репозитория с помощью LazyMergekit путём слияния OpenChat 3.5 и Distilabeled-Hermes 2.5 на базе Mistral. Это плотная авторегрессионная модель MistralForCausalLM с 7,1 млрд параметров, предназначенная для общения и дальнейших экспериментов по дообучению. Репозиторий содержит веса Safetensors, а лицензия указана как Apache-2.0. Модель принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Базовые компоненты рассчитаны на диалог, программирование, математические рассуждения и общие вопросы, однако карточка этой конкретной модели представляет её как экспериментальный вариант для поиска удачного слияния перед последующим дообучением. Поэтому её качество для отдельных задач не следует считать подтверждённым.
EVA-CLIP-8B — разработанная BAAI совместно с THU модель контрастивного сопоставления изображений и текста семейства CLIP. Она преобразует изображения и текст в векторы признаков, которые можно сравнивать для поиска соответствий и классификации без обучения на конкретных классах. Модель содержит 8,1 млрд параметров и распространяется в формате PyTorch; для обучения использовались данные LAION-2B и COYO-700M. Модель предназначена для извлечения визуальных и текстовых признаков, классификации изображений по текстовым описаниям и поиска изображений по запросу или текста по изображению. В README для варианта 8B приведены средние результаты на наборах классификации изображений и видео, а также оценка поиска соответствий; качество может отличаться при использовании весов Hugging Face от опубликованных PyTorch-результатов. Веса доступны по лицензии Apache-2.0. Из-за большого размера модели для загрузки и применения требуются значительные ресурсы; README указывает на возможность загрузки через DeepSpeed ZeRO-3 при ограниченной памяти CPU.
FG-CLIP Base — модель Qihoo 360 для тонкого выравнивания визуальных и текстовых представлений. Обучение проходит в два этапа: сначала на парах изображений и подписей для глобального выравнивания, затем с дополнительными описаниями областей изображения, включая подробные описания и положительные и отрицательные примеры. Архитектура относится к семейству CLIP; карточка указывает использование Transformers и формат весов safetensors. Модель предназначена для сопоставления изображений с текстовыми описаниями и поиска по изображениям или тексту. Более детальное обучение на областях изображений помогает учитывать локальные визуальные признаки наряду с общим содержанием изображения. В README приведены сценарии извлечения признаков и поиска. Указанная лицензия — Apache-2.0.
dleemiller/finecat-nli-s — англоязычная модель для распознавания логических отношений между парами текстов: следования, нейтральности и противоречия. Она основана на энкодере jhu-clsp/ettin-encoder-68m и дообучена на наборе FineCat-NLI; при обучении также использовалась дистилляция логитов от dleemiller/finecat-nli-l. Архитектура — ModernBERT для классификации последовательностей, размер — 68,1 млн параметров, библиотека — Sentence Transformers, формат весов — safetensors. Контекст модели составляет 7999 токенов. Модель предназначена для NLI и классификации текстовых пар; её можно применять для проверки гипотез по текстовым предпосылкам и оценки того, поддерживает ли документ утверждение, не связан ли он с ним или противоречит ему. В README приведены результаты на нескольких NLI-наборах, включая MNLI, SNLI и ANLI. Метаданные также указывают поддержку sentence similarity и эмбеддингов. Заявленная языковая поддержка — английский. Метаданные не содержат сведений о лицензии, поэтому условия распространения и коммерческого использования следует проверить в карточке модели на Hugging Face.
GuardrailsAI/finetuned_nli_provenance — модель классификации текста, разработанная Guardrails AI. Она предназначена для проверки связи между утверждением и исходным контекстом в сценариях контроля происхождения и фактической обоснованности ответов языковых моделей, включая оценку того, следует ли гипотеза из предоставленного текста. Модель основана на архитектуре RoBERTa и содержит около 454,1 млн параметров; поддерживает текстовый ввод и контекст до 514 токенов. В Hugging Face она опубликована для задачи text-classification и распространяется по лицензии Apache-2.0. Доступная карточка модели содержит ограниченное описание, поэтому сведения о точных данных обучения, метриках, поддерживаемых естественных языках и деталях меток классификации не установлены.