II.8Инженерия данных и аналитика

Tool-Star-Qwen-7B — языковая модель для пошаговых рассуждений с вызовом внешних инструментов, созданная авторами фреймворка Tool-Star на базе Qwen. В карточке указана базовая модель Qwen2.5-3B-Instruct, а в метаданных Hugging Face — Qwen/Qwen2.5-7B-Instruct; поэтому точная связь между вариантом модели и базовым чекпойнтом неоднозначна. Метаданные описывают архитектуру как плотную Qwen2, класс Qwen2ForCausalLM, размер 7,1 млрд параметров и контекст до 32 768 токенов. Модель обучалась в два этапа: начальная настройка с обратной связью от инструментов и обучение с подкреплением для улучшения совместного использования нескольких инструментов в ходе рассуждений. Она предназначена для генерации текста и диалоговых сценариев, в которых модель формирует вызовы инструментов и использует их результаты. Авторы сообщают об оценке на наборах тестов для сложных рассуждений; карточка называет английский языком модели. В репозитории указаны веса Safetensors, библиотека Transformers и лицензия MIT.

laion/tt-x16-entropy0p003-42-30B — экспериментальный чекпойнт шагa 42, созданный в ходе исследования TaskTrove X16. Это дообучение инструктивной MoE-модели Qwen3-Coder-30B-A3B-Instruct методом GRPO с бонусом энтропии 0,003; модель предназначена для генерации текста и диалогового взаимодействия, в том числе для программирования и агентных сценариев. Использует архитектуру Qwen3 MoE, содержит 2,6 млрд параметров и поддерживает контекст до 262 144 токенов. Чекпойнт выбран как лучший по скользящей EMA награды среди сохранённых шагов этого запуска. Эксперимент остановили на шаге 92 из 400 после снижения награды и энтропии; README характеризует результат как отрицательный контроль: бонус энтропии не удержал исследование на данном расписании обучения. Модель опубликована в формате safetensors под лицензией Apache-2.0.

Anonym-IA/V2-camembert-ner-pii-onnx-fp32 — версия модели CamemBERT-NER-PII V2 в формате ONNX FP32 для запуска в браузере. Модель разработана Anonym-IA и предназначена для токенной классификации: распознавания и разметки персональных данных во французском тексте с целью последующей анонимизации или маскирования. Модель содержит 137,8 млн параметров, использует архитектуру CamemBERT и принимает последовательности длиной до 2050 токенов. В карточке указана поддержка французского языка и набора данных TypicaAI/pii-masking-60k_fr. README приводит ориентиры для браузерного запуска: около 440 МБ для файла модели, примерно 600 МБ памяти и 200–500 мс на обработку 512 токенов; скорость зависит от браузера и оборудования. Модель подходит для клиентской обработки текста в браузере, включая выявление данных перед их маскированием. Это конверсия весов в ONNX, а не новая базовая модель; README также указывает на отдельную PyTorch-версию для серверного использования. Лицензия — MIT. Производительность в Safari описана как более низкая; приведённые замеры являются ориентирами, а не гарантией для всех устройств.

vdr-2b-multi-v1 — мультиязычная модель эмбеддингов для поиска по визуальным документам, разработанная LlamaIndex и дообученная на базе MrLight/dse-qwen2-2b-mrl-v1. Она кодирует скриншоты страниц документов в плотные векторы и поддерживает поиск по PDF, веб-страницам, слайдам и другим визуально насыщенным материалам без OCR, извлечения текста и разбиения на фрагменты. Модель основана на архитектуре Qwen2-VL, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель обучена на английском, итальянском, французском, немецком и испанском языках. Она поддерживает межъязыковой поиск, например поиск по немецким документам с итальянским запросом. Благодаря Matryoshka Representation Learning размер векторов можно сократить втрое с сохранением около 98% качества эмбеддингов. Для инференса используются тензоры bf16; README приводит пример запуска с 768 патчами изображения и батчем 16 на NVIDIA T4 с примерно 4,4 ГБ видеопамяти. Распространяется по лицензии Apache-2.0. Указанный в метаданных pipeline — image-text-to-text, однако по описанию и возможностям модель предназначена прежде всего для извлечения эмбеддингов и поиска по визуальным документам.

Модель timm/vit_base_patch16_clip_224.laion2b_ft_in12k — визуальный энкодер на основе Vision Transformer (ViT), разработанный для классификации изображений и извлечения признаков. Она предварительно обучена с помощью OpenCLIP на парах изображение–текст из LAION-2B, затем дообучена в timm на ImageNet-12k. Модель содержит 94,9 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Её можно использовать для присвоения изображениям классов и получения визуальных эмбеддингов для дальнейшей обработки. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.

Модель vit_base_patch16_clip_224.openai_ft_in12k_in1k — модель классификации изображений на основе Vision Transformer (ViT), опубликованная в библиотеке timm. Она предварительно обучена OpenAI на парах изображений и текстов WIT-400M с помощью CLIP, а затем дообучена на ImageNet-12k и ImageNet-1k. Модель содержит 86,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения признаков и построения эмбеддингов изображений. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Модель принимает изображения и выдаёт предсказанные классы либо векторные признаки.

Это модель семейства SigLIP, опубликованная timm: визуальный энкодер ViT-Base с патчами 16×16 и глобальным усреднением признаков. Она преобразует изображения в векторные представления и предназначена для извлечения признаков в системах компьютерного зрения и мультимодальных конвейерах. В названии указаны размер изображения 256 и обучение на WebLI с поддержкой нескольких языков; текстовый энкодер в эту модель не входит. Модель доступна в форматах PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Метаданные указывают задачу image-feature-extraction.

Это веса визуального энкодера CLIP из семейства DFN, опубликованные разработчиками timm. Модель принимает изображения и преобразует их в признаки и эмбеддинги; она предназначена для извлечения визуальных представлений, в том числе как часть систем поиска и сопоставления изображений с текстом. В репозитории указаны архитектура ViT-Large с патчами 14 и разрешением изображения 224 пикселя, а также веса в форматах PyTorch и Safetensors. Карточка уточняет, что это только энкодер изображений, поэтому модель сама по себе не генерирует текст и не выполняет полный цикл CLIP-сопоставления с текстом. Лицензия обозначена как other; конкретные условия следует проверить в файлах репозитория.

Модель timm/ViT-SO400M-14-SigLIP2 — контрастивная модель «изображение—текст» семейства SigLIP 2, обученная на наборе WebLI и подготовленная timm для использования в OpenCLIP. Она предназначена для классификации изображений без специального обучения на каждом наборе классов: модель сопоставляет изображение с текстовыми описаниями возможных категорий и оценивает их соответствие. Архитектура — vision-language encoder с визуальной частью ViT; модель использует формат PyTorch и веса safetensors. Модель подходит для поиска изображений по текстовым категориям и построения классификаторов с произвольными метками. SigLIP 2 описана как мультиязычное семейство, однако карточка этой конкретной версии не уточняет поддерживаемые языки. Лицензия — Apache-2.0.

V-SPLADE — разработанная NAVER и соавторами разреженная модель поиска по визуальным документам. Она находит страницы PDF, слайды и отсканированные отчёты по текстовому запросу, кодируя изображения страниц в разреженные векторы для поиска через инвертированный индекс. Модель содержит 250 млн параметров и использует архитектуру BiModernVBert; доступна в формате safetensors и рассчитана на работу через Sentence Transformers. При обработке запросов применяется обученный Bag-of-Words lookup без запуска нейросетевого кодировщика, а страницы документов проходят через модель. Такой подход предназначен для быстрого построения индексов и масштабного поиска без GPU на этапе обработки запросов. README приводит результаты на визуальных бенчмарках, однако они не гарантируют аналогичного качества на других корпусах. Лицензия Apache-2.0.

Это модель автоматического распознавания речи на турецком языке, созданная дообучением ylacombe/w2v-bert-2.0 на наборе данных Common Voice 16.0. Она использует архитектуру Wav2Vec2-BERT с CTC-выходом и принимает аудио, преобразуя его в текст. В оценке на тестовой выборке указаны loss 0,1441 и WER 0,1373. Модель подходит для транскрибирования турецкой речи, например записей и аудиофрагментов. Размер — около 402,7 млн параметров; веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

Bajiyo/w2v-bert-2.0-nonstudio_and_studioRecords_final — модель распознавания речи на основе архитектуры Wav2Vec2-BERT, дообученная разработчиком Bajiyo на неизвестном наборе данных. Она принимает аудио и преобразует речь в текст; репозиторий содержит веса в формате Safetensors. Модель насчитывает около 402,7 млн параметров и распространяется по лицензии MIT. На указанном в карточке наборе оценки модель получила loss 0,1772 и WER 0,1266. Эти результаты относятся только к этому набору; README не описывает его состав, языки, условия записи или методику оценки. Поэтому качество для конкретных языков и условий применения по этим цифрам определить нельзя.

GroNLP/wav2vec2-dutch-large-ft-cgn — модель распознавания нидерландской речи, разработанная на основе архитектуры Wav2Vec2. Исходную англоязычную facebook/wav2vec2-large дополнительно предварительно обучили на нидерландской речи из корпуса Het Corpus Gesproken Nederlands, а затем дообучили с помощью CTC. Модель содержит около 402,7 млн параметров и принимает аудио, выдавая распознанный текст. Модель предназначена для автоматической транскрипции нидерландской речи. В карточке указаны форматы PyTorch и Safetensors; лицензия и ограничения по применению в предоставленных данных не описаны.

Модель Lguyogiro/wav2vec2-large-mms-1b-nhi-adapterft-ilv_fold1 — дообученная на наборе audiofolder модель распознавания речи, основанная на facebook/mms-1b-all. Она использует архитектуру Wav2Vec2ForCTC и содержит 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; базовая модель поддерживает более тысячи языков, но карточка этой версии не уточняет целевой язык. На указанном наборе оценки модель показала loss 0,6054, WER 0,3871 и CER 0,1165. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

Модель tanmoyio/wav2vec2-large-xlsr-bengali — дообученная Tanmoyio версия facebook/wav2vec2-large-xlsr-53 для автоматического распознавания бенгальской речи. Она преобразует аудиозаписи в текст и предназначена для расшифровки речи на бенгальском языке; в карточке описано обучение на наборе примерно из 196 тысяч высказываний и оценка на тестовых данных OpenSLR. Модель основана на архитектуре Wav2Vec2ForCTC и содержит 402,8 млн параметров. Для входного аудио требуется частота дискретизации 16 кГц. Репозиторий содержит веса PyTorch и распространяется по лицензии CC BY-SA 4.0.

whisper-large-v3-bn-cv17 — модель распознавания речи, дообученная разработчиком на базе openai/whisper-large-v3 на наборе Common Voice 17.0 и данных IIT Madras SPRING-INX. Она предназначена для преобразования речи в текст; архитектура Whisper содержит около 905,2 млн параметров. На оценочном наборе указаны loss 0,0669 и WER 30,8364. Лицензия модели в предоставленных данных не указана.

cautroi/whisper-large-v3-id — дообученная модель распознавания речи на базе OpenAI Whisper large-v3, созданная Sanchit Gandhi. Она обучена на наборе Common Voice 11.0 и предназначена для преобразования речи в текст; карточка приводит WER 10,8842 на оценочной выборке. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и формат safetensors, запускается через Transformers. В метаданных для неё указан язык хинди. Базовая модель также поддерживает многоязычное распознавание и перевод аудио в текст. Лицензия — Apache-2.0. В карточке нет подробностей об условиях оценки и ограничениях качества, поэтому приведённый WER следует рассматривать только как результат на указанной оценочной выборке.

Chillarmo/whisper-large-v3-turbo-armenian — модель распознавания армянской речи, разработанная Movses Movsesyan и дообученная на базе openai/whisper-large-v3-turbo на наборе Chillarmo/common_voice_20_armenian. Она преобразует аудио с армянской речью в текст и предназначена для транскрибации записей, создания субтитров, голосовых интерфейсов и анализа разговоров. Архитектура Whisper Large v3 Turbo использует Transformer-энкодер для обработки мел-спектрограмм и Transformer-декодер для генерации текста; размер модели — 905,2 млн параметров. Модель рассчитана на армянский язык и использует библиотеку Transformers. В README приведены результаты оценки на отложенной выборке того же датасета: WER 15,31%, CER 2,86% и точное совпадение для 42,73% высказываний. Качество может снижаться на шумных записях, при диалектных различиях и в областях, отличающихся от обучающих данных; для критически важных решений требуется проверка человеком. Модель требует больше вычислительных ресурсов, чем меньшие варианты Whisper. Лицензия — Apache 2.0.

arun100/whisper-small-derived-hi-1 — дообученная модель Whisper Small, созданная на основе vasista22/whisper-hindi-small. Она предназначена для автоматического распознавания речи на хинди и преобразования аудио в текст. Модель содержит 153,1 млн параметров; в карточке указана оценка WER 10,1104 на наборе оценки Common Voice 16.0 для хинди. Модель принимает аудио и выдаёт текст. Она опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. README не сообщает подробностей об условиях записи речи, шумоустойчивости или ограничениях применения.

whisper-small-gguf — набор GGUF-конвертаций модели OpenAI Whisper small, подготовленный handy-computer для работы с transcribe.cpp. Это мультиязычная encoder-decoder Transformer-модель для автоматического распознавания речи, определения языка и перевода речи на английский язык. Поддерживает широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и другие. Модель обрабатывает аудио окнами по 30 секунд, а длинные записи расшифровывает с помощью пакетного разбиения на фрагменты. Потоковая обработка не поддерживается; доступны сегментные временные метки. Для скачивания предлагаются варианты F32, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 172 до 969 МБ. На тесте LibriSpeech test-clean заявленная WER составляет 3,33–3,40% в зависимости от варианта, при этом качество существенно различается между языками и может быть слабее для некоторых из них. Модель подходит для локальной транскрипции аудио, многоязычного распознавания речи, определения языка и перевода речи на английский. Квантизованные версии уменьшают требования к памяти при близком качестве, но точность зависит от языка, качества записи и выбранного уровня квантизации. Модель распространяется по лицензии Apache-2.0.

Whisper Telugu Medium — модель распознавания речи, разработанная Vasista22 на основе Whisper Medium от OpenAI и дообученная на корпусах речи на телугу. Она преобразует аудио на телугу в текст и предназначена для транскрибации записей и оценки систем ASR. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров; доступны веса PyTorch и Flax. В обучении использованы несколько публичных корпусов, включая CSTD IIIT-H, ULCA, Shrutilipi, Microsoft Speech Corpus, Fleurs и Babel. Модель распространяется по лицензии Apache-2.0.

XLM-Align — предобученная многоязычная модель на архитектуре XLM-RoBERTa, представленная авторами исследования ACL 2021 «Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment». Она использует саморазмеченное выравнивание слов для улучшения межъязыковых представлений и поддерживает 94 языка. Модель содержит 305,2 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. Модель подходит для заполнения пропусков в тексте и как основа для межъязычных задач понимания языка, включая распознавание именованных сущностей, разметку частей речи и ответы на вопросы. В приведённой оценке XTREME XLM-Align превосходит XLM-R_base по среднему результату и по всем перечисленным задачам. Доступный формат — PyTorch; лицензия в предоставленных данных не указана.

XLM-RoBERTa base — многоязычная трансформерная модель FacebookAI, впервые выпущенная в этом репозитории. Она предварительно обучена на 2,5 ТБ отфильтрованных данных CommonCrawl на 100 языках с целью masked language modeling: модель восстанавливает замаскированные слова, используя контекст с обеих сторон. Это базовая модель архитектуры XLM-RoBERTa с 305,2 млн параметров и контекстом до 514 токенов. Модель подходит для предсказания пропущенных слов и получения текстовых представлений для последующей настройки на классификацию последовательностей и токенов, а также ответы на вопросы. Она поддерживает множество языков; метаданные перечисляют коды языков, среди которых английский, арабский, китайский здесь не указан, французский, немецкий, японский, корейский, русский также не указан. Для генерации связного текста модель не предназначена. Лицензия — MIT.

Wav2Vec2-XLSR-300m-es — модель распознавания испанской речи, созданная polodealvarado путём дообучения facebook/wav2vec2-xls-r-300m на испанской части Common Voice 8.0. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на испанском языке в текст. На оценочной выборке автор сообщает WER 0,146 без языковой модели и WER 0,109 с пятиграммовой языковой моделью; CER с ней составляет 0,036. Репозиторий включает PyTorch-веса и процессор с конфигурацией для пятиграммной языковой модели. Модель распространяется по лицензии Apache 2.0. Результаты приведены для Common Voice 8.0; точность на других типах записей и в иных акустических условиях может отличаться.

afrivoices-whisper-turbo — дообученная модель распознавания речи на основе openai/whisper-large-v3-turbo. Она принимает аудио и преобразует речь в текст. В README приведены результаты оценки на тестовом наборе: loss 0,5509 и WER 0,2632. Модель предназначена для автоматического распознавания речи. Датасет обучения, поддерживаемые языки и предполагаемые сценарии применения в карточке не раскрыты. Модель распространяется в формате Safetensors через Transformers по лицензии MIT.

Xenova/bert-base-multilingual-cased-ner-hrl — модель для распознавания именованных сущностей в тексте, доступная в формате ONNX для использования с библиотекой Transformers.js. Она основана на Davlan/bert-base-multilingual-cased-ner-hrl и предназначена для запуска задач token classification, включая выделение сущностей вроде имён людей и географических названий. Модель подходит для веб-приложений и JavaScript-сценариев, где требуется выполнять распознавание сущностей на стороне клиента или в средах, совместимых с ONNX и Transformers.js. В README не указаны точные размеры модели, перечень поддерживаемых языков, длина контекста, набор типов сущностей, показатели качества и лицензия, поэтому эти характеристики нельзя достоверно оценить. Основное преимущество — готовые ONNX-веса и совместимость с Transformers.js; ограничение — отсутствие в предоставленных данных подробностей о языковом покрытии и производительности.

Модель ruanchaves/bert-base-portuguese-cased-assin2-similarity — дообученная версия BERTimbau base, разработанная на основе neuralmind/bert-base-portuguese-cased. Она предназначена для оценки семантического сходства двух текстов на португальском языке с помощью классификационной головы BertForSequenceClassification и обучалась на наборе ASSIN 2. Модель содержит 136,1 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт результат классификации. Её можно применять для сравнения перефразировок, поиска похожих предложений и оценки сходства текстовых пар на португальском языке. Репозиторий содержит веса PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.

CamemBERTa-L4 — компактная обрезанная версия предварительно обученного чекпойнта CamemBERTa, представленная Antoine Louis. Веса получены удалением верхних слоёв исходной модели; в репозитории указана архитектура DeBERTa-v2 и 62,3 млн параметров. Модель принимает текст, а контекст ограничен 512 токенами. Чекпойнт предназначен прежде всего для дообучения под задачи, где решение опирается на целое предложение: классификацию текста, извлечение ответа на вопрос и семантический поиск. Его также можно использовать для извлечения признаков и masked language modeling; для генерации текста автор рекомендует авторегрессионные модели. Модель рассчитана на французский язык. Репозиторий распространяется по лицензии MIT.

Это модель OpenCLIP, опубликованная LAION e.V. Она предназначена для сопоставления изображений с текстовыми описаниями и классификации изображений по текстовым меткам без отдельного обучения на этих метках. Архитектура — CLIP с визуальным энкодером ViT-L/14; модель обучена на наборе CommonPool-XL без фильтрации, в рамках серии DataComp XL. В опубликованных сведениях указаны 12,8 млрд шагов обучения и размер пакета 90 тысяч. Модель принимает изображения и текстовые подписи, кодирует их в совместимые векторы и позволяет оценивать сходство. Её можно применять для классификации по произвольным текстовым классам и поиска соответствия между изображением и подписью. Опубликована под лицензией MIT. Численные результаты для вариантов CommonPool XL приведены на ImageNet в документации OpenCLIP; показатели других задач из этого не следуют.

Корейская модель ColBERT, разработанная dragonkue и дообученная от skt/A.X-Encoder-base с помощью PyLate. Она предназначена для поиска по текстовым коллекциям и переранжирования результатов: кодирует запросы и документы в последовательности токенных эмбеддингов и сравнивает их оператором MaxSim. Модель построена на ModernBERT с проекцией 768→128; поддерживает матрёшечные размерности эмбеддингов 32, 64, 96 и 128. Документы могут содержать до 2048 токенов, запросы — до 32; контекст энкодера — до 16 384 токенов. Модель ориентирована на корейский язык, имеет 148,7 млн параметров и распространяется по лицензии Apache-2.0. Подходит для семантического поиска и ранжирования корейских документов, в том числе с использованием PyLate и PLAID для приближённого поиска по большим коллекциям. В README приведены результаты на AutoRAG, Ko-StrategyQA и NanoBEIR-Ko; выбор меньшей размерности сокращает размер векторов в 2–4 раза при небольших изменениях метрик. PyLate использует размерность 128; для переключения между размерностями требуется другой путь загрузки, указанный в карточке.