II.8Инженерия данных и аналитика

sshleifer/tiny-distilbert-base-cased — очень компактная модель на основе DistilBERT, опубликованная Sam Shleifer на Hugging Face. Она предназначена для классификации токенов: принимает текст и выдаёт метки для его отдельных токенов, например для выделения сущностей или разметки частей текста. Карточка Hugging Face показывает архитектуру BertForTokenClassification и возможность загрузить модель через Transformers. Метаданные указывают 58,1 тыс. параметров и контекст до 512 токенов; доступны веса PyTorch, TensorFlow и Flax. Модель подходит для компактных демонстраций и экспериментов с конвейером token classification. Конкретный набор меток, языковая поддержка и лицензия в доступных сведениях не подтверждены.

VibeThinker-3B — языковая модель с 3,1 млрд параметров, разработанная как часть серии VibeThinker и дообученная на базе Qwen/Qwen2.5-Coder-3B. Это плотная авторегрессионная модель семейства Qwen2, предназначенная для генерации текста и решения задач с проверяемыми ответами: математики, программирования и рассуждений в областях STEM. Модель обучалась на траекториях рассуждений, прошла дообучение с учителем и обучение с подкреплением; заявленный в метаданных контекст составляет до 131 072 токенов. Модель подходит для олимпиадных задач по математике, соревновательного программирования, STEM-задач и инструкций, где результат можно проверить. В README отмечены результаты на AIME, HMMT, IMO-AnswerBench и LiveCodeBench, а также высокая доля принятых решений в недавних контестах LeetCode. Эти показатели описаны авторами и зависят от условий оценки. VibeThinker-3B не обучалась на данных для вызова инструментов или работы агентом, поэтому авторы не рекомендуют применять её для function calling, оркестрации API и автономной разработки. Для широких вопросов об открытом мире и общем диалоге может быть предпочтительнее более крупная универсальная модель. Лицензия — MIT.

VibeThinker-3B-SFT-Claude-Opus-Reasoning-Unsloth — языковая модель на 3,1 млрд параметров, разработанная ermiaazarkhalili как дообучение WeiboAI/VibeThinker-3B. Модель построена на архитектуре Qwen2ForCausalLM и предназначена для генерации текста в диалоге и решения задач, требующих рассуждений; карточка указывает на обучение с учителем на наборе данных с дистилляцией рассуждений Claude, доступ к которому закрыт. Модель подходит для экспериментов с пошаговыми ответами и instruction-following в задачах STEM, математики и программирования, которые поддерживает базовая модель. Метаданные указывают контекст до 131 072 токенов и интерфейс tool calling. Лицензия — MIT. Качество на downstream-бенчмарках не оценивалось: опубликованы только наблюдения за обучающей функцией потерь. Поведение вне распределения единственного обучающего набора не проверено; модель наследует смещения и ограничения базовой модели. LoRA-адаптеры объединены с базовыми весами и отдельно не извлекаются.

Это модель VideoMAE для классификации видео, разработанная на основе shossain11/videomae-base-finetuned-inhard-finetuned-inhard2 и дополнительно дообученная на неизвестном наборе данных. Архитектура VideoMAEForVideoClassification содержит 113,2 млн параметров; веса опубликованы в формате safetensors. Модель предназначена для присвоения классов видеозаписям. В README приведены результаты оценки: accuracy 0,6987 и loss 1,1820; названия классов и состав оценочного набора не раскрыты. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

VideoMAEv2-Huge — большая видеомодель OpenGVLab, предварительно обученная в течение 1200 эпох методом самоконтролируемого обучения на наборе UnlabeledHybrid-1M. Она основана на архитектуре VideoMAE v2 и представлена в работе Wang и соавторов для CVPR 2023. Модель предназначена для извлечения признаков из видео; в каталоге Hugging Face её основная задача указана как классификация видео. Модель принимает видео и выдаёт признаки, пригодные для последующих задач анализа и классификации. В репозитории опубликованы веса в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Модель timm/vit_base_patch16_clip_384.laion2b_ft_in1k — классификатор изображений на архитектуре Vision Transformer (ViT), подготовленный проектом timm. Модель с 86,9 млн параметров предварительно обучена OpenCLIP на парах изображение–текст из LAION-2B и дообучена в timm на ImageNet-1k; она также может использоваться как основа для извлечения признаков и эмбеддингов изображений. Модель принимает изображения размером 384 × 384 пикселя и предназначена для классификации по категориям ImageNet-1k и получения признаковых представлений. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0. Для задач вне ImageNet-1k может потребоваться адаптация или отдельная настройка классификационных категорий. Карточка не описывает работу с текстом на входе или генерацию изображений.

vit_base_patch16_siglip_gap_384.v2_webli — визуальный энкодер SigLIP 2 на архитектуре ViT, опубликованный в библиотеке timm. Модель принимает изображения и извлекает их признаки; вариант gap использует глобальное среднее объединение признаков и не содержит головы attention pooling. Модель обучена на наборе WebLI и предназначена для получения визуальных представлений, которые можно использовать в системах поиска изображений и других конвейерах извлечения признаков. Это только визуальная часть модели, а не полный мультимодальный энкодер изображений и текста. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache 2.0.

Крупная модель Vision Transformer для классификации изображений и извлечения визуальных признаков, опубликованная в экосистеме timm. Она предварительно обучена с помощью OpenCLIP на парах изображение—текст из LAION-2B, а затем дообучена на ImageNet-12k. Модель содержит около 645,9 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений и получения их эмбеддингов в системах поиска и анализа визуального содержимого. Репозиторий содержит веса PyTorch и Safetensors; лицензия — Apache-2.0. Высокий размер модели и вычислительная стоимость могут затруднить её запуск на ограниченном оборудовании.

aufklarer/WeSpeaker-ResNet34-LM-MLX — совместимое с MLX преобразование модели WeSpeaker ResNet34-LM, подготовленное для Apple Silicon. Модель на архитектуре ResNet34 содержит около 6,6 млн параметров и преобразует аудио в 256-мерные L2-нормализованные эмбеддинги голоса. Веса конвертированы из pyannote/wespeaker-voxceleb-resnet34-LM; при преобразовании BatchNorm объединён со слоями Conv2d. Модель обучена на VoxCeleb и предназначена для верификации говорящего и диаризации: эмбеддинги можно использовать для сравнения голосов и группировки фрагментов по говорящим. На вход подаются лог-мел спектрограммы с 80 fbank-признаками при частоте дискретизации 16 кГц, на выходе — векторы признаков. Это не модель распознавания речи и она не генерирует транскрипты. Репозиторий распространяется по лицензии MIT.

XuanYuan-70B-Chat — китайская финансовая чат-модель компании Duxiaoman-DI, созданная на базе XuanYuan-70B. Базовая модель получена продолжением предобучения Llama 2 70B на китайских и английских общих и финансовых текстах; чат-версия прошла двухэтапное дообучение на инструкциях, включая специально подготовленные общие и финансовые примеры. Архитектура — плотная LlamaForCausalLM, размер — 68,8 млрд параметров, контекст — 8192 токена. Модель предназначена для диалога и выполнения инструкций с повышенным вниманием к финансовой тематике. Она может отвечать на вопросы о финансах и экономике, суммировать и переводить тексты, помогать с математикой, логикой и программированием; обучающие данные включали китайский и английский языки, а также многоязычные инструкции. Для запуска полной версии авторы указывают необходимость как минимум двух видеокарт с 80 ГБ памяти каждая. Доступна по лицензии Llama 2; ограничения лицензии следует учитывать при коммерческом и ином использовании.

Zeta 2 — модель для предсказания правок кода, разработанная Zed Industries и дообученная на ByteDance-Seed/Seed-Coder-8B-Base. По окружающему коду, истории изменений и редактируемому фрагменту рядом с курсором она генерирует переписанное содержимое этого фрагмента, помогая предлагать следующие правки в редакторе кода. Модель использует плотную архитектуру LlamaForCausalLM и содержит 7,6 млрд параметров. Она принимает текстовый контекст в формате SPM с маркерами редактируемой области; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Zeta 2 предназначена для контекстных предложений изменений кода с учётом предыдущих правок и содержимого связанных файлов. Карточка описывает её специализацию, но не приводит оценок качества или подробностей о поддерживаемых языках программирования, поэтому пригодность для конкретного стека следует проверять отдельно.

Zoobot Encoder ConvNeXt Large — модель зрения, опубликованная mwalmsley и предназначенная для использования в качестве визуального энкодера и дообучения под задачи классификации изображений. Она построена на архитектуре ConvNeXt Large и доступна через библиотеку timm; карточка предлагает загружать её как энкодер без классификационной головы. Модель подходит для извлечения признаков из изображений и последующей адаптации к классификации. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. README отсылает к документации Zoobot за инструкциями по загрузке и дообучению.

unsloth/Qwen2.5-14B-Instruct — инструкционно настроенная плотная причинная языковая модель, опубликованная Unsloth на основе Qwen/Qwen2.5-14B-Instruct. Она предназначена для диалогов, генерации текста и выполнения инструкций; среди подходящих сценариев — ответы на вопросы, помощь с кодом и математикой, работа с таблицами и создание структурированных ответов, включая JSON. Модель содержит 14 млрд параметров и использует архитектуру Qwen2 с RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст до 32 768 токенов; в README описана возможность расширить его до 131 072 токенов с YaRN, а генерацию — до 8 192 токенов. Модель поддерживает многоязычные сценарии, в том числе китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Доступны веса в формате safetensors, библиотека Transformers, а также интерфейсы чата и вызова инструментов. README отмечает, что для работы с длинным контекстом требуется настройка YaRN, которая может повлиять на качество коротких запросов. Лицензия — Apache 2.0.

Viper-Coder-v1.1 — дообученная prithivMLmods 14-миллиардная языковая модель семейства Qwen2 для генерации кода и решения задач рассуждения. В карточке указана архитектура Qwen 2.5 14B, а метаданные определяют архитектуру как Qwen2ForCausalLM; модель распространяется в формате safetensors и использует библиотеку Transformers. Она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для написания и отладки кода, решения алгоритмических и математических задач, следования инструкциям, работы со структурированными данными и создания технической документации. README заявляет контекст до 128K токенов и генерацию до 8K токенов, однако метаданные указывают нативный контекст 32768 токенов. Заявлены поддержка программирования на Python, JavaScript, C++, Java, SQL и других языках, а также документации на 29+ естественных языках; языковые теги карточки — английский и китайский. Модель содержит 14 млрд параметров, поэтому для инференса требуются значительные вычислительные ресурсы. Возможны ошибки в длинных ответах, чувствительность к формулировке запроса и неодинаковое качество для разных языков программирования; модель не располагает актуальными данными из интернета. Лицензия — Apache-2.0.

Cogito v1 preview 32B — инструктивно дообученная языковая модель Deep Cogito для генерации текста и диалогов. Она построена на плотной архитектуре Qwen2 и содержит 32 млрд параметров; базовая модель — Qwen/Qwen2.5-32B. Модель принимает и выдаёт текст, поддерживает контекст до 131 072 токенов и обучена более чем на 30 языках. Модель может отвечать напрямую или включать режим расширенного рассуждения. Она предназначена для следования инструкциям, программирования, задач STEM, общего помощника и вызова инструментов; заявлена поддержка одиночных и параллельных вызовов. Разработчик сообщает о результатах выше сопоставимых по размеру моделей на отраслевых тестах, однако подробности оценок вынесены в отдельную публикацию. Модель распространяется под лицензией Apache 2.0, допускающей коммерческое использование. Это предварительная версия; качество ответов и рассуждений может зависеть от задачи, языка и выбранного режима.

Qwen3.8-2.4T-A95B — текстовая причинная языковая модель семейства Qwen, опубликованная в открытом виде. Она предназначена для генерации ответов и выполнения сложных многошаговых задач в программировании, профессиональной работе, исследованиях и агентных сценариях. Модель поддерживает чат и интерфейс вызова инструментов; README указывает совместимость формата Transformers с vLLM, SGLang и TokenSpeed. Архитектура — Mixture of Experts с 92 слоями и 512 экспертами: всего 2,4 трлн параметров, из которых активируется 95 млрд. Нативная длина контекста составляет 262 144 токена и может расширяться примерно до 1,01 млн. Модель принимает только текст; для всех взаимодействий требуется режим рассуждения, который нельзя отключить. Модель не поддерживает мультимодальные входы, а её языковая поддержка в предоставленных данных не перечислена. В метаданных указана лицензия «other», без конкретных условий использования; перед применением следует проверить лицензию на странице модели. README описывает постобученные веса и файлы конфигурации.

michaelfeil/Qwen3-Embedding-4B-auto — текстовая embedding-модель семейства Qwen3, представленная в виде дообучения Qwen/Qwen3-4B-Base. Она преобразует текст в векторы для поиска и сравнения текстов, извлечения информации, кластеризации, классификации и поиска соответствий между языками; поддерживаются также сценарии поиска по коду. Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3 и принимает последовательности длиной до 40 960 токенов согласно метаданным. Размер выходного embedding можно задавать в диапазоне от 32 до 2560 измерений. Карточка заявляет поддержку более 100 естественных языков и языков программирования, а также настройку инструкций под задачу; для многоязычных сценариев рекомендуются инструкции на английском языке. Модель предназначена для прикладного использования в поисковых и аналитических системах. Для получения векторов требуется библиотека Transformers версии 4.51.0 или новее: в более ранних версиях возможна ошибка распознавания архитектуры Qwen3. Лицензия — Apache-2.0.

Cogito v2.1 — инструктивная языковая модель Deep Cogito на архитектуре DeepSeek V3, дообученная на базе deepseek-ai/DeepSeek-V3-Base. В README модель названа вариантом MoE на 671 млрд параметров, однако метаданные репозитория указывают 37,6 млрд параметров и класс DeepseekV3ForCausalLM; поэтому фактический размер именно этого чекпойнта требует осторожной интерпретации. Модель принимает текст и генерирует текст, поддерживает диалог, вызов инструментов и гибридный режим рассуждений: может отвечать напрямую или сначала рассуждать и проверять ответ. Указаны контекст до 128 тысяч токенов в README и 163 840 токенов в метаданных. Модель предназначена для программирования, задач STEM, следования инструкциям, общих диалогов и сценариев с вызовом инструментов. В README заявлена поддержка более 30 языков и обучение с использованием итеративной дистилляции и усиления (IDA). Модель распространяется по лицензии MIT, допускающей коммерческое использование. Для запуска описанного в README варианта на 671 млрд параметров в BF16 требуется значительная вычислительная инфраструктура; там же рекомендуется FP8-версия для сервинга на восьми H200.

Gemini 2.5 Pro — модель Google для сложных задач рассуждения, программирования, математики и науки. В карточке модели указана возможность «thinking», предназначенная для более точной проработки ответов. Модель подходит для решения сложных вопросов, помощи с кодом и математическими задачами, а также научной работы. Метаданные каталога классифицируют её как image-text-to-text, однако предоставленные материалы не описывают поддержку изображений, архитектуру, размер, контекст, языки или условия использования, поэтому эти характеристики здесь не уточняются.

Giga-Embeddings-instruct-3B-0826 — двуязычная модель текстовых эмбеддингов из серии Giga-Embeddings. Она основана на предобученной модели разработчика с архитектурой Qwen3, адаптированной для двунаправленного encoder-style внимания, и дообучена контрастивной функцией потерь InfoNCE. Модель содержит около 3,2 млрд параметров, формирует плотные векторы размерностью 2048 и поддерживает контекст до 8192 токенов. Модель предназначена для поиска по смыслу, сравнения предложений и абзацев, классификации и кластеризации на русском и английском языках. В асимметричном поиске к запросу следует добавлять инструкцию задачи, оставляя документы без инструкции; для симметричного сравнения инструкцию можно опустить. Для корректной работы нужны усреднение непустых токенов и L2-нормализация, после чего векторы сравнивают по косинусной близости. Репозиторий предоставляет веса в формате safetensors; лицензия — MIT.

Это GGUF-конверсия многоязычной модели эмбеддингов Granite Embedding 311M Multilingual R2, разработанной IBM. Модель содержит 311 млн параметров и создаёт векторы размерности 768 для семантического поиска, извлечения документов, RAG, кластеризации и сравнения текстов; поддерживает контекст до 32 тыс. токенов и совместима с llama.cpp. В репозитории доступен вариант F16, ориентированный на сохранение качества.

Qwen2.5-Coder-14B — плотная причинная языковая модель для кода, разработанная командой Qwen. Это базовый чекпойнт серии Qwen2.5-Coder на 14,7 млрд параметров (13,1 млрд без эмбеддингов), полученный дообучением Qwen2.5-14B на данных с исходным кодом, текстово-кодовым соответствием и синтетическими примерами. Архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV; модель содержит 48 слоёв и поддерживает генерацию текста через Transformers. Модель предназначена для генерации, анализа и исправления кода, а также для задач с заполнением пропусков в коде и создания кодовых агентов. Она сохраняет способности к математике и общим языковым задачам. Контекст конфигурации составляет 32 768 токенов; с YaRN модель можно настроить на обработку контекста до 131 072 токенов. Разработчики не рекомендуют использовать базовую версию для диалогов без дополнительного постобучения. Для длинных запросов масштабирование YaRN может повлиять на качество обработки коротких текстов. Лицензия — Apache-2.0.

QuantFactory/Qwen2.5-Coder-14B-Instruct-GGUF — это квантизированная версия инструкционно дообученной языковой модели Qwen2.5-Coder-14B-Instruct, созданная QuantFactory с использованием llama.cpp. Базовую модель разработала команда Qwen; она предназначена для генерации, анализа и исправления программного кода, решения задач по программированию, создания code agents, а также для математических и общеязыковых сценариев. Модель представляет собой causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-матрицах внимания. Она содержит 14,7 млрд параметров, из них 13,1 млрд без учёта embedding, 48 слоёв и групповое запросное внимание GQA с 40 головами для Q и 8 для KV. Заявлена поддержка контекста до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN, что может снижать качество на коротких текстах. В README указан английский язык, модальность — текст. К сильным сторонам относятся специализация на генерации, рассуждении и исправлении кода, улучшенная пригодность для прикладных инструментов разработки и сохранение математических и общих языковых возможностей. Ограничения связаны с требованиями к вычислительным ресурсам, особенностями развёртывания квантизированной версии и возможным влиянием статического масштабирования YaRN на производительность. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-14B-Instruct-GGUF — это инструкционно дообученная языковая модель для работы с кодом из серии Qwen2.5-Coder, разработанная командой Qwen при Alibaba Cloud. Модель предназначена для генерации, анализа, рассуждений и исправления программного кода, а также для создания кодовых агентов и решения задач, связанных с математикой и общими текстовыми запросами. Модель является каузальной языковой моделью в формате GGUF с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-слоях внимания. Она содержит 14,7 млрд параметров, 48 слоёв и использует Grouped Query Attention с 40 головами для Q и 8 для KV. Полная длина контекста GGUF-версии составляет 32 768 токенов. Заявлена поддержка английского языка; модальность — текстовая. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также возможность локального запуска через совместимые инструменты, включая llama.cpp. Ограничения включают контекст до 32 768 токенов в GGUF-версии; для последовательностей до 131 072 токенов README рекомендует использовать не-GGUF-версии, поскольку расширение контекста через YARN в указанном сценарии поддерживается только vLLM. Модель распространяется по лицензии Apache-2.0.

JNolet/Qwen2.5-Coder-14B_v11.25.24.0_CodeInstruct — объединённая модель на архитектуре Qwen2 для генерации кода и диалоговых инструкций. Она создана методом TIES с помощью mergekit на основе Qwen/Qwen2.5-Coder-14B и включает Qwen/Qwen2.5-Coder-14B-Instruct; в карточке указаны 14 млрд параметров и формат safetensors. Модель предназначена для написания, анализа и исправления кода в диалоговом режиме. Она принимает текстовые запросы и генерирует текстовые ответы; интерфейс поддерживает чат и вызов инструментов. Контекст составляет 32 768 токенов. Лицензия в предоставленных данных не указана.

Qwen2.5-Coder-32B-Instruct-GGUF — инструкционная версия специализированной серии больших языковых моделей для работы с кодом, разработанная командой Qwen. Модель предназначена для генерации, анализа, исправления и рассуждений по программному коду, а также для создания code agents и решения математических и общеязыковых задач. Доступна в формате GGUF для локального запуска, в частности с llama.cpp. Это авторегрессионная causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV и группированным запросным вниманием: 32,5 млрд параметров, 64 слоя, 40 голов Q и 8 голов KV. Базовая длина контекста GGUF-версии составляет 32 768 токенов. Указана поддержка квантований q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. В README заявлены улучшенные возможности генерации, рассуждений и исправления кода; модель обучалась на 5,5 трлн токенов, включая исходный код, текстово-кодовые данные и синтетические данные. Язык в метаданных указан как английский. Сильными сторонами являются специализация на программировании, поддержка длинного контекста и доступность нескольких уровней квантования для разных требований к памяти. Ограничения связаны с размером модели и вычислительными ресурсами, необходимыми для локального запуска; для GGUF-версии полноразмерный контекст ограничен 32 768 токенами, а расширение до 131 072 токенов в README указано для неграфовых GGUF-вариантов через YARN и vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-32B-Instruct-GPTQ-Int4 — инструкционная, GPTQ-квантизированная 4-битная версия каузальной языковой модели Qwen2.5-Coder, разработанная командой Qwen. Модель предназначена прежде всего для генерации, анализа и исправления программного кода, задач code reasoning и создания кодовых агентов, сохраняя способности к математике и общим текстовым задачам. В карточке явно указан английский язык. Модель содержит около 32,5 млрд параметров, из них 31 млрд без учёта embedding, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-проекциях внимания; применяется GQA с 40 головами для Q и 8 для KV. Заявлена поддержка контекста до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов. Для более длинных входов требуется включение YaRN, что может снижать производительность на коротких текстах при статическом масштабировании. К сильным сторонам относятся специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также снижение требований к памяти благодаря 4-битной квантизации. Ограничения включают возможную потерю качества из-за квантизации и необходимость корректной настройки длинного контекста. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-32B-Instruct-GPTQ-Int8 — инструкционная GPTQ-квантизованная версия 8-битной модели Qwen2.5-Coder-32B из семейства специализированных языковых моделей Qwen для программирования, разработанного командой Qwen. Модель предназначена для генерации, анализа и исправления программного кода, создания code agents, а также решения математических и общих текстовых задач. Это авторегрессионная causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-слоях внимания. Модель содержит около 32,5 млрд параметров, 64 слоя и использует GQA с 40 головами для Q и 8 для KV. Заявлена поддержка контекста до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется дополнительная настройка YaRN. Основная заявленная языковая поддержка — английский язык. Модель работает в режиме текст-в-текст и не предназначена для обработки изображений или других мультимодальных данных. К сильным сторонам относятся специализация на генерации, рассуждении и исправлении кода, сохранение математических и общих способностей, а также уменьшенное потребление памяти благодаря 8-битной квантизации. Ограничениями являются высокие требования к вычислительным ресурсам, возможное снижение качества или производительности на длинных контекстах при использовании статического YaRN и необходимость совместимой версии Transformers и корректной конфигурации развёртывания. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-7B-Instruct-GPTQ-Int8 — инструкционная causal language model из серии специализированных моделей для программирования Qwen2.5-Coder, разработанной командой Qwen. Модель предназначена для генерации, анализа, рассуждений и исправления кода, создания code agents, а также общих текстовых и математических задач. Указанный репозиторий содержит GPTQ-квантизированную 8-битную версию базовой модели Qwen/Qwen2.5-Coder-7B-Instruct. Модель построена на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и bias в QKV-проекциях внимания. Она содержит 7,61 млрд параметров, 28 слоёв и использует Grouped-Query Attention: 28 голов для Q и 4 для KV. Заявленная максимальная длина контекста — до 131 072 токенов, однако текущая конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN. Поддерживается текстовый ввод и вывод, основным языком в метаданных указан английский. Сильные стороны модели — специализация на программировании, улучшенные возможности генерации, рассуждений и исправления кода, а также сниженные требования к памяти благодаря 8-битной GPTQ-квантизации. При использовании YaRN на коротких текстах возможно снижение производительности из-за статического коэффициента масштабирования. Для работы рекомендуется актуальная версия transformers; также поддерживается развёртывание через vLLM. Модель распространяется по лицензии Apache-2.0.

Virtuoso-Medium-v2 — языковая модель на 32 млрд параметров от Arcee AI для генерации текста и диалоговых сценариев. Она основана на архитектуре Qwen2.5-32B и использует токенизатор Qwen; по карточке модели, её обучали дистилляцией логитов Deepseek-v3 на большом объёме данных, затем применяли слияние и DPO. Метаданные каталога обозначают связь с Qwen/Qwen2.5-32B как дообучение, поэтому происхождение модели указано как дообучение. Модель рассчитана на чат-ботов и виртуальных помощников, анализ данных и автоматизацию рабочих процессов, а также задачи в технических, научных и STEM-сценариях, включая код и математику. Контекст достигает 131 072 токенов. Модель поддерживает генерацию текста и имеет интерфейс для вызова инструментов. В карточке заявлены высокие результаты на ряде бенчмарков, однако конкретные численные результаты и условия оценки не приведены. База знаний может не охватывать события после июня 2024 года, а ответы могут содержать ошибки, предвзятость или вредный контент. Лицензия — Apache-2.0.