II.6Документация и сопровождение разработки

Prox 7B DPO — языковая модель OpenVoid AI на архитектуре Mistral, дообученная на базе Mistral-7b-v0.2. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; в репозитории доступны веса Safetensors. Карточка указывает английский язык и лицензию Apache-2.0. Модель предназначена для генерации и объяснения кода, документирования, вопросов о кибербезопасности и методах взлома, а также помощи в проектах по программированию. Она дообучалась на материалах по кодированию и кибербезопасности, включая наборы данных для DPO; README также упоминает собственный набор OpenVoid AI. Ответы модели могут содержать ошибки и требуют проверки специалистом. Разработчик предостерегает от использования её для критически важных задач безопасности и незаконной деятельности. Лицензия репозитория — Apache-2.0.

Prox-Llama-3-8B — дообученная OpenVoid модель на архитектуре Llama 3, основанная на Meta-Llama-3-8B-Instruct. Это плотная языковая модель примерно на 7,5 млрд параметров с контекстом 8192 токена, предназначенная для генерации кода и ответов на вопросы по кибербезопасности и техникам взлома. Модель подходит для написания, объяснения и документирования кода, анализа задач программных проектов и диалоговых консультаций по кибербезопасности. По заявлению автора, она обучена на проприетарном текстовом наборе OpenVoid и ориентирована на английский язык. В README приведены результаты оценки на HumanEval, EvalPlus и нескольких общих бенчмарках. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Автор рекомендует проверять результаты, поскольку они могут быть предвзятыми или непоследовательными; для критически важных применений нужна экспертная проверка.

Prox-Phi-3-mini-128k — языковая модель OpenVoid, дообученная на базе архитектуры Microsoft Phi-3-mini-128k для генерации кода и задач кибербезопасности. Это плотная авторегрессионная модель класса Phi3ForCausalLM примерно с 3,7 млрд параметров; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации, объяснения и документирования кода, ответов на вопросы о кибербезопасности и техниках взлома, а также анализа уязвимостей и учебных симуляций. Карточка приводит результаты HumanEval, EvalPlus и MBPP, но они не гарантируют качество на практических задачах. Модель может выдавать ошибочные или непоследовательные ответы, поэтому результаты следует проверять, особенно в критичных сценариях. Метаданные указывают английский язык и контекст 4096 токенов; название модели и README заявляют 128k, что расходится с указанной длиной контекста. Лицензия — Apache-2.0.

QevaCoT-7B-Stock — объединённая языковая модель на базе семейства Qwen2.5, созданная методом Model Stock с помощью mergekit. В слияние вошли Qwen2.5-7B и несколько моделей на его основе, включая инструктивные и ориентированные на рассуждения варианты. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и работает через библиотеку Transformers; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы и задачи, где полезны пошаговые рассуждения. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

recursal/QRWKV6-7B-Instruct — диалоговая модель генерации текста объёмом 7,1 млрд параметров, разработанная в рамках проекта RADLADS. Она использует архитектуру RWKV6Qwen2 и преобразование трансформеров с softmax-вниманием в декодеры с линейным вниманием методом дистилляции. Модель предназначена для генерации текста и общения; в метаданных также заявлен интерфейс вызова инструментов. Контекстное окно составляет 131 072 токена. Подход RADLADS нацелен на сохранение качества исходной модели при более эффективном инференсе с постоянной стоимостью обработки каждого нового токена. Для загрузки через Transformers требуются пользовательские компоненты архитектуры и параметр trust_remote_code=True. Модель распространяется по лицензии Apache 2.0.

QVikhr-2.5-1.5B-Instruct-SMPO — русско-английская инструктивная языковая модель команды Vikhr, разработанная на основе Vikhr-Qwen-2.5-1.5B-Instruct. Модель дообучена на русскоязычном датасете GrandMaster-PRO-MAX с применением SMPO (Simple Margin Preference Optimization) для улучшения ответов на инструкции и диалоговых ответов. Модель использует плотную архитектуру Qwen2 с 1,5 млрд параметров и контекстом до 32 768 токенов. Она принимает текст и генерирует текст, поддерживает русский и английский языки; карточка также указывает интерфейс вызова инструментов. Подходит для диалогов, ответов на вопросы и генерации текста, особенно на русском языке. Доступна по лицензии Apache-2.0. README перечисляет квантованные варианты GGUF и MLX с разрядностью 4 и 8 бит.

Qwen1.5-1.8B-Chat-GPTQ-Int4 — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это авторегрессионная языковая модель для генерации текста и диалоговых сценариев: виртуальных ассистентов, ответов на вопросы, написания и преобразования текста, а также работы с естественными языками и кодом. Модель прошла supervised fine-tuning и direct preference optimization для улучшения соответствия пользовательским предпочтениям. Модель основана на decoder-only архитектуре Transformer и содержит 1,8 млрд параметров. Вариант GPTQ-Int4 использует 4-битное квантование, что снижает требования к памяти и делает модель более подходящей для локального запуска. Указаны поддержка нескольких естественных языков и кода, текстовая модальность и контекст до 32K токенов. Для beta-версии Qwen1.5 заявлены SwiGLU, смещения в QKV attention и улучшенный токенизатор; group query attention и сочетание sliding window attention с полной attention в этой версии временно не включены, кроме модели 32B. Сильные стороны модели — небольшой размер, квантование, поддержка многоязычных сценариев и диалоговая настройка. Ограничения связаны с относительно малым числом параметров, возможными проблемами при переключении языков и более низкой точностью по сравнению с крупными моделями семейства. Модель распространяется по лицензии Tongyi Qianwen Research License; точные условия следует проверять в файле лицензии репозитория.

Aratako создал эту диалоговую языковую модель, объединив через mergekit Qwen/Qwen1.5-7B-Chat и abacusai/Liberated-Qwen1.5-7B в архитектуру Mixture of Experts без дополнительного дообучения. Модель имеет архитектуру Qwen2ForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов; она предназначена для генерации текста и диалогов на английском языке. В тестах MT-Bench модель показала результаты, близкие к исходной Qwen1.5-7B-Chat; автор приводит сравнительные оценки для задач кодирования, извлечения информации, рассуждений, ролевого общения и письма. Для запуска нужны пользовательские файлы модели и конфигурации, размещённые рядом с весами. В карточке указана лицензия other, а README сообщает о наследовании лицензии Tongyi-Qianwen.

Qwen2-1.5B-Instruct-GPTQ-Int4 — инструкционно дообученная языковая модель из семейства Qwen2, разработанная командой Qwen. Она предназначена для диалоговых сценариев и генерации текста: ответов на вопросы, кратких объяснений, работы с естественным языком и кодом. Модель относится к классу decoder-only Transformer и содержит 1,5 млрд параметров; версия GPTQ-Int4 использует 4-битное квантование для снижения требований к памяти при инференсе. Поддерживаются текстовые входы и выходы, а контекстное окно в README не указано. В архитектуре заявлены активация SwiGLU, bias в QKV-проекциях и group query attention. Токенизатор адаптирован для нескольких естественных языков и языков программирования, однако в метаданных README явно указан английский язык. Модель предварительно обучалась на большом объёме данных, а затем дообучалась с помощью supervised fine-tuning и direct preference optimization; заявлены возможности в понимании и генерации текста, многоязычности, программировании, математике и рассуждениях. README не приводит точных результатов тестов и не описывает специфические ограничения качества квантированной версии; для запуска рекомендуются актуальные версии transformers, autogptq или vLLM. Лицензия — Apache 2.0.

CultriX/Qwen2.5-14B-Hyperionv5 — объединённая языковая модель семейства Qwen2.5, созданная CultriX с помощью mergekit и метода DARE TIES. В основе объединения указана CultriX/Qwen2.5-14B-Wernickev3; также в него вошли другие варианты Qwen и дообученные модели семейства, перечисленные в карточке. Модель предназначена для генерации текста и диалогового общения. Она имеет плотную архитектуру Qwen2ForCausalLM, содержит 14 млрд параметров и поддерживает контекст до 131 072 токенов. Метаданные указывают интерфейс для вызова инструментов. Карточка не описывает специализированную предметную область или список поддерживаемых естественных языков. В репозитории представлены веса safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

rbinrs/Qwen2.5-14B-Instruct-abliterated-v2 — диалоговая языковая модель на архитектуре Qwen2 с 14 млрд параметров, созданная на основе Qwen/Qwen2.5-14B-Instruct методом abliteration. Она предназначена для генерации текста и общения в формате чата; заявленная особенность версии — снижение отказов отвечать на запросы. Модель поддерживает интерфейс вызова инструментов и контекст длиной до 32 768 токенов, работает с текстом и рассчитана на многоязычные сценарии, включая русский, английский, китайский, французский, испанский, португальский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель можно применять в чат-ботах, для свободной генерации и структурированных ответов, а также в приложениях с вызовом инструментов. Разработчик сообщает, что эта версия улучшена по сравнению с предыдущей, однако оценивание ещё продолжается, поэтому опубликованных результатов качества в карточке нет. Доступна по лицензии Apache-2.0.

dec0dedd выпустил чат-модель Qwen2.5-14B-Instruct-heretic — версию Qwen2.5 Instruct на 14 млрд параметров, обработанную методом abliteration для снижения частоты отказов. По приведённому в карточке сравнению, модель отказала в 5 из 100 тестовых запросов против 98 из 100 у исходной Qwen2.5-14B-Instruct; это измерение относится только к указанному тесту. Архитектура — плотная причинная языковая модель Qwen2 с поддержкой чата. Метаданные указывают контекст до 32 768 токенов; README описывает расширение контекста до 131 072 токенов с YaRN, но предупреждает о возможном ухудшении работы на коротких запросах при статической настройке YaRN. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, следование инструкциям и создание длинных или структурированных ответов. README базовой Qwen2.5 также отмечает навыки программирования, математики и работу с таблицами, однако отдельные результаты для этой производной модели не приведены. Поддерживаются английский и другие языки Qwen2.5; карточка явно помечает английский. Модель распространяется под лицензией Apache-2.0.

Qwen2.5-14B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционно дообученной языковой модели Qwen2.5-14B-Instruct. Исходную модель разработала команда Qwen, а квантизацию предоставил bartowski на основе mlx-examples. Модель предназначена для запуска на компьютерах Mac с Apple Silicon и использования в сценариях генерации текста и диалогового взаимодействия. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов, ориентирована на работу со структурированными данными и их генерацию. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантизация снижает требования к памяти, но README не содержит количественных оценок производительности и качества, поэтому её сильные стороны и ограничения относительно полной версии нельзя точно сравнить. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточную, вредную или неподходящую информацию, поэтому результаты требуют проверки.

YOYO-AI/Qwen2.5-14B-YOYO-V3 — языковая модель на архитектуре Qwen2 с 14 млрд параметров, созданная YOYO-AI путём слияния нескольких моделей семейства Qwen2.5 и производных от него. В описании автор рассказывает о последовательном слиянии моделей разными методами, чтобы повысить стабильность ответов и сохранить способности к следованию инструкциям, ролевому диалогу и творческому письму. Модель предназначена для генерации текста и диалогов, а также может использовать интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Метаданные указывают контекст длиной до 1 010 000 токенов, а языковые теги карточки — английский и китайский. Репозиторий содержит веса в формате safetensors. В карточке приведены результаты Open LLM Leaderboard, включая IFEval 83,98 и BBH 49,47; эти оценки относятся к указанным бенчмаркам и не гарантируют качество в иных сценариях. Лицензия — Apache-2.0.

Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen2.5-1.5B-Instruct-GGUF — инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это вариант базовой модели Qwen2.5-1.5B-Instruct в формате GGUF для локального запуска, в том числе с использованием llama.cpp. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также генерации структурированных ответов, включая JSON. Модель представляет собой causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm, bias в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, из которых 1,31 млрд приходятся на параметры без учёта эмбеддингов, имеет 28 слоёв и GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Указана поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся небольшой размер, возможность локального запуска, улучшенные следование инструкциям, генерация длинных текстов, работа со структурированными данными, кодом и математикой, а также устойчивость к различным системным промптам. Ограничения связаны с компактным масштабом в 1,5 млрд параметров и потерями точности, возможными при квантовании; конкретные показатели производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-1.5B-Instruct-GPTQ-Int4 — это компактная инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для чат-ботов, генерации и продолжения текста, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON, а также для задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 1,54 млрд параметров, 28 слоёв и использует архитектуру Transformers с RoPE, SwiGLU, RMSNorm, смещениями QKV в механизме внимания и связанными эмбеддингами слов. Применяется GQA с 12 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. GPTQ-квантизация до 4 бит уменьшает требования к памяти по сравнению с полноразмерной версией, но квантизация может влиять на качество и производительность. Модель ориентирована на локальное и ресурсо-ограниченное развертывание через библиотеку Transformers; для работы рекомендуется использовать актуальную версию библиотеки. README не содержит конкретных результатов тестов, требований к видеопамяти или показателей скорости, поэтому практические характеристики зависят от оборудования и конфигурации. Модель распространяется по лицензии Apache-2.0.

Downtown-Case/Qwen2.5-32B-EVA-Instruct-Merge-0.1 — объединённая языковая модель на базе Qwen2.5-32B, созданная методом della с помощью mergekit. В объединение вошли EVA-Qwen2.5-32B версий 0.0 и 0.1, а также Qwen2.5-32B-Instruct; в качестве базовой модели при слиянии использовалась Qwen2.5-32B. Модель предназначена для генерации текста и диалогового взаимодействия. Она имеет плотную архитектуру Qwen2ForCausalLM, содержит 32 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка указывает интерфейс для вызова инструментов. Карточка не описывает отдельную специализацию или проверенные преимущества слияния; качество ответов и работы с инструментами следует оценивать на целевых сценариях. Модель распространяется в формате safetensors. Лицензия в предоставленных данных не указана.

Etherll/Qwen2.5-7B-della-test — объединённая языковая модель на архитектуре Qwen2 для генерации текста и диалогов. Она создана с помощью mergekit методом della на основе Qwen/Qwen2.5-7B с включением Qwen/Qwen2.5-7B-Instruct; в репозитории указаны веса safetensors в формате bfloat16 и около 7,1 млрд параметров. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов, а метаданные отмечают интерфейс вызова инструментов. Модель подходит для диалоговых приложений, генерации и продолжения текста, а также структурированных ответов и вызова инструментов. В README приведены результаты оценок Open LLM Leaderboard, включая IFEval и BBH. Данные не подтверждают отдельную специализацию по предметной области или конкретный набор языков. Лицензия в предоставленных сведениях не указана.

SII-Enigma/Qwen2.5-7B-Ins-SFT-32k — плотная причинно-языковая модель семейства Qwen2.5 с 7,1 млрд параметров, дообученная на основе Qwen/Qwen2.5-7B-Instruct. В README описан подход AMPO: он использует решения нескольких моделей-учителей, вмешиваясь, когда модель не справляется самостоятельно, и выбирая понятные ей варианты решений. Авторы заявляют, что подход улучшает результативность и эффективность по сравнению с одним RL или SFT. Модель предназначена для генерации текста и диалогов, в том числе для задач рассуждения. Контекст составляет 32 768 токенов; репозиторий использует формат Safetensors и библиотеку Transformers. Метаданные указывают интерфейс вызова инструментов, но README не приводит подробных примеров или результатов оценки именно этого чекпойнта. Указана лицензия Apache-2.0.

mlx-community/Qwen2.5-7B-Instruct-4bit — преобразованная в формат MLX 4-битная версия Qwen2.5-7B-Instruct, подготовленная сообществом mlx-community с помощью mlx-lm 0.18.1. Это плотная авторегрессионная языковая модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для диалоговой генерации текста и запуска на устройствах Apple Silicon через MLX. Модель принимает текстовые запросы и выдаёт текст; метаданные указывают контекстное окно 32 768 токенов и интерфейс для вызова инструментов. Модель подходит для диалоговых помощников, ответов на вопросы, написания и преобразования текстов. Карточка подтверждает английский язык; других языков по предоставленным сведениям определить нельзя. Репозиторий указывает лицензию Apache-2.0. Ограничения качества и оценки модели в карточке не описаны.

bunnycore/Qwen2.5-7B-Matrix-v2 — это объединённая модель генерации текста на архитектуре Qwen2, созданная с помощью mergekit методом DARE TIES. В объединение вошли Qwen2.5-Coder-7B-Instruct, Qwen2.5-Math-7B-Instruct и huihui-ai/Qwen2.5-7B-Instruct-abliterated; последняя использована как базовая модель. Чекпойнт содержит 7,1 млрд параметров, построен для Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста, в том числе для задач программирования и математики, сочетая возможности включённых инструкционных моделей. В метаданных также отмечен интерфейс вызова инструментов. Языки, на которых модель рассчитана, и отдельные ограничения её качества не описаны. Лицензия в предоставленных сведениях не указана.

Qwen2.5-Coder-3B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-Coder-3B-Instruct, разработанной командой Qwen и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и работы с программным кодом в диалоговом режиме: написания, объяснения и преобразования кода, а также выполнения других задач, связанных с программированием. В карточке указана поддержка английского языка. Модель содержит 3 миллиарда параметров и рассчитана на локальный запуск через llama.cpp, в том числе в LM Studio. Доступны варианты от F16 до компактных квантизаций Q3–Q8, что позволяет выбирать между качеством ответов и требованиями к памяти; наиболее качественными названы варианты Q6_K_L и Q6_K, а Q4_K_M описан как вариант по умолчанию для большинства случаев. Квантизация уменьшает размер файлов и требования к ресурсам, но более агрессивные варианты могут снижать качество. Архитектура, максимальная длина контекста и дополнительные модальности в README не указаны. Модель распространяется с лицензией Qwen Research License; применимость лицензии следует уточнять по исходному тексту LICENSE.

mlx-community/Qwen2.5-Coder-7B-4bit — версия модели Qwen2.5-Coder-7B, преобразованная сообществом mlx-community в формат MLX с 4-битной квантизацией. Модель представляет собой плотную авторегрессионную языковую модель семейства Qwen2 с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и кода, диалогового взаимодействия и работы с интерфейсом вызова инструментов. Её можно использовать для написания и продолжения кода, объяснения фрагментов программ и помощи в разработке. Квантизация сокращает требования к памяти; README указывает на использование через mlx-lm. В метаданных указана лицензия Apache-2.0. Карточка модели не сообщает отдельные результаты оценки качества или специфические ограничения; как квантизированная версия, она может отличаться по качеству от исходной модели.

bartowski/Qwen2-72B-Instruct-GGUF — набор квантизированных вариантов языковой модели Qwen2-72B-Instruct, разработанной командой Qwen (Tongyi Qianwen) и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в чат-интерфейсах и локальный запуск через llama.cpp. Поддерживается специальный шаблон промпта с ролями system, user и assistant. Модель имеет 72 миллиарда параметров, работает с текстом и ориентирована как минимум на английский язык. Доступны варианты GGUF с разными уровнями квантизации: от Q8_0 размером около 77,26 ГБ до IQ1_M размером около 23,74 ГБ. Наиболее рекомендуются Q5_K_M, Q4_K_M и IQ4_XS как компромисс между качеством и требованиями к памяти; варианты с более низкой точностью занимают меньше места, но заметно теряют в качестве. Квантизация выполнена с использованием imatrix и llama.cpp. Сильная сторона набора — возможность выбрать подходящий баланс качества, скорости и потребления RAM или VRAM для локального запуска. Для работы на GPU рекомендуется, чтобы файл помещался в доступную видеопамять; также возможно комбинировать системную RAM и VRAM. Для CUDA указано ограничение: offloading может работать некорректно без включения flash attention. I-quant варианты не совместимы с Vulkan, а на CPU и Apple Metal могут работать медленнее K-quant вариантов. Модель распространяется по лицензии tongyi-qianwen; README также содержит ссылку на лицензию исходной модели Qwen2-72B-Instruct.

dfurman/Qwen2-72B-Orpo-v0.1 — диалоговая языковая модель, созданная как дообучение Qwen/Qwen2-72B-Instruct на 1,5 тыс. примеров из набора mlabonne/orpo-dpo-mix-40k. Это плотная архитектура Qwen2ForCausalLM с 71,5 млрд параметров; модель опубликована в формате safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и многоходовых диалогов, включая ролевые сценарии, рассуждения, задачи с агентными возможностями и поддержание связности на длинном контексте. В метаданных указан английский язык. Карточка приводит результаты Open LLM Leaderboard: среднее значение 43,32 и 78,80 для IFEval (0-shot). Лицензия обозначена как other, поэтому условия её использования следует проверять в карточке модели.

Qwen3-128k-30B-A3B-NEO-MAX-Imatrix-gguf — набор GGUF-квантизаций модели Qwen3-30B-A3B, разработанной командой Qwen. Это разреженная Mixture-of-Experts-модель с 30 млрд общих параметров и 128 экспертами, из которых обычно активируются 8 в зависимости от содержания запроса; эффективный объём активных параметров составляет около 3 млрд. Автор сборки применил собственный NEO Imatrix-процесс и модификации, ориентированные на работу с различными уровнями квантования. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, рассуждений, решения задач и использования инструментов. Заявлена поддержка контекста до 131072 токенов, расширенного с 32768 с применением YaRN. В README указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Ключевое преимущество сборки — возможность запуска всех вариантов на GPU, CPU или в режиме CPU с оперативной памятью благодаря MoE-архитектуре и активации только части параметров. NEO Imatrix-квантизация призвана сохранить пригодное качество даже у компактных вариантов, однако более низкие уровни квантования уступают старшим по качеству и могут требовать более подробных промптов. Скорость и качество зависят от конкретного варианта квантизации и оборудования; приведённые в README оценки производительности ограничены описанной конфигурацией. Модель распространяется по лицензии Apache-2.0.

Карточка модели inference-optimization/Qwen3-30B-A3B-Thinking-2507-REAP-25-uniform на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Thinking-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Thinking-2507 — причинная языковая модель семейства Qwen3 от команды Qwen. Это модель типа Mixture of Experts с 30,5 млрд параметров, из которых при генерации активируются около 3,3 млрд; в архитектуре 128 экспертов, одновременно используются 8. Она предназначена для диалогов и сложных задач рассуждения, включая математику, науку, программирование, следование инструкциям и работу с инструментами. Модель поддерживает только режим рассуждения и имеет нативное контекстное окно 262 144 токена. В README отмечены улучшения в глубине рассуждений, общих возможностях и обработке длинного контекста. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Модель распространяется под лицензией Apache-2.0. Длинные рассуждения могут приводить к большому объёму вывода, а для высоких нагрузок на контекст требуются значительные вычислительные ресурсы; README рекомендует актуальную версию Transformers и описывает запуск через vLLM или SGLang.

DavidAU/Qwen3-30B-A6B-16-Extreme — дообученная версия многоэкспертной языковой модели Qwen3, в которой для обработки каждого запроса активируются 16 экспертов вместо стандартных 8. По описанию автора, модель использует около 6 млрд активных параметров из 30 млрд и рассчитана на более сложные запросы, где могут быть полезны дополнительные нюансы и глубина ответа. Модель предназначена для генерации текста и диалогов, включая сценарии с интерфейсом вызова инструментов. Она принимает текстовые запросы и выдаёт текст; автор указывает контекст около 32 тыс. токенов плюс до 8 тыс. токенов на ответ. Репозиторий содержит полноточные веса в safetensors и может использоваться через Transformers или служить источником для создания квантованных вариантов. Увеличенное число активных экспертов снижает скорость генерации примерно вдвое относительно версии с 8 экспертами; фактическая скорость зависит от оборудования и настроек. Модель создана DavidAU на базе Qwen/Qwen3-30B-A3B-Base. В карточке указана лицензия Apache-2.0 для базовой модели; отдельные условия лицензирования этой производной в предоставленных данных не приведены.

Qwen3-32B-quantized.w4a16 — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen3-32B от Qwen. Она предназначена для рассуждений, function calling, мультиязычного следования инструкциям, перевода и создания специализированных экспертных решений после дообучения. Модель использует архитектуру Qwen3ForCausalLM, принимает текстовые входы и генерирует текст. Веса линейных операторов в трансформерных блоках сжаты до INT4 с применением GPTQ, симметричной поканально-групповой схемы и размером группы 128; остальные характеристики базовой модели, включая точный набор языков и исходный размер контекста, в README не указаны. Квантование уменьшает размер на диске и требования к памяти GPU примерно на 75% по сравнению с представлением весов в 16 бит. Для развёртывания рекомендуется использовать vLLM, включая режим совместимого с OpenAI API сервера. К сильным сторонам относятся существенное снижение потребления памяти и возможность эффективного запуска крупной модели на ограниченных GPU-ресурсах при сохранении назначения базовой модели. Ограничения связаны с потерями качества, возможными при квантовании, а также с тем, что README не содержит численных результатов оценки и подробностей о производительности. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.