II.10Разработка и эксплуатация AI/ML-систем

OpenBuddy/openbuddy-llama3.2-3b-v23.2-131k — многоязычная диалоговая модель OpenBuddy, построенная на Meta Llama 3.2 3B. Это плотная авторегрессионная архитектура LlamaForCausalLM с 3,2 млрд параметров и контекстом до 131 072 токенов; репозиторий содержит веса safetensors. Модель предназначена для чат-ботов и генерации ответов на английском и китайском языках. Карточка также позиционирует OpenBuddy как многоязычную модель, а метаданные перечисляют французский, немецкий, японский, корейский, итальянский и финский. Для работы рекомендован быстрый токенизатор Transformers; карточка предупреждает, что другие реализации могут некорректно обрабатывать специальные токены. Лицензия — Llama 3.2, с условиями и ограничениями Meta Llama 3.2 и заявлением OpenBuddy об использовании без гарантий.

OpenCodeInterpreter-DS-1.3B — языковая модель для генерации кода, разработанная в рамках проекта OpenCodeInterpreter. Она предназначена для диалогового написания кода и итеративного улучшения решений с использованием обратной связи от выполнения. Модель основана на DeepSeek Coder 1.3B и использует плотную архитектуру Llama с 1,3 млрд параметров; заявленный контекст — 16 384 токена. В README приведены результаты на HumanEval и MBPP, а также показано улучшение отдельных показателей при добавлении обратной связи от выполнения. Это указывает на пригодность модели для генерации и доработки программного кода, но сами результаты бенчмарков не гарантируют качество для конкретного проекта. Модель принимает текстовые запросы и выдаёт текст, включая код. Лицензия — Apache-2.0.

OpenCoder-1.5B-Instruct — диалоговая модель для работы с кодом из семейства OpenCoder, разработанного командой OpenCoder. Она основана на плотной архитектуре Llama и дообучена методом supervised fine-tuning на двух этапах на примерах OpenCoder. Модель содержит 1,7 млрд параметров и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации кода по запросу на естественном языке, ответов на вопросы о программировании и помощи в решении задач на код. Семейство OpenCoder поддерживает английский и китайский языки; в карточке этой версии указаны те же языки. В README приведены результаты на HumanEval(+), MBPP(+) и BigCodeBench. Модель опубликована в формате safetensors для Transformers. Лицензия указана как «other», поэтому условия использования следует уточнить в файлах лицензии репозитория. README описывает открытые данные и процесс обучения семейства, но не приводит подробных ограничений конкретно этой версии.

SC117/Ornith-1.0-35B-Heretic-MTP-APEX-GGUF — квантизированная GGUF-версия Ornith-1.0-35B от DeepReinforce AI, созданная на базе Qwen3.5 MoE. Модель ориентирована на агентное программирование, задачи рассуждения и сценарии, где требуется работа с кодом. Это экспериментальный вариант, в котором LoRA Heretic 1.4.0 Trial 63 объединена с весами BF16; также включены совместимая MTP-голова Qwen3.5, визуальный проектор BF16 и варианты APEX со смешанной точностью. Основной заявленный язык — английский. Архитектура мультимодальная, MoE: 35 млрд параметров всего, около 3 млрд активных на токен, 256 экспертов, из которых используются 8. Модель содержит 40 transformer-слоёв и один MTP-слой, поддерживает контекст до 262 144 токенов. В состав релиза входят GGUF-квантизации, предназначенные для более эффективного локального запуска, а также компоненты для обработки визуальных данных. В README не указаны конкретные результаты тестов или требования к аппаратному обеспечению. Сильными сторонами являются большое контекстное окно, MoE-архитектура с относительно небольшим числом активных параметров, поддержка мультимодальности, MTP и варианты смешанной точности. К ограничениям относятся экспериментальный характер производного релиза и возможное отличие поведения, включая отказоустойчивость и склонность к отказам, от исходной модели; перед развёртыванием требуется самостоятельная оценка. Модель распространяется по лицензии MIT.

MIRALABS/Ornith-1.5-35B-A3B-W4A16-SYM — симметрично переквантизированная версия мультимодальной модели Ornith-1.5-35B-A3B, разработанная командой Milner Team (MIRALABS) на основе модели ornith-ai. Модель относится к семейству Qwen3.6/3.5 A3B MoE и предназначена для локального запуска и обслуживания через vLLM, включая задачи генерации текста, рассуждений и обработки изображений и видео. В README также указана встроенная поддержка reasoning/tool parser для конфигурации первого запуска. Это MoE-модель с заявленным размером 35B и активной конфигурацией A3B. Маршрутизируемые экспертные слои переквантизированы в W4A16 symmetric с 4-битными весами, 16-битными активациями и размером группы 32; vision tower и MTP head сохранены в BF16. Формат хранения — compressed-tensors/pack-quantized, поддерживается vLLM версии 0.19 и новее с Marlin backend. Заявленный максимальный контекст — 32 768 токенов. Поддерживаемые языки в README не указаны. Сильная сторона модели — возможность запуска MoE-варианта на NVIDIA GPU через vLLM с существенно меньшими требованиями к памяти; на двух RTX 3090 заявлена загрузка примерно по 20 ГБ на GPU. К ограничениям относятся потери качества и расхождения с BF16-версией из-за 4-битной квантизации, а также необходимость совместимой конфигурации vLLM и оборудования. Модель распространяется по лицензии MIT.

OxCoder-9B-MERNIK-GGUF — это набор GGUF-квантизированных сборок модели OxCoder-9B, разработанной OrionLLM и дообученной для агентного программирования. Модель предназначена для генерации кода и решения задач программирования; в README приведены результаты на HumanEval, где лучшая сборка показывает pass@1 90,24% (148 из 164 заданий). Модель рассчитана на использование с llama.cpp и поддерживает формат GGUF. Базовая модель имеет около 9 млрд параметров, языком заявлен английский, а заявленный контекст составляет 262K токенов. Квантизация MERNIK использует распределение битности на основе imatrix с учётом perplexity, KLD относительно эталона и результатов на оцениваемых задачах. Доступны сборки размером 5,36 ГБ (Q4) и 6,83 ГБ (Q8); для сравнения приведена стандартная Q6_K размером 7,36 ГБ. Сильной стороной является высокая эффективность на HumanEval, однако показатели зависят от конкретной сборки, а результаты на нестандартном тесте GPQA-recognition ниже, чем у некоторых альтернатив, поэтому они не характеризуют полноценные рассуждения. Модель распространяется по лицензии Apache-2.0.

Parakeet TDT-CTC 0.6B Japanese GGUF — конверсия модели nvidia/parakeet-tdt_ctc-0.6b-ja, подготовленная для использования с CrispASR. Это модель автоматического распознавания речи, предназначенная для транскрибации японской речи из монофонических аудиозаписей с частотой 16 кГц, включая расстановку пунктуации и получение временных меток на уровне слов или токенов. Модель содержит около 600 млн параметров и использует гибридную архитектуру FastConformer с 24 слоями, декодером TDT (Token-and-Duration Transducer) и дополнительной CTC-головой, которую можно выбрать во время выполнения. Входной аудиосигнал обрабатывается через 80 мел-фильтров; словарь включает 3072 токена SentencePiece для японского языка с пунктуацией. TDT обеспечивает встроенные временные метки без отдельной модели выравнивания. Для коротких записей доступны варианты F16, Q8_0 и Q4_K; F16 соответствует результатам официального конвейера NeMo, а Q8_0 сохраняет идентичный TDT-вывод в заявленных тестах. Сильные стороны модели — специализированная поддержка японского языка, пунктуация, встроенные временные метки и возможность выбора между TDT и CTC. Ограничением является чувствительность энкодера к контексту длиннее примерно 12 секунд при однопроходной обработке; для длинных записей рекомендуется использовать CrispASR с VAD-сегментацией и ограничением длительности фрагментов. Вариант Q4_K может вызывать зацикливание при TDT-декодировании, поэтому для него рекомендуется CTC или более точный Q8_0. Указанная лицензия — CC-BY-4.0.

Parrot Coder — языковая модель для автодополнения и генерации кода, разработанная Inserloft Research. Это плотная GPT-2-модель на 200 млн параметров; репозиторий содержит объединённые базовую модель и LoRA-адаптеры в формате safetensors, готовые для инференса через Transformers. Модель предназначена для быстрого продолжения фрагментов кода и генерации кода по текстовому запросу. Метаданные указывают контекст до 2048 токенов и поддержку английского языка. Модель выдаёт текст, в том числе программный код. Лицензия — Apache-2.0.

unsloth/Phi-4-reasoning-plus-GGUF — GGUF-версия модели Phi-4-reasoning-plus, разработанной Microsoft Research и подготовленной для распространения Unsloth. Это открытая по весам текстовая модель генерации для диалогов и задач, требующих рассуждений, прежде всего математики, естественных наук и программирования. Модель дообучалась методом supervised fine-tuning на синтетических и отфильтрованных общедоступных данных, а также с применением reinforcement learning. В основе лежит плотная decoder-only Transformer-архитектура с 14 млрд параметров и контекстом до 32 тыс. токенов. Модель принимает текстовые запросы, предпочтительно в формате чата, и генерирует текстовые ответы на английском языке. Ответы состоят из блока цепочки рассуждений и последующего блока суммаризации. Версия GGUF предназначена для запуска в совместимых инструментах, включая llama.cpp; для включения режима рассуждений в llama.cpp требуется параметр --jinja. Сильной стороной модели является повышенная точность благодаря дополнительному reinforcement learning и специализации на сложных задачах рассуждения, математике, науке и коде. Ограничением служит более высокая задержка: модель в среднем генерирует примерно на 50% больше токенов. README не содержит отдельной информации о специфических ограничениях качества или требованиях к аппаратным ресурсам именно этой GGUF-квантизации. Указанная лицензия — MIT.

privacy-filter-mlx — адаптация OpenAI Privacy Filter для запуска на устройствах Apple Silicon через MLX и Metal, опубликованная beshkenadze. Это токен-классификатор на архитектуре MoE: 8 слоёв, 128 экспертов с выбором 4 экспертов на токен, двунаправленное скользящее внимание и контекст до 131 072 токенов. Модель размечает токены 33 BIOES-метками в восьми категориях персональных данных и секретов, чтобы последующий редактирующий компонент мог находить и маскировать целые фрагменты текста. Модель предназначена для локального обнаружения персональных данных и секретов в текстовых потоках, в том числе для фильтрации перед передачей или выводом текста. В репозитории есть полноразмерные bf16-веса и вариант q4-8emb объёмом около 0,87 ГБ; для последнего автор сообщает совпадение меток с fp32-эталоном на 99,4% в синтетической оценке. Поддерживается английский язык. Лицензия — Apache-2.0. Запуск рассчитан на MLX и Apple Silicon; результаты количественной оценки получены на синтетическом наборе и не гарантируют качество на всех текстах и типах секретов.

RedHatAI/Qwen2-1.5B-Instruct-FP8 — квантованная версия языковой модели Qwen2-1.5B-Instruct, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования, прежде всего для англоязычного диалогового взаимодействия и создания ассистентов. Она принимает текст и генерирует текст, поддерживает сценарии чат-ботов и может развёртываться с помощью vLLM, включая OpenAI-совместимый режим сервинга. Модель содержит около 1,5 млрд параметров и использует архитектуру Qwen2. Веса и активации линейных операторов в блоках трансформера квантизованы в формат FP8 с применением симметричной поканальной? per-tensor-квантизации и статического масштабирования. Квантизация уменьшает число битов на параметр с 16 до 8, а требования к дисковому пространству и памяти GPU — примерно на 50%. В README указана длина контекста до 4096 токенов для примеров развёртывания. Для квантизации использовались AutoFP8 и 512 последовательностей из UltraChat. По данным OpenLLM Leaderboard v1, средний результат составляет 54,59 против 55,18 у неквантизованной версии, что указывает на небольшую потерю качества при заметном снижении требований к ресурсам. Ограничением является заявленная ориентация на английский язык: использование на других языках указано как выходящее за пределы назначения. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-0.5B-Instruct — компактная плотная авторегрессионная языковая модель семейства Qwen2.5 с примерно 494 млн параметров, подготовленная FuriosaAI для запуска на ускорителе RNGD через Furiosa-LLM. Это предварительно скомпилированная сборка базовой инструктивной модели Qwen/Qwen2.5-0.5B-Instruct; она сохраняет её назначение для генерации текста и диалогов, выполнения инструкций и вызова инструментов через парсер Hermes. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и работает в исходной точности 16 бит без квантизации. Сборка ориентирована на лёгкое развертывание с низкой задержкой: на RNGD используется параллелизм по тензорам с размером 4 PE, что позволяет разместить модель на одной карте. Карточка указывает многоязычную поддержку, а метаданные отмечают английский язык. Лицензия — Apache 2.0. Как компактная модель, она может уступать более крупным моделям в сложных задачах; запуск этой сборки рассчитан на Furiosa-LLM и оборудование FuriosaAI RNGD.

Qwen2.5.1-Coder-1.5B-Instruct-GGUF — это GGUF-квантизованная версия инструкционной модели Qwen2.5-Coder-1.5B-Instruct, подготовленная bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации и обработки программного кода, диалогового взаимодействия и выполнения инструкций, связанных с задачами разработки. В README явно указан английский язык; поддержка других языков не заявлена. Модель относится к текстовым моделям и не предназначена для работы с изображениями или другими мультимодальными данными. Размер исходной модели — 1,5 млрд параметров. Доступны варианты квантования от F16 до IQ3_M с размером файлов примерно от 0,78 до 3,09 ГБ, что позволяет запускать модель на устройствах с ограниченными ресурсами. Более сильные стороны высокоточных вариантов — сохранение качества при локальном запуске и совместимость с llama.cpp и LM Studio; варианты с меньшим числом бит требуют меньше оперативной памяти, но могут заметнее терять в качестве. Контекст модели в README не указан, поэтому его характеристики нельзя подтвердить. Модель распространяется по лицензии Apache 2.0.

mlx-community/Qwen2.5-Coder-1.5B-Instruct-bf16 — конвертированная в формат MLX инструктивная модель для генерации кода. Она основана на Qwen/Qwen2.5-Coder-1.5B-Instruct; архитектура — плотная Qwen2 с причинной языковой моделью Qwen2ForCausalLM и 1,5 млрд параметров. Модель предназначена для диалогового взаимодействия и задач с кодом, включая создание фрагментов по запросу и помощь при работе с программным кодом. Контекст модели составляет 32 768 токенов. В метаданных указан английский язык; README описывает конвертацию с помощью mlx-lm 0.18.1 и использование через эту библиотеку. Репозиторий распространяется по лицензии Apache-2.0. Практические результаты зависят от качества инструкций и сложности задачи; карточка не приводит отдельных оценок качества.

Qwen2.5-Coder-1.5B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционной модели Qwen2.5-Coder-1.5B-Instruct, разработанной командой Qwen. Квантизацию выполнил bartowski на основе инструментов mlx-examples; модель предназначена для запуска на компьютерах Mac с Apple Silicon. Модель ориентирована на генерацию и обработку кода, чат-взаимодействие и использование в составе Code Agents. Она обучалась на объёме до 5,5 триллиона токенов, включая исходный код, данные для связывания текста и кода и синтетические данные. Заявлена поддержка контекста до 32 тысяч токенов и английского языка. Формат MLX и 4-битная квантизация снижают требования к памяти, однако README не содержит количественных данных о качестве, скорости, поддерживаемых модальностях или конкретных ограничениях кода модели. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-3B-GGUF — базовая языковая модель для работы с исходным кодом, созданная командой Qwen. Это GGUF-квантизация оригинальной модели Qwen2.5-Coder-3B, подготовленная bartowski на основе llama.cpp. Модель предназначена прежде всего для генерации и автодополнения текста и кода, а не для диалогового использования в формате instruct или chat. Модель имеет около 3 миллиардов параметров и поддерживает контекст длиной до 32 000 токенов. При обучении использовано 5,5 триллиона токенов. В метаданных указана поддержка английского языка и сценарии, связанные с программированием. Формат GGUF и совместимость с llama.cpp делают модель подходящей для локального запуска в приложениях и инструментах, поддерживающих этот формат. К сильным сторонам относятся специализация на коде, большой контекст и возможность локального использования в компактном размере. Ограничение состоит в том, что это базовая модель: она не оптимизирована для обычного общения и выполнения инструкций в диалоговом режиме, поэтому для таких задач может потребоваться дополнительное форматирование запросов или другая модель. Указанная лицензия — qwen-research; перед использованием следует ознакомиться с условиями лицензии по ссылке на оригинальную модель.

Qwen2.5-Coder-7B-Instruct-4bit — 4-битная версия модели для генерации кода из семейства Qwen2.5-Coder, подготовленная mlx-community. README указывает, что модель преобразована в формат MLX из Qwen/Qwen2.5-Coder-7B-Instruct с помощью mlx-lm 0.18.1; в метаданных базовой моделью указана Qwen/Qwen2.5-Coder-7B. Это плотная причинная языковая модель архитектуры Qwen2 с 7,1 млрд параметров и контекстом 32 768 токенов. Модель предназначена для генерации кода в диалоговом формате и подходит для помощи при написании и анализе программ. Репозиторий распространяется по лицензии Apache-2.0. README описывает конвертацию в MLX, а метаданные указывают на дообучение базовой модели для кода; представленных сведений недостаточно, чтобы точно описать качество по языкам программирования или результаты оценок.

Qwen2-7B-Instruct-Response-Exp — дообученная Alibaba PAI модель на архитектуре Qwen2 с 7,1 млрд параметров. Она предназначена для генерации ответов и автоматического расширения наборов данных и аннотаций в стиле Self-Instruct: например, для создания разнообразных примеров инструкций и ответов. Модель обучали на сбалансированной выборке из OpenHermes и LCCD; аннотации обучающих данных подготовлены с помощью Qwen-max и авторских примеров. Поддерживает чатовый режим, использует формат safetensors и имеет контекстное окно 32 768 токенов. В README приведено сравнение с Self-Instruct по разнообразию, длине, сложности и фактичности, однако подробности методики оценки не раскрыты. Модель принимает текст и генерирует текст. Базовая модель — Qwen2-7B-Instruct. Лицензия в предоставленных данных не указана.

Qwen3-32B-R2EGYM-256-3epochs — плотная языковая модель на 29,7 млрд параметров, созданная командой LAION дообучением Qwen/Qwen3-32B методом обучения с подкреплением. Обучение проводилось с асинхронным PPO в SkyRL на задачах программирования и рассуждений из бенчмарка R2EGYM; использовалось 256 задач и агент Terminus-2, работающий в терминальной среде с песочницей Docker. Контекст модели — 40 960 токенов. Модель предназначена для генерации кода, решения задач программирования и многошагового рассуждения в диалоговом формате. Авторы позиционируют её как замену Qwen3-32B с улучшенными возможностями в программировании и рассуждениях. Карточка указывает лицензию Apache-2.0. Результаты могут зависеть от задачи и условий запуска; обучение на ограниченном наборе из 256 задач не гарантирует улучшения на других задачах.

Это пакет GGUF-слоёв для модели Qwen3.5-122B-A10B-UD-Q4_K_XL, подготовленный Mesh LLM на основе unsloth/Qwen3.5-122B-A10B-MTP-GGUF. Он предназначен для распределённого запуска модели на нескольких компьютерах через Mesh LLM, а также для локального приватного инференса и чат-запросов через совместимый с OpenAI API. Пакет сохраняет исходное распределение GGUF в виде отдельных артефактов по слоям; указан вариант UD-Q4_K_XL. Он поддерживает генерацию текста и диалоговый режим. Сведения об архитектуре, языках, длине контекста и лицензии предлагается смотреть в карточке исходной модели, поэтому здесь они не уточняются.

snsnc/qwen3.5-4B-super-coder-MLX-4bit — 4-битная версия модели для генерации текста и кода в формате MLX. Модель подготовлена на основе unsloth/Qwen3.5-4B с объединённым LoRA-адаптером jica98/qwen3.5-4B-super-coder; дополнительное обучение не проводилось. Разработчик адаптации — пользователь или организация с идентификатором snsnc, а исходные компоненты предоставлены unsloth и jica98. Модель предназначена прежде всего для задач программирования, включая генерацию исполняемого кода, например реализации асинхронного ограничителя запросов. Она поддерживает текстовый ввод и вывод; сведения о языках программирования и естественных языках, размере контекста и точной архитектуре в README не указаны. Использует архитектуру Qwen3_5ForConditionalGeneration и 4-битное квантование, что должно уменьшать требования к памяти при запуске в MLX, однако может ограничивать качество по сравнению с полноразмерной версией. В шаблоне чата предусмотрен режим рассуждений, который можно отключить. Для запуска используется библиотека mlx-lm и платформа MLX. Модель распространяется по лицензии Apache-2.0. README не содержит данных о результатах тестирования, качестве на конкретных наборах, аппаратных требованиях или ограничениях применения, поэтому её эффективность для отдельных задач следует проверять отдельно.

Qwen3.5-REAP-212B-A17B-W4A16 — квантизированная версия модели OpenMOSE/Qwen3.5-REAP-212B-A17B, подготовленная с помощью Intel AutoRound. Это MoE-модель с 212 млрд параметров; веса квантованы до 4 бит с группой 128, а маршрутизатор экспертов оставлен без квантизации. По метаданным модель предназначена для генерации текста и диалогового использования. В README описана процедура квантования, но не приведены сведения о контекстном окне и поддерживаемых языках. Для квантования использованы 64 калибровочных примера из NeelNanda/pile-10k с длиной последовательности 512. Модель требует поддержки архитектуры qwen3_5_moe в Transformers; в README отмечены проблемы совместимости AutoRound с Transformers 5.x, для которых нужны исправления импорта и определения мультимодальности. Лицензия — Apache-2.0.

Alittlehammmer/Qwen3.6-27B-DFlash-GGUF-llama.cpp — это набор GGUF-квантизаций модели z-lab/Qwen3.6-27B-DFlash, подготовленный пользователем Alittlehammmer для запуска через llama.cpp. Модель предназначена для генерации текста и сценариев agentic coding, а также для использования в качестве draft-модели в speculative decoding вместе с совместимыми квантованными версиями Qwen3.6-27B. Доступны варианты Q4_K_M, Q5_K, Q6_K, Q8_0 и BF16 с разрядностью от 4 до 16 бит и размером примерно от 1,03 до 3,47 ГБ. Версия Q8_0 описана как почти без потерь и рекомендуемая, а BF16 является эталонным файлом полной точности. Формат GGUF и интеграция с llama.cpp упрощают локальный запуск, однако README не содержит сведений о точной архитектуре, поддерживаемых языках, размере контекста, модальностях, результатах тестирования и самостоятельных возможностях базовой модели. Для использования требуется llama.cpp и совместимые квантованные модели Qwen3.6; в примере применяется режим draft-dflash с параметрами llama-server. Автор отмечает, что настройка sm = tensor может приводить к сбою при запуске, тогда как sm = layer используется в рабочем примере. Лицензия указана как Apache-2.0, при этом подробности возможностей и ограничения следует уточнять в карточке исходной модели.

Qwen3.6-27B-Instruct-SecPO — разработанная авторами репозитория модель на базе Qwen/Qwen3.6-27B, дообученная методом Security Preference Optimization (SecPO) для снижения уязвимости к prompt injection. Это мультимодальная плотная модель с архитектурой Qwen3_5ForConditionalGeneration на 27 млрд параметров: она принимает текст и изображения и генерирует текст. Веса BF16 сохранены в safetensors; использованные LoRA-адаптеры уже объединены с базовой моделью. Поддерживаются чат и интерфейс вызова инструментов. Модель предназначена для исследований prompt injection, red-team-оценок и прототипирования систем, которые явно отделяют доверенные инструкции от недоверенных документов, результатов инструментов и изображений. В описанных авторами тестах она реже выполняла внедрённые инструкции, в том числе при адаптивных атаках, сохраняя близкие к базовой модели результаты на приведённых тестах знаний, рассуждений и математики. Карточка указывает английский язык. Лицензия — Apache-2.0. Защитный эффект не гарантирует устойчивость к новым атакам, другим кодировкам, большим бюджетам запросов или длительным сценариям. Модель полагается на приложение, которое корректно помещает недоверенное содержимое в роль input; она не определяет границы доверия сама и не заменяет другие меры защиты. Возможности рассуждения в режиме thinking-on приведёнными оценками не подтверждены.

eme/Qwen3.6-35B-A3B-FP8-Q4_K_M-MTP-GUFF — это GGUF-конверсия модели Qwen3.6-35B-A3B от команды Qwen, подготовленная пользователем eme. Модель основана на варианте Qwen/Qwen3.6-35B-A3B-FP8 и предназначена для локального запуска и эффективного инференса через llama.cpp. В README также упоминаются возможности Qwen3.6 для агентного программирования, работы с фронтенд-разработкой и рассуждений на уровне репозитория, однако эти сведения приведены для другой конфигурации Qwen3.6 и не позволяют полностью подтвердить характеристики данного варианта. Финальные веса используют квантизацию Q4_K_M для формата GGUF; исходная модель экспортирована в FP8 с форматом F8_E4M3. Такое представление уменьшает объём памяти и нагрузку на пропускную способность по сравнению с BF16, сохраняя близкое к BF16 качество для большинства задач инференса. В модель интегрирован Multi-Token Prediction (MTP), который может ускорять декодирование за счёт спекулятивного предсказания нескольких токенов. Точные сведения о контекстном окне, поддерживаемых языках и мультимодальности для этого конкретного файла не указаны; тег image-text-to-text присутствует в метаданных, но не подтверждает фактическую поддержку изображений. Для работы рекомендуется свежая версия llama.cpp с поддержкой CUDA и MTP-aware decoding; требуется достаточно VRAM в зависимости от длины контекста и размера батча. Пример запуска из README показывает работу на RTX 4080 с 16 ГБ памяти, но это не является гарантией совместимости или производительности в других конфигурациях. Ограничения включают возможные потери качества из-за Q4_K_M и зависимость ускорения от поддержки MTP и оптимизированных ядер в используемом рантайме. Лицензия указана как Apache-2.0.

Qwen3.8-Flash-Next-ik-llama-GGUF — это текстовая GGUF-конверсия модели Qwen3.8-Flash-Next, опубликованная пользователем ji-farthing. Файлы собраны непосредственно из BF16-релиза Qwen и предназначены для локального запуска через ik_llama.cpp, прежде всего для генерации текста и агентских задач, включая программирование. Модель использует архитектуру с маршрутизируемыми экспертами, а также поддерживает собственную MTP-head для speculative decoding. Доступны варианты квантизации IQ3_KT и IQ4_KT объёмом соответственно 80,22 и 88,42 ГиБ. Отдельно поставляется MTP-head IQ4_KT объёмом 2,21 ГиБ; она не является самостоятельной моделью и должна загружаться вместе с основной моделью. Указан контекст до 131 072 токенов. Модель текстовая, сведения о поддерживаемых языках в README не приведены. Для работы требуются ik_llama.cpp и сборка с поддержкой qwen4exp MTP; маршрутизируемые эксперты требуют примерно 50,4 ГиБ RAM или VRAM для IQ3_KT и 58,6 ГиБ для IQ4_KT. Ключевые сильные стороны — квантизация с importance matrix, настроенная для агентского программирования, сохранение собственного механизма MTP и высокая эффективность использования памяти за счёт размещения PLE-таблицы на диске. По приведённым измерениям на коде IQ4_KT показывает perplexity 1,8209 против 1,7218 у BF16-версии, а IQ3_KT — 1,8273. Ограничения включают очень большой размер файлов, высокие требования к оперативной памяти и необходимость специализированного runtime; MTP увеличивает объём вычислительного буфера. Лицензия указана как qwen-community-license-1.0.

halt95/Qwen3.8-Flash-Next-W4A16-Merlin — это квантованный вариант Qwen3.8-Flash-Next, подготовленный halt95 на основе компонентов Qwen, Intel и RadixArk. Модель предназначена для генерации текста и инференса в vLLM, включая сценарии с длинным контекстом, параллельными сессиями, включённым режимом рассуждений, vision-вводом и speculative decoding с MTP-драфтером. Модель использует смесь экспертов с 512 маршрутизируемыми экспертами на слой и 512 экспертами MTP draft-head. Основные эксперты представлены в INT4 с групповой схемой g128, отдельные проекции Gated DeltaNet — в INT8, а часть компонентов, включая 12 attention-слоёв, vision tower, эмбеддинги и lm_head, сохранена в BF16. Таблица n-gram (PLE) на 51 млрд параметров хранится в FP8 и выгружается в память CPU. При обслуживании применяется FP8 E4M3 KV-cache; заявлена поддержка контекста до 262 144 токенов и пула KV-cache размером 806 792 токена. README не указывает поддерживаемые языки и точное общее число параметров. Сильными сторонами являются работа с очень длинным контекстом, поддержка vision, MTP speculative decoding, структурированного вывода при конкуренции запросов и возможность запуска на четырёх потребительских RTX 3090 с архитектурой Ampere без NVLink. Ограничения связаны с узкой аппаратной и программной конфигурацией: для sm_86 требуется патченный vLLM с поддержкой FP8 KV-cache и специального доступа к большой n-gram-таблице, а стандартный vLLM не подходит. Качество INT4-квантования для отдельных компонентов и влияние дополнительной квантизации attention в README не оценивались. Распространение осуществляется по лицензии qwen-community-1.0; в метаданных также указана общая лицензия other. Для запуска может потребоваться companion-репозиторий halt95/qwen38-flash-next-3090s с закреплёнными скриптами сборки и модифицированным движком.

MaziyarPanahi/Qwen3-Coder-Next-GGUF — это набор файлов модели в формате GGUF для Qwen3-Coder-Next, исходно разработанной командой Qwen. Квантованные версии подготовил MaziyarPanahi. Модель предназначена для генерации текста и, исходя из названия исходной модели, ориентирована на задачи, связанные с программированием, однако подробные сведения о специализации и результатах оценки в README не приведены. Главная характеристика этой версии — распространение в формате GGUF с вариантами квантования 2-, 3-, 4-, 5-, 6- и 8-бит. Формат поддерживается llama.cpp и рядом совместимых приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие, что позволяет запускать модель локально с использованием CPU или GPU в зависимости от конкретного инструмента. Размер исходной модели, архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны. Лицензия также не указана, поэтому условия использования следует уточнять в материалах исходной модели Qwen3-Coder-Next и репозитории квантованной версии.

Qwen3-Embedding-0.6B-AWQ-INT4 — квантованная версия модели Qwen/Qwen3-Embedding-0.6B, опубликованная drawais. Это производный артефакт с 4-битным квантованием весов по схеме AWQ и размером около 0,5 ГБ на диске. Модель предназначена для эффективного запуска задач, основанных на текстовых представлениях, включая сценарии, где важны компактность и низкие требования к ресурсам. В README указана поддержка английского языка. Для запуска рекомендуется использовать vLLM; заявленная максимальная длина контекста составляет 32 768 токенов. Модель относится к текстовым и не поддерживает другие модальности согласно представленным данным. К сильным сторонам относятся малый размер, потенциально высокая скорость работы и возможность запуска на ограниченных ресурсах. При этом INT4-квантование может снижать точность по сравнению с исходной моделью, а сведения о конкретных результатах оценки, архитектуре, точных требованиях к видеопамяти и поддерживаемых сценариях применения не приведены. Модель распространяется по лицензии Apache License 2.0; для производного артефакта требуется учитывать атрибуцию исходной модели и материалы из LICENSE и NOTICE.

timm/qwen3_vit_416m.qwen3_5_9b — визуальный энкодер признаков, созданный на основе весов Qwen3.5-9B и опубликованный в формате timm. Это нативное преобразование весов vision-части модели без дополнительного обучения; в чекпойнте нет весов языковой модели и обученной классификационной головы. Модель содержит около 415 млн параметров, использует визуальный трансформер с шириной backbone 1152, абсолютными позициями и осевым 2D RoPE. Изображения обрабатываются как RGB; типичный размер — 768 × 768 пикселей. Энкодер извлекает пространственные признаки и эмбеддинги изображений для последующей классификации или других задач компьютерного зрения. Поддерживаются прямоугольные изображения при размерах, кратных 16; для вариантов с объединением 2 × 2 размерности должны быть кратны 32. Классификационную голову необходимо обучить на целевом наборе данных. Лицензия — Apache 2.0.