II.3Рефакторинг, миграция и модернизация

Qwen3-235B-A22B-Instruct-2507-4bit — языковая instruction-модель, разработанная командой Qwen и адаптированная сообществом mlx-community для формата MLX. Модель преобразована из Qwen/Qwen3-235B-A22B-Instruct-2507 с использованием mlx-lm 0.26.0 и предназначена для генерации текста по инструкциям в приложениях, работающих на MLX. В названии указаны общий размер 235B параметров, архитектура MoE с 22B активных параметров и 4-битное квантование, однако эти характеристики в представленном README явно не описаны и основаны только на идентификаторе модели. Поддерживается текстовая генерация; сведения о языках, размере контекста, модальностях, сильных сторонах и ограничениях не приведены. Для использования требуется библиотека mlx-lm и совместимое с MLX окружение. Модель распространяется по лицензии Apache-2.0. README не содержит дополнительных сведений о требованиях к оборудованию, производительности или особенностях применения.

nytopop/Qwen3-30B-A3B.w8a8 — квантизированная версия модели Qwen/Qwen3-30B-A3B, подготовленная пользователем или организацией nyt opop с использованием Transformers и llmcompressor. Модель предназначена для генерации текста и оптимизирована для запуска на GPU NVIDIA с архитектурой Ampere. Ключевая особенность — квантизация W8A8 с 8-битными весами и активациями, рассчитанная на повышение эффективности выполнения. В README не указаны точные архитектурные параметры, число активных параметров, поддерживаемые языки, длина контекста и дополнительные модальности, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Для запуска рекомендуется использовать SGLang; на момент публикации README стандартная версия SGLang некорректно загружает эту квантизацию, поэтому предлагается исправленная ветка проекта. Указана лицензия Apache-2.0. Ограничение модели связано с зависимостью от совместимого программного окружения и необходимостью применять специальную версию SGLang до исправления поддержки upstream.

Qwen3-4B-Instruct-2507-GGUF — это набор файлов модели в формате GGUF для Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Модель содержит вариант с примерно 4 миллиардами параметров и распространяется в формате GGUF с уровнями квантизации 2-, 3-, 4-, 5-, 6- и 8-bit. Этот формат ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения. GGUF может упростить запуск модели на локальных системах с использованием CPU и GPU, однако конкретные требования к памяти, производительность, контекстное окно, поддерживаемые языки и модальности в README не указаны. Сильные стороны модели — компактный размер, наличие нескольких уровней квантизации и широкая совместимость с локальными средствами инференса. Квантизация может снизить требования к ресурсам, но способна повлиять на качество по сравнению с исходной моделью; степень этого влияния зависит от выбранного варианта. Лицензия и условия использования в предоставленных данных не указаны.

Jackrong/Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-GGUF — языковая модель для генерации текста и структурированного рассуждения, созданная Jackrong на основе Qwen/Qwen3.5-0.8B. Она дообучена методом Supervised Fine-Tuning с применением LoRA и Unsloth на отфильтрованных наборах данных с дистиллированными цепочками рассуждений, включая материалы, связанные с Claude Opus, а также специализированные датасеты Qwen. Модель предназначена для офлайн-аналитики, программирования, математики и задач, требующих пошагового логического анализа. Она обучена формировать рассуждение в тегах <think> и затем выдавать итоговый ответ. Заявлена поддержка английского, китайского и корейского языков, текстовый режим работы и контекстное окно до 16 384 токенов. Благодаря небольшому размеру 0,8 млрд параметров модель ориентирована на относительно эффективный локальный запуск, однако README не содержит сведений о конкретной GGUF-квантизации и требованиях к оборудованию. К сильным сторонам относятся структурированное пошаговое рассуждение, обработка многоэтапных задач и снижение избыточных повторов в рассуждениях. Ограничения включают обычный для авторегрессионных моделей риск галлюцинаций и необходимость проверки фактов; заявленные возможности не гарантируют точность решений. Модель обозначена как экспериментальная и предназначенная для обучения, академических исследований и технического изучения. Лицензия — Apache-2.0.

Qwen3.5-122B-A10B-abliterix-NVFP4 — квантизированная версия базовой модели wangzhang/Qwen3.5-122B-A10B-abliterix, подготовленная пользователем bjk110. Это текстовая MoE-модель для генерации текста и инференса через vLLM на оборудовании NVIDIA Blackwell, включая DGX Spark GB10 с архитектурой SM121. Поведение Abliterix описывается как uncensored: заявлена частота отказов 0,5%, а KL-дивергенция относительно базовой Qwen3.5-122B-A10B составляет 0,0115. Модель содержит 122 млрд параметров при 10 млрд активных параметров и использует NVFP4-квантизацию W4A4 с группами по 16 элементов, симметричным групповым масштабированием и динамической квантизацией активаций. Формат compressed-tensors совместим с vLLM; 37 056 слоёв используют NVFP4, а 471 слой сохранён в BF16. Размер на диске составляет около 70,4 ГБ вместо примерно 230 ГБ для BF16-версии, что оставляет больше памяти для KV-кэша и позволяет запускать модель на двух узлах DGX Spark. В README указана конфигурация с tensor parallelism 2, FlashInfer-CUTLASS NVFP4 MoE backend и контекстом до 32 768 токенов. Сильные стороны модели — существенно сниженное потребление памяти, поддержка высокопроизводительного NVFP4-бэкенда на Blackwell и сохранение заявленного uncensored-поведения базовой Abliterix-модели. Ограничения включают зависимость от совместимого стека vLLM, аппаратуры NVIDIA Blackwell и распределённого запуска; в README не указаны точные языки, результаты стандартных бенчмарков и подробные характеристики контекстного окна базовой модели. Лицензия — Apache-2.0.

Это квантизированная модель для генерации текста brunopio/Qwen3.5-14B-A3B-Claude-4.6-Opus-Reasoning-Distilled-reap-Q4_K_M-GGUF, созданная на основе tvall43/Qwen3.5-14B-A3B-Claude-4.6-Opus-Reasoning-Distilled-reap. Модель преобразована в формат GGUF с помощью llama.cpp и проекта GGUF-my-repo. В названии и тегах указаны архитектура Qwen3.5 MoE с 14 млрд параметров и 3 млрд активных параметров, а также специализация на reasoning-задачах и дистилляции рассуждений. Разработчик базовой модели и автор исходной дистрибуции — tvall43; текущую конверсию опубликовал brunopio. Модель предназначена для текстовой генерации и запуска через llama.cpp, включая локальный CLI-интерфейс и серверный режим. Она может использоваться для диалогов, решения задач, требующих рассуждений, и других сценариев генерации текста. В карточке заявлены языки китайский, английский и корейский. Также указана подготовка на наборах данных nohurry/Opus-4.6-Reasoning-3000x-filtered и Jackrong/Qwen3.5-reasoning-700x. Ключевое преимущество модели — компактный GGUF-представитель с квантизацией Q4_K_M, удобный для локального инференса средствами llama.cpp. Ограничения заключаются в отсутствии в карточке подробных результатов тестирования, точного максимального размера контекста и характеристик производительности. В примере запуска используется контекст 2048 токенов, но это не подтверждает максимальный размер контекста модели. Модель распространяется по лицензии Apache-2.0.

voodooquant/Qwen3.5-2B-MTP-Voodoo — это GGUF-квантизированная версия базовой мультимодальной модели Qwen3.5-2B-Base, созданная Voodoo Quant. Модель предназначена для исследовательских и прикладных сценариев, связанных с обработкой текста и изображений, включая мультимодальное понимание, рассуждения, программирование и агентские задачи. Базовая модель рассчитана преимущественно на дообучение, эксперименты с in-context learning и разработку, а не на непосредственное диалоговое использование без дополнительной настройки. Модель представляет собой причинную языковую модель с vision encoder, объединяющую Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention. Она содержит около 2 млрд параметров, 24 слоя, скрытую размерность 2048 и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Архитектура обучалась с использованием multi-step training (MTP). Квантизация Voodoo Quant выбирает уровни сжатия отдельно для разных тензоров; заявлено снижение perplexity до 89% по сравнению с обычными схемами квантизации. Чекпойнты работают в неизменённом Llama.cpp и не являются дообученными версиями исходной модели. Сильными сторонами являются мультимодальность, большой контекст, относительно компактный размер и оптимизация GGUF для эффективного локального запуска. Ограничения включают необходимость учитывать особенности конкретного уровня квантизации, а также то, что README не приводит подробных количественных результатов, требований к памяти и аппаратных рекомендаций. Модель распространяется по лицензии Apache-2.0.

Youssofal/Qwen3.5-9B-MTPLX-Optimized-Speed-FP16 — языковая модель для генерации текста, опубликованная пользователем Youssofal и основанная на семействе Qwen3.5-9B. Она предназначена для локального запуска на компьютерах Apple с чипами Apple Silicon через MTPLX, включая сценарии интерактивного общения, генерации текста и работы локального сервера с OpenAI-совместимым API. Модель оптимизирована для Multi-Token-Prediction speculative decoding. Основная часть модели использует 6-битное MLX affine-представление, а боковой модуль MTP применяется для спекулятивного декодирования. Упакованные квантованные тензоры сохраняются без повторной квантизации, а плавающие тензоры BF16 преобразованы в FP16 для совместимости с предпочтительным режимом работы на Mac с чипами M1 и M2. Рекомендуемый профиль — sustained, глубина по умолчанию — D2, бэкенд — qwen3-next-mtp. Заявленные показатели исходного артефакта достигают 101,32 токена в секунду в режиме D2, однако для FP16-варианта эти значения приведены как ориентир, а не как гарантированный результат. Сильная сторона модели — сочетание компактного квантованного представления, ускоренного декодирования и адаптации к старым поколениям Apple Silicon. Ограничения включают неполноценную точность по сравнению с full-precision checkpoint, зависимость производительности от устройства и среды MTPLX, а также отсутствие в README сведений о поддерживаемых языках, размере контекстного окна и точной архитектуре базовой модели. Лицензия — Apache 2.0.

MLX-версия языковой модели Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16, разработанная на основе модели AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 и конвертированная в формат MLX с помощью mlx-lm 0.31.2. Модель предназначена для генерации и продолжения текста, диалоговых приложений и локального запуска на устройствах, поддерживающих MLX. Модель имеет около 27 млрд параметров и представлена в 8-битном формате MLX; исходная модель использует BF16. В метаданных указаны архитектурные компоненты hybrid attention, Mamba и gated-deltanet, а также поддержка английского, китайского и мультиязычного текста. Длина контекста в README не указана. Для работы требуется библиотека mlx-lm и совместимое с MLX окружение. К сильным сторонам относятся крупный размер, оптимизация для экосистемы MLX и возможность локального использования. Ограничения включают отсутствие данных о качестве на конкретных тестах, производительности, точном наборе поддерживаемых языков и размере контекста. Модель помечена как abliterated и uncensored, поэтому её ответы могут иметь меньше встроенных ограничений безопасности; это следует учитывать при практическом применении. Лицензия — Apache 2.0.

FreedomAISVR выпустила GGUF-квантизацию модели Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled, дообученной на базе Qwen/Qwen3.6-35B-A3B с дистилляцией рассуждений Claude 4.7 Opus. Это текстовая MoE-модель для диалогов и генерации ответов; архитектура использует 35 млрд параметров, около 3 млрд из которых активны на токен. Контекст составляет 262 144 токена, поддержка изображений отсутствует. Эксперты квантизированы в MXFP4, остальные веса — в Q8_0, веса маршрутизатора хранятся в F32; файл GGUF занимает около 18,87 ГБ. Модель можно запускать через llama.cpp, например как сервер для диалогового приложения. Лицензия — Apache 2.0.

jedisct1/Qwen3.6-35B-A3B-q3-mlx — это конвертированная в формат MLX версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска локальных сценариев вывода с использованием библиотеки mlx-lm, включая диалоговое взаимодействие через chat template. Модель доступна для использования на платформах и в средах, поддерживающих MLX. В README указано обозначение 35B-A3B, однако подробности об архитектуре, количестве активируемых параметров, модальностях, поддерживаемых языках и размере контекста не приведены. Для загрузки и генерации требуется mlx-lm версии 0.31.2 или совместимая версия; предусмотрена работа с токенизатором и шаблоном чата, если он задан. Сильной стороной модели является адаптация к экосистеме MLX, что упрощает её локальный запуск в соответствующих средах. Ограничения и требования к аппаратному обеспечению, а также результаты тестирования производительности в README не указаны. Лицензия — Apache-2.0.

Qwen3.8-27B-MTPLX-bf16 — конвертированная в формат MLX версия плотной мультимодальной модели Qwen3.8-27B, подготовленная автором johninthepool для компьютеров Apple Silicon. Это полноточная сборка bf16 без квантизации: сохранена голова multi-token prediction (MTP), необходимая для спекулятивного декодирования через mtplx. Модель рассчитана на диалоговую генерацию текста; базовая модель также поддерживает анализ изображений и видео, программирование и многошаговые задачи. Сборка предназначена для запуска на Mac с чипом Apple M-серии. Для весов объёмом около 55 ГБ автор рекомендует не менее 64 ГБ объединённой памяти; для работы с нативным путём MTP требуется mtplx. Полноточная версия сохраняет точность исходных весов, но требует больше памяти, чем варианты с квантизацией. Лицензия — Apache-2.0.

summerMC/Qwen3.8-27B-SpeedX27-VL-GDN64-GGUF — квантованная версия модели summerMC/Qwen3.8-27B-SpeedX27-VL-GDN64 в формате GGUF. Модель основана на архитектуре Qwen3.8 с идентификатором qwen35 и содержит около 27 млрд параметров. В README не указаны имя или организация разработчика, однако репозиторий модели связан с пользователем summerMC. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. Указана поддержка модифицированной архитектуры Qwen с компонентами GDN и recurrent; для работы рекомендуется свежая версия llama.cpp. Максимальная длина контекста составляет 262 144 токена, но фактически доступный размер зависит от объёма RAM и VRAM. О модальностях и поддерживаемых языках дополнительных сведений нет. Предоставлена квантизация Q4_K_M, которая призвана обеспечить практический баланс между качеством, потреблением памяти и скоростью инференса. Формат GGUF удобен для локального развертывания, однако старые сборки llama.cpp могут не распознать архитектуру. К основным ограничениям относятся возможные требования к значительному объёму памяти и потенциальное снижение качества по сравнению с более точными версиями из-за квантизации. Лицензия — Apache-2.0; дополнительные условия использования следует уточнять в репозитории исходной модели.

igorvibes/Qwen3.8-27B-UD-Q4_K_XL-AWQ-MTP-mlx — это квантованная версия базовой модели Qwen/Qwen3.8-27B, подготовленная для запуска через MLX на компьютерах Apple Silicon. Модель предназначена для генерации текста и локального инференса, включая сценарии, где важны уменьшенный размер файлов и возможность использования Apple GPU. Архитектура относится к семейству Qwen 3.5; указаны 27,78 млрд параметров, 64 слоя, скрытый размер 5120 и промежуточный размер 17408. Из 64 слоёв 48 используют GatedDeltaNet; остальные относятся к стандартным механизмам внимания, однако полное описание архитектуры в README отсутствует. Модель использует смешанную affine-квантизацию MLX с базовым классом 4-bit и размером группы 64, но её фактическая средняя точность составляет 6,02 бита на вес. Размер на диске — 20,89 ГБ без учёта дополнительной памяти под KV-cache. Применено AWQ activation-aware pre-scaling с calibration imatrix, а 15 тензоров MTP сохранены внутри основных shards в формате BF16 без квантизации. MTP-компонент предназначен для multi-token prediction, но отдельной директории или sidecar-файла drafter нет. К сильным сторонам относятся сохранение более высокой точности для чувствительных компонентов за счёт смешанной разрядности, AWQ-калибровка и адаптация к MLX. Ограничения включают значительный объём оперативной памяти, необходимость учитывать запас под KV-cache и несовместимость формата с vLLM и autoawq: это стандартный формат affine-квантизации MLX, а не AutoAWQ или GPTQ. Языки, длина контекста и лицензия в предоставленном README не указаны.

Qwen3.8 27B Uncensored — GGUF — это набор общественно подготовленных квантованных версий языковой модели Qwen3.8 с примерно 27 млрд параметров. Репозиторий предназначен для запуска через llama.cpp и другие совместимые с GGUF движки; конкретный разработчик исходной модели в README не указан, указано лишь семейство Qwen и формат community GGUF quantizations. Модель предназначена для локальной генерации текста, диалоговых сценариев, экспериментов с инференсом и сравнения компромиссов между качеством, скоростью и потреблением памяти. Доступны варианты от исходной точности F16 размером около 52 ГБ до Q2_K размером около 11 ГБ. Рекомендуемым универсальным вариантом назван Q4_K_M размером примерно 16 ГиБ; более высокие уровни квантования обычно требуют больше памяти, а варианты Q3 и Q2 рассчитаны на ограниченные ресурсы. Ключевое преимущество набора — широкий выбор форматов квантования, полученных непосредственно из исходной F16-версии, что позволяет подбирать конфигурацию под оборудование и рабочую нагрузку. Ограничения включают потери качества, неизбежные при квантовании, причём они становятся заметнее на низких разрядностях. Результаты также зависят от контекста, промптов, параметров сэмплирования, оборудования и движка инференса; авторитетные сравнительные бенчмарки на момент описания отсутствуют. В README указана лицензия Apache-2.0, при этом условия исходной модели, включая требования к использованию и атрибуции, сохраняются.

gubernac/qwen3.8-27b-unc-fp8 — модифицированная и квантованная версия Qwen/Qwen3.8-27B. Базовая модель разработана командой Qwen компании Alibaba, а данный вариант подготовлен как сборка OrcaRouter. Из модели удалено направление отказа от ответа методом abliteration, после чего она офлайн квантована в Block-FP8 по схеме официальной Qwen3.8-27B-FP8. Это плотная мультимодальная vision-language модель для работы с текстом и изображениями, рассуждений, вызова инструментов, function calling и исследовательского red-teaming. Архитектура Qwen3_5ForConditionalGeneration включает 64 слоя, скрытое представление размером 5120, гибридное внимание Gated DeltaNet и full attention, vision-language tower и MTP-голову для speculative decoding. Модель содержит 27 млрд параметров, поддерживает английский и китайский языки и контекст до 262 144 токенов. Линейные веса хранятся в Block-FP8 E4M3 с размером блока 128×128 и динамическими активациями, а vision tower, нормы, embeddings и lm_head сохранены в BF16. Главное преимущество сборки — сохранение мультимодальности, большого контекста, рассуждений, инструментов и MTP при совместимости с соответствующим vLLM-путём исполнения. Ключевое ограничение и риск — существенное удаление защитного выравнивания: модель может выполнять вредоносные, незаконные и иные опасные запросы, от которых базовая версия отказалась бы. Поэтому она предназначена для легитимных исследований интерпретируемости, AI safety, изучения механизмов отказа, оценки устойчивости и контролируемых экспериментов, а не для непосредственного использования конечными пользователями без собственных механизмов модерации и защиты. Условия распространения указаны как Apache 2.0; также необходимо соблюдать применимые законы и ограничения базовой модели.

keXjos/Qwen3.8-9B-mlx-4Bit — языковая модель для генерации текста, преобразованная в формат MLX из базовой модели empero-ai/Qwen3.8-9B с использованием mlx-lm 0.31.2. Разработчик конвертации — keXjos; исходную модель разработала команда empero-ai. Модель предназначена для запуска и генерации текста через библиотеку mlx-lm, включая диалоговые сценарии при наличии совместимого chat template. Модель имеет размер 9B параметров и 4-битное представление, ориентированное на эффективное выполнение в MLX. В карточке заявлены поддержка английского языка, reasoning, function-calling и обучение методом SFT, однако подробности архитектуры, длины контекста, фактической поддержки модальностей и количественные показатели качества не указаны. MLX-формат и 4-битная квантизация могут быть сильными сторонами для локального запуска на совместимом оборудовании, но могут ограничивать точность по сравнению с полноразмерными вариантами. Модель распространяется по лицензии Apache-2.0.

agentionai/Qwen3.8-Flash-Next-AP-GGUF — набор квантизированных GGUF-вариантов базовой модели Qwen/Qwen3.8-Flash-Next, подготовленный AgentionAI. Модель предназначена для генерации текста и запуска через совместимые с mainline llama.cpp инструменты, включая локальный инференс при ограниченном объёме видеопамяти. Для работы с изображениями доступен отдельный vision projector mmproj-F16.gguf. Доступны варианты AP-Q5_K_XL, AP-Q5_K_M, AP-Q4_K_XL, AP-Q4_K_M, AP-IQ4_XS, AP-IQ3_XXS и AP-IQ2_S с эффективной разрядностью примерно от 3,69 до 5,46 бит на вес. Объём требуемой VRAM составляет около 49,21–76,75 GiB в зависимости от варианта. Архитектура включает таблицу n-грамм размером 51,2 млрд параметров, которую можно выгружать в системную RAM; это снижает требования к VRAM, но требует дополнительной оперативной памяти. Для сбалансированного качества и размера рекомендуется AP-Q4_K_XL, а AP-IQ2_S предназначен для систем с минимальным доступным объёмом VRAM. К сильным сторонам относятся оптимизация точности на каждый гигабайт VRAM, измеренные различия между вариантами на отложенном корпусе и совместимость со стандартными типами GGUF без отдельного форка llama.cpp. Ограничения включают высокие аппаратные требования, зависимость качества от выбранного уровня квантизации и отсутствие в README сведений о языках и максимальном контексте. Лицензия указана как qwen-community-1.0; модель распространяется по лицензии other, а файл условий доступен в репозитории.

Sawfwair/Qwen3.8-Flash-Next-MLX-Mixed-2bit — воспроизводимая конверсия модели Qwen/Qwen3.8-Flash-Next в формат MLX, предназначенная для локального запуска на Apple Silicon Mac. Разработчик — Sawfwair, исходная модель создана Qwen. Распространяемая версия рассчитана на профиль Mac с 128 ГБ unified memory и использует смешанное квантование для снижения требований к памяти. Модель имеет архитектуру с маршрутизацией экспертов и мультимодальной поддержкой upstream-версии, включая обработку текста и изображений. Общий объём — около 180B параметров: 125B в основной модели, 51B в n-gram embedding и 4B в MTP-компоненте. 48 банков routed experts используют MLX affine Q2 с group-128, часть матриц — Q4, а embeddings, QSA indexers, routers, vision и MTP fusion heads сохранены в BF16. Нативный контекст составляет 262 144 токена, однако в mere.run v0.45.0 доступный бюджет ограничен 2 048 токенами на prompt и output вместе, а ввод изображений ещё не квалифицирован. Основные сценарии — локальная генерация текста, чат и развёртывание локального OpenAI-compatible API; встроенный MTP head может ускорять декодирование за счёт speculative decoding с проверкой целевой моделью. Для работы требуются Apple Silicon, macOS 15 или новее, около 68,08 GiB для checkpoint и совместимый Qwen4Exp-aware MLX runtime, например mere.run v0.45.0 или новее. Модель распространяется по Qwen Community License 1.0, которая включает требования к атрибуции и отображению для очень крупных коммерческих продуктов, а также отдельные лицензионные условия для некоторых коммерческих Model-as-a-Service и AI Work Assistant-сценариев.

Это GGUF-квантизированная версия языковой модели Qwen3-235B-A22B-Thinking-2507, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и сценариев, требующих рассуждений; запуск возможен через llama.cpp, LM Studio и другие совместимые проекты. Архитектура и точные характеристики исходной модели, включая число активных параметров, контекст, поддерживаемые языки и модальности, в представленном README не описаны. Указано обозначение 235B-A22B, а также наличие множества вариантов квантования от Q8_0 до Q2_K и IQ-квантов. Размер файлов составляет примерно от 83,33 до 249,94 ГБ. Более качественные варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые, тогда как низкобитные варианты экономят память, но снижают качество. Основные преимущества модели — доступность высококачественных квантований и возможность локального запуска на совместимом оборудовании. Ограничения связаны с очень большим размером файлов и зависимостью качества от выбранного типа квантования. Лицензия в README не указана.

QwQ-32B-MLX-4bit — это 4-битная MLX-квантизация модели рассуждений QwQ-32B, разработанной командой Qwen. Квантизацию подготовил bartowski на основе инструментов mlx-examples; модель предназначена для запуска на компьютерах Mac с Apple Silicon, в том числе через LM Studio. Модель относится к задачам генерации текста и ориентирована на сценарии, требующие пошагового рассуждения и решения сложных задач. Поддерживается контекст длиной до 128 000 токенов. В README не указаны точные сведения о поддерживаемых языках, модальностях и внутренней архитектуре, кроме принадлежности к линейке QwQ и размера исходной модели 32B. Ключевое преимущество этой версии — уменьшенный объём представления благодаря 4-битной квантизации, что делает запуск крупной модели более доступным на совместимых устройствах Apple Silicon. При этом квантизация может влиять на точность и качество по сравнению с исходной моделью. Модель может генерировать неточные, вредные или неподходящие ответы. Лицензия в README не указана, поэтому условия использования необходимо уточнять в документации исходной модели QwQ-32B и у правообладателя.

Rombos-LLM-70b-Llama-3.3-GGUF — это набор квантизированных GGUF-версий языковой модели Rombos-LLM-70b-Llama-3.3, разработанной rombodawg. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации и обработки текста, а также локального запуска через совместимые инструменты, включая LM Studio и llama.cpp. Модель основана на архитектуре Llama 3.3 с заявленным размером 70 млрд параметров и поддерживает только текстовую модальность. В репозитории доступны варианты квантизации от Q8_0 до Q2 и IQ-форматов, включая рекомендуемые Q6_K, Q5_K и Q4_K. Размер файлов составляет примерно от 24 до 75 ГБ, поэтому для запуска требуются значительные ресурсы оперативной или видеопамяти. Формат GGUF удобен для локального инференса на CPU и GPU, а отдельные варианты поддерживают особенности ARM и AVX. Сильной стороной являются различные уровни квантизации, позволяющие выбирать баланс между качеством, размером и требованиями к памяти; версии с более высокой точностью обеспечивают качество, близкое к исходной модели. Ограничения связаны с потерями качества при низкой битности, большими требованиями к памяти и отсутствием в README сведений о языках, размере контекста, результатах тестирования и специализированных сценариях применения. Указанная лицензия — llama3.3.

BSC-LT/salamandra7b_rag_prompt_ca-en-es — разговорная языковая модель семейства Llama, представленная в формате Transformers с весами safetensors. Она содержит 6,7 млрд параметров и рассчитана на контекст до 8192 токенов. Карточка сообщает, что для диалогового использования следует применять встроенный шаблон чата токенизатора. Модель подходит для генерации текста в диалоге и задач с кодом. В названии указаны каталонский, английский и испанский языки; метаданные также отмечают многоязычную поддержку, включая русский. README не описывает специальную методику RAG или сравнительные результаты качества. Условия лицензии в доступных данных не приведены.

SauerkrautLM Mixtral 8X7B — это языковая модель для генерации текста в формате GGUF, созданная VAGO solutions и квантизированная TheBloke. Модель основана на VAGOsolutions/SauerkrautLM-Mixtral-8x7B, дообучалась с использованием наборов данных Open-Orca/SlimOrca и argilla/distilabel-math-preference-dpo. Она предназначена для диалогов, ответов на запросы и других задач генерации текста, включая локальный запуск на CPU и GPU. Модель использует архитектуру Mixtral и доступна в вариантах GGUF с квантизацией на 2, 3, 4, 5, 6 и 8 бит. README не указывает точное число параметров активной архитектуры или размер контекста. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для взаимодействия используется шаблон ChatML. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Сильными сторонами являются мультиязычность, возможность выбора степени квантизации и локального запуска, а также поддержка CPU и GPU-инструментов. Квантизация позволяет снизить требования к памяти, однако может уменьшать точность по сравнению с исходной моделью, особенно при более низкой разрядности. Модель предназначена только для текстовой модальности; сведения о специализированных ограничениях качества и безопасности в README не приведены. Лицензия — Apache-2.0.

SmallThinker-4BA0.6B-Instruct — языковая модель с открытыми весами, разработанная IPADS и Школой искусственного интеллекта Шанхайского университета Цзяо Тун совместно с Zenergize AI. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами и генерации ответов в диалоговом формате. Это плотная по типу каталожной архитектуры модель семейства SmallThinker с архитектурой Mixture-of-Experts: всего 4 млрд параметров, из которых активируются 0,6 млрд; в метаданных указано 1,3 млрд параметров. Модель принимает текст, поддерживает контекст до 32 768 токенов и обучена преимущественно на английском языке. Разработчики сообщают о механизмах разреженной маршрутизации и внимания, рассчитанных на снижение вычислительных затрат, памяти и задержек при локальном инференсе. Модель подходит для диалоговых помощников, ответов на вопросы, рассуждений и генерации кода; в README приведены результаты тестов по математике, знаниям и программированию. Показатели тестов не гарантируют точность в практических сценариях. Ответы могут содержать ошибки, предвзятость или устаревшие сведения, поэтому их следует проверять. Лицензия — Apache-2.0.

Speechless-Llama2-Hermes-Orca-Platypus-WizardLM-13B-GGUF — это квантизированная языковая модель в формате GGUF, созданная на основе модели Speechless Llama2 Hermes Orca-Platypus WizardLM 13B. Исходную модель разработал Jiangwen Su, а квантизацию и публикацию GGUF-файлов выполнил TheBloke. Модель относится к семейству Llama и предназначена для генерации текста и выполнения инструкций на естественном языке. Модель рассчитана на англоязычные сценарии: диалоговые приложения, ответы на инструкции, локальный запуск и другие задачи текстовой генерации. Указан размер 13B параметров, однако сведения о длине контекста и поддерживаемых модальностях отсутствуют; по имеющимся данным, модель работает только с текстом. Для взаимодействия используется шаблон Alpaca с секциями Instruction и Response. Главное преимущество этой версии — формат GGUF с вариантами квантизации от 2 до 8 бит, что позволяет запускать модель через llama.cpp и совместимые интерфейсы на CPU и GPU, снижая требования к памяти. При этом квантизация может уменьшать точность по сравнению с исходной версией FP16, а качество зависит от выбранного варианта. Модель распространяется по лицензии Llama 2; перед использованием следует учитывать условия этой лицензии и ограничения исходной модели.

chain03/SRole_3181 — объединённая модель для генерации текста и диалогового общения. Она создана методом линейного слияния mergekit из двух предварительно обученных языковых моделей: /root/top1 и /root/top2. Модель использует плотную архитектуру семейства Llama с классом LlamaForCausalLM и содержит 7,5 млрд параметров. Модель рассчитана на генерацию текста и ответы в формате чата. Заявленная длина контекста — 131 072 токена. Веса доступны в формате safetensors; в конфигурации слияния указан тип данных bfloat16. Лицензия в предоставленных сведениях не указана.

StrangeMerges_39-7B-dare_ties — объединённая модель Gille, созданная с помощью LazyMergekit на основе Gille/StrangeMerges_33-7B-slerp, Gille/StrangeMerges_17-7B-dare_ties и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогов. Поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Модель подходит для генерации ответов в чате, продолжения текста и выполнения текстовых инструкций. Данные не описывают отдельную специализацию по языкам или прикладным областям, поэтому языки и домены не уточняются. Лицензия в предоставленных сведениях не указана.

THUDM_GLM-4-9B-0414-GGUF — это квантизированная версия языковой модели GLM-4-9B-0414, разработанной командой THUDM. Конвертацию и квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит около 9 млрд параметров, поддерживает китайский и английский языки и распространяется в формате GGUF. Доступны варианты от bf16 до низкобитных Q2–Q8-квантизаций с размером файлов примерно от 4,2 до 18,8 ГБ. Более качественные варианты Q5–Q8 обеспечивают близкое к исходной модели качество, тогда как Q3 и Q2 экономят память, но снижают качество. В README размер контекстного окна, архитектура и поддерживаемые модальности не указаны; по приведённому формату и назначению это текстовая авторегрессионная модель. Сильной стороной являются разнообразие вариантов квантизации и возможность запуска на локальном оборудовании с ограниченными ресурсами. Ограничения включают компромисс между размером, потреблением памяти и качеством, а также отсутствие данных о результатах оценки и контекстном окне. Для работы требуется совместимый llama.cpp-стек и соответствующий формат prompt: [gMASK]<sop><|system|>, <|user|>, <|assistant|>. Модель распространяется по лицензии MIT.

Tralalabs_Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Tralalabs/Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-FP16. Исходная модель связана с семейством Qwen3 и обучена с использованием набора данных TeichAI/claude-haiku-4.5-1700x; квантизацию выполнил bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель содержит около 4 миллиардов параметров, поддерживает текстовый ввод и вывод, а в метаданных указан английский язык. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и Q4-квантизаций; размеры файлов составляют примерно от 2,36 до 8,05 ГБ. В README приведён формат шаблона чата на основе специальных токенов Qwen. Контекстное окно, точный набор поддерживаемых языков и результаты сравнительных оценок не указаны. Основное преимущество модели — выбор вариантов квантизации, позволяющий адаптировать качество и требования к памяти, причём Q6_K и Q6_K_L отмечены как варианты очень высокого качества, а Q4_K_M — как типичный вариант для большинства сценариев. Более сильное сжатие уменьшает потребление памяти, но может снижать качество генерации. Для запуска требуется совместимое программное обеспечение с поддержкой данной архитектуры; для новых моделей иногда необходимо обновление используемого инструмента. Лицензия — Apache-2.0.