I.11Классификация, ранжирование и сопоставление

kosbu/Llama-3.3-70B-Instruct-AWQ — это 4-битная версия модели Meta AI Llama-3.3-70B-Instruct, подготовленная с использованием квантования AWQ. Модель предназначена для генерации текста и диалоговых сценариев на основе инструкций и интегрируется с библиотекой Transformers. Заявлена поддержка английского, французского, итальянского, португальского, хинди, испанского, тайского и немецкого языков. Размер исходной модели составляет 70 миллиардов параметров; README не уточняет архитектурные детали, размер контекста, поддерживаемые модальности и конкретные требования к оборудованию. Квантование до 4 бит может снизить требования к памяти и упростить развёртывание по сравнению с полной версией, однако README не содержит данных о точности, производительности или известных ограничениях. Модель распространяется по лицензии llama3.3. README не указывает дополнительные условия использования, результаты тестирования или сравнительные преимущества квантованной версии.

MaziyarPanahi/Llama-3-8B-Instruct-v0.9-GGUF — это набор файлов модели в формате GGUF, подготовленный разработчиком MaziyarPanahi на основе модели MaziyarPanahi/Llama-3-8B-Instruct-v0.9. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Известно, что модель относится к семейству Llama 3 и имеет размер 8B параметров. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать между меньшими требованиями к памяти и потенциальным сохранением качества. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами. Сведения о языках, размере контекста, точной архитектуре и результатах оценки в README не указаны. Основные преимущества — локальное использование, широкий выбор уровней квантования и совместимость с различными клиентами, включая GPU-ускорение и OpenAI-совместимые серверные интерфейсы в отдельных инструментах. Ограничения и условия лицензии в README не описаны; перед использованием необходимо проверить лицензию исходной модели и соответствующие условия распространения.

Llama-3-8B-NExtLong-128K-Base — базовая языковая модель семейства Llama, опубликованная авторами проекта NExtLong. Это плотная авторегрессионная модель примерно на 7,5 млрд параметров с окном контекста до 131 072 токенов; веса доступны в формате safetensors. Модель обучена на синтетических длинных контекстах, созданных методом NExtLong: в документ добавляются подобранные отвлекающие фрагменты, чтобы усилить работу с дальними зависимостями. Модель предназначена для генерации текста и задач, требующих анализа длинного контекста: поиска сведений в контексте, ответов на вопросы по длинным документам, работы с RAG и контекстом в несколько сотен страниц. В README приведены результаты на HELMET и RULER. Это базовая модель, а не instruct-вариант, поэтому для диалогового применения может потребоваться дополнительная настройка. Языковая поддержка и лицензия в предоставленных источниках не описаны.

catrinbaze/llama-refueled-merge — объединённая инструктивная языковая модель, созданная с помощью mergekit из NousResearch/Meta-Llama-3-8B-Instruct и refuelai/Llama-3-Refueled. Для объединения использован метод SLERP; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, формат весов — safetensors. Модель предназначена для диалогов и генерации текста по инструкциям; заявленная длина контекста составляет 8192 токена. Модель подойдёт для создания чат-ботов, ответов на вопросы и генерации текста. В метаданных базовая модель описана как англоязычная. Условия лицензирования в предоставленных сведениях не приведены.

Undi95/Lumimaid-Magnum-v4-12B — объединённая разговорная модель на архитектуре Mistral, созданная автором Undi95 с помощью mergekit. В объединение вошли Lumimaid, Magnum v4, LocalC и Mistral Nemo Instruct; также автор добавил дообученную на входах Claude версию Nemo. Модель содержит 12,1 млрд параметров, использует формат safetensors и рассчитана на контекст до 131 072 токенов. Для prompt используется шаблон Mistral [INST]…[/INST]. Модель предназначена для диалога и генерации текста по инструкциям, в том числе для продолжительных бесед и сценариев с вызовом инструментов. В README не описаны отдельные специализированные области применения или подробные оценки качества. Лицензия в предоставленных данных не указана.

Lumimaid-Magnum-v4-12B-GGUF — это набор квантизированных файлов модели для генерации текста, подготовленный bartowski на основе Undi95/Lumimaid-Magnum-v4-12B. Модель создана в формате GGUF для запуска через llama.cpp и совместимых приложений, включая LM Studio. В README указано, что исходная модель является результатом объединения моделей, однако подробности её архитектуры, языков и контекстного окна не приведены. Доступны варианты от F16 до низкобитных Q2- и IQ-квантизаций размером примерно от 4,79 до 24,50 ГБ. Варианты Q6_K и Q6_K_L обеспечивают очень высокое качество, а Q4_K_M указан как типичный вариант по умолчанию с хорошим балансом качества и размера. Более компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать по качеству. Для взаимодействия рекомендуется формат промпта <s>[INST]{prompt}[/INST]. Квантизация выполнена с использованием imatrix и llama.cpp release b4381. Лицензия в предоставленных данных не указана.

Matter-0.1-Slim-7B-A — языковая модель на архитектуре Mistral 7B, созданная 0-hero путём полного дообучения на версии slim-A датасета Matter объёмом около 285 тысяч примеров. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговых сценариев и генерации текста в формате ChatML; также заявлена поддержка вызова функций. Обучение проводилось в течение трёх эпох с помощью Axolotl на четырёх GPU A100. В карточке указана лицензия Apache-2.0.

MeliodasPercival_01_NeuralsirkrishnaM7 — объединённая модель на базе двух моделей Mistral: automerger/MeliodasPercival_01-7B и automerger/NeuralsirkrishnaM7-7B. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и принимает контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Она принимает текстовые запросы и выдаёт текст; поддерживаемый язык в предоставленных данных не указан. Файлы весов опубликованы в формате safetensors. Лицензия — Apache-2.0.

Menlo_Jan-nano-128k-GGUF — это набор квантизованных версий языковой модели Jan-nano-128k, разработанной Menlo и подготовленной пользователем bartowski в формате GGUF с помощью llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Указана поддержка английского языка и контекст длиной до 128 тысяч токенов, однако сведения об архитектуре, количестве параметров, дополнительных модальностях и точных сценариях применения в README отсутствуют. Доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантований размером примерно от 1,67 до 8,05 ГБ. Более высокие разрядности обеспечивают лучшее сохранение качества, а низкие уменьшают требования к памяти; для большинства случаев автор рекомендует варианты Q4_K_M, Q5 и Q6. Сильные стороны сборки — большой контекст, широкий выбор компромиссов между качеством и размером, а также совместимость с распространёнными инструментами локального вывода. Ограничения связаны с потерями качества при низких уровнях квантования и отсутствием в представленном README данных о результатах тестирования, производительности и требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-mlx-4Bit — 4-битная модель для генерации текста, созданная конвертацией базовой модели openbmb/MiniCPM5-2B в формат MLX с использованием mlx-lm 0.31.2. Модель предназначена для запуска через библиотеку mlx-lm, включая локальное и периферийное использование на совместимых устройствах Apple и сценарии edge AI. В карточке заявлена поддержка английского и китайского языков, а также сценариев длинного контекста и вызова инструментов. Модель относится к семейству MiniCPM и имеет размер 2B параметров; точные архитектурные характеристики и максимальная длина контекста в README не указаны. 4-битное представление снижает требования к памяти и делает модель более подходящей для локального запуска, но может ограничивать качество по сравнению с полноразмерной версией, а возможности зависят от реализации MLX и совместимого оборудования. Модель распространяется по лицензии Apache-2.0.

MiniCPM-o-2_6-GGUF — квантованная в формате GGUF версия мультимодальной модели MiniCPM-o-2_6, разработанной командой OpenBMB. Квантизацию выполнил bartowski на основе llama.cpp версии b4585. Модель предназначена для мультимодального взаимодействия, включая анализ изображений, оптическое распознавание текста, работу с несколькими изображениями и видео, а также задачи, связанные с речью и аудио: распознавание речи, синтез речи, клонирование голоса и потоковые голосовые диалоги в реальном времени. Модель поддерживает изображения с произвольным соотношением сторон объёмом до 1,8 млн пикселей, например 1344×1344. Она заявлена как end-to-end omni-модальная и мультиязычная; README также указывает поддержку vision, audio и speech, но не перечисляет конкретные языки, размер модели, точную архитектуру или максимальную длину текстового контекста. Формат GGUF и совместимость с llama.cpp делают модель ориентированной на локальный запуск, включая сценарии на мобильных устройствах, однако требования к памяти и производительность зависят от варианта квантизации и оборудования. Сильными сторонами являются сочетание обработки изображений, видео, аудио и речи, поддержка потокового мультимодального взаимодействия и работа с изображениями высокого разрешения. Возможные ограничения — зависимость качества и скорости от квантизации и локальной инфраструктуры, а также риск неточных или неподходящих ответов, характерный для мультимодальных моделей. В README не указана лицензия модели, поэтому условия её использования следует уточнять в документации оригинальной модели MiniCPM-o-2_6 и соответствующего GGUF-файла.

Mini-Monkey — компактная мультимодальная языковая модель, разработанная Mingxin Huang, Yuliang Liu, Dingkang Liang, Lianwen Jin и Xiang Bai. Она основана на архитектуре InternVL Chat и предназначена для диалога с пользователем по изображениям и понимания визуальных данных. Модель применяет стратегию адаптивного многомасштабного кадрирования MSAC, чтобы получать представления объектов на разных масштабах, и механизм сжатия SCM, уменьшающий число визуальных токенов. Авторы сообщают о сильных результатах на общих задачах понимания изображений и задачах работы с документами, включая OCR, диаграммы и визуальные вопросы и ответы. В README заявлены результаты на уровне моделей с большим числом параметров, однако количественный размер именно этой модели в предоставленных метаданных и тексте карточки не указан. Модель принимает изображения и текстовые запросы и генерирует текстовые ответы. Она рассчитана на визуальные вопросы и ответы, распознавание текста и извлечение сведений из документов, диаграмм и графиков. Репозиторий распространяет веса в формате safetensors; лицензия — MIT.

Mini_synatra_7b_03-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, созданная слиянием SLERP модели Mistral-7B-Instruct-v0.1 и Minirecord/Mini_synatra_7b_03. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на диалоговые запросы. В метаданных указан контекст длиной до 32 768 токенов. Модель подходит для интерактивного чата и генерации ответов по текстовым инструкциям. Репозиторий содержит веса в формате safetensors. Язык модели отдельно не указан. Лицензия — Apache-2.0.

Mistral-7B-Instruct-demi-merge-v0.2-7B — плотная языковая модель на архитектуре Mistral, созданная разработчиком grimjim с помощью mergekit. Это слияние методом SLERP предварительно обученной alpindale/Mistral-7B-v0.2-hf и инструкционной mistralai/Mistral-7B-Instruct-v0.2; модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговые ответы по инструкциям. Модель предназначена для чат-ботов, продолжения текста и экспериментов с дальнейшим слиянием или дообучением. Заявлена работа с контекстом до 32 768 токенов без скользящего окна. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

unsloth/mistral-7b-instruct-v0.3-bnb-4bit — 4-битная квантованная версия Mistral-7B-Instruct-v0.3, опубликованная в экосистеме Unsloth и предназначенная для использования через Transformers. Модель ориентирована на выполнение инструкций и диалоговые сценарии, включая conversational-формат ShareGPT, а также на генерацию и продолжение текста. Модель основана на Mistral-7B-Instruct-v0.3 и содержит около 7 миллиардов параметров; суффикс bnb-4bit указывает на 4-битное представление с использованием BitsAndBytes. В карточке указана поддержка английского языка и библиотеки Transformers. Снижение точности представления уменьшает требования к памяти и может облегчать локальный запуск и дообучение, однако README не содержит точных требований к оборудованию, значения контекстного окна, результатов тестирования или сведений о других модальностях. Модель подходит для чат-ботов, ассистентов, генерации текста и экспериментов с дообучением. Возможные ограничения связаны с английской языковой специализацией и компромиссом между экономией памяти и качеством, характерным для квантованных моделей. Лицензия — Apache-2.0.

mistral-7b_open_platypus-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.2 и mistral-7b_open_platypus методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Её можно применять для чат-ботов, черновиков текстов, ответов на вопросы и задач, использующих возможности исходной модели Open Platypus. Веса опубликованы в формате safetensors; README указывает тип данных bfloat16. Модель распространяется по лицензии Apache-2.0. Результаты и конкретные ограничения качества в карточке не описаны; как и другие генеративные языковые модели, она может выдавать фактически неверные ответы.

mistral-7b-v0.1-layla-v1-Mistral-7B-Instruct-v0.1 — чат-модель, полученная слиянием Mistral-7B-Instruct-v0.1 от Mistral AI и l3utterfly/mistral-7b-v0.1-layla-v1. Слияние выполнено методом SLERP с настройками для слоёв self-attention и MLP; в репозитории представлены веса safetensors в формате bfloat16. Модель с архитектурой MistralForCausalLM и 7,1 млрд параметров предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Заявленная длина контекста — 32 768 токенов; в метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Данных о сравнительных оценках качества и специальных ограничениях применения в карточке нет.

Mistral-7B-v0.3 — языковая модель семейства Mistral, разработанная Mistral AI. Это плотная авторегрессионная модель на 7,1 млрд параметров, основанная на Mistral-7B-v0.2 и отличающаяся расширенным до 32 768 токенов словарём. Модель принимает текст и генерирует текст; максимальный контекст составляет 32 768 токенов. Модель предназначена для генерации текста и может использоваться как базовая модель для текстовых приложений и последующего дообучения. В карточке приведены инструкции для запуска через mistral-inference и Transformers. Указанная лицензия — Apache-2.0. README содержит упоминание об отсутствии механизмов модерации; также его раздел об ограничениях относится к Mistral 7B Instruct, поэтому не позволяет сделать отдельные выводы о качестве или мерах безопасности базовой версии.

RedHatAI/Mixtral-8x7B-Instruct-v0.1 — разговорная instruct-модель, опубликованная Red Hat AI на основе Mistral AI Mixtral-8x7B-Instruct-v0.1. Она предназначена для диалога и генерации текста по запросам, например для ответов на вопросы и объяснения понятий. Модель использует архитектуру Mixtral с разреженной экспертной маршрутизацией (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст; в карточке заявлены английский, французский, итальянский, немецкий и испанский языки. README описывает развёртывание с vLLM, Red Hat Enterprise Linux AI и OpenShift AI. Модель распространяется по лицензии Apache-2.0. В README указано, что у неё нет встроенных механизмов модерации, поэтому сгенерированные ответы могут требовать отдельной фильтрации.

MRAI_synatra_7B_v1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.2 и MRAIRR/MRAI_synatra_7B_v1 методом SLERP. Она предназначена для генерации текста и выполнения инструкций в чате. Модель содержит 7,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. Слияние собрано в bfloat16 с помощью MergeKit; в качестве базовой модели указан mistralai/Mistral-7B-Instruct-v0.2. В карточке не описаны специализированные области применения или подтверждённый перечень языков. Модель распространяется по лицензии Apache-2.0.

RadixArk подготовила Muse-Glimmer-q4k-dynamic-MLX — текстовую версию Muse Glimmer для компьютеров Apple Silicon, упакованную в формат MLX. Это плотная модель семейства Muse Glimmer с 28 млрд параметров, 52 слоями и контекстом до 131 072 токенов. Репозиторий содержит веса в safetensors, разбитые на пять файлов; библиотека запуска — MLX, для сервинга автор рекомендует SGLang с MLX-бэкендом. Модель предназначена для генерации текста в диалогах и поддерживает интерфейс вызова инструментов. Квантование использует смешанную схему 4/5/6 бит с размером группы 32; веса сохраняют коды исходного динамического GGUF-квантования, а преобразование в MLX выполнено без повторного квантования. По приведённым автором тестам на одной системе результаты близки к запуску исходного GGUF через llama.cpp, однако эти оценки относятся к конкретным тестам и конфигурации. Для запуска автор указывает Mac с унифицированной памятью от 48 ГБ. Модель работает только с текстом: у MLX-бэкенда нет пути обработки изображений. Сведения о лицензии в предоставленной карточке отсутствуют.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-mxfp4 — языковая модель для генерации текста, разработанная NVIDIA и преобразованная сообществом mlx-community в формат MLX на основе модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16. Конвертация выполнена с использованием mlx-lm 0.31.3; применяется квантование MXFP4 с размером группы 32. Модель предназначена для запуска и генерации текста в экосистеме MLX, в том числе через библиотеку mlx-lm. Это гибридная Mixture-of-Experts-архитектура, объединяющая Mamba-2 и attention. Она содержит около 31 млрд параметров, из которых примерно 3 млрд активируются для каждого токена. В карточке заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков. Сильными сторонами являются разреженная активация параметров и оптимизированный для MLX формат, однако конкретные характеристики контекстного окна, результаты тестов, точность и ограничения квантования не указаны. Модель распространяется по лицензии OpenMDW 1.1.

duyntnet/OpenHermes-2.5-Mistral-7B-imatrix-GGUF — набор квантованных версий модели OpenHermes-2.5-Mistral-7B, разработанной Teknium. Модель предназначена для генерации текста и диалогового взаимодействия, включая программирование, создание рецептов, обсуждение абстрактных тем и ролевые сценарии. Идентификатор также указывает на формат GGUF и использование imatrix-квантизации. В основе лежит OpenHermes-2.5-Mistral-7B; размер базовой модели — 7 миллиардов параметров. Модель относится к текстовым, поддерживает английский язык и предназначена для text generation. README не содержит сведений о точной архитектуре, доступных вариантах квантования, размере контекста, системных требованиях или поддерживаемых модальностях помимо текста. Сильные стороны модели — универсальность в диалоговых и генеративных сценариях, а также наличие квантованных вариантов, потенциально удобных для локального запуска. Ограничения включают отсутствие подтверждённых данных о качестве, бенчмарках, многоязычности и фактических требованиях к ресурсам. Лицензия указана как other, без дополнительных условий использования в README.

prototype-128x03 — языковая модель, созданная разработчиком shamwowzer слиянием предварительно обученных моделей при помощи mergekit. В слиянии использованы /workspace/modeler/Behemoth и /workspace/mistral-text-only; последняя указана базовой моделью. Применён метод Multi-SLERP, итоговые веса сохранены в формате safetensors с точностью bfloat16. Модель относится к семейству Mistral, использует плотную архитектуру MistralForCausalLM и содержит 123,4 млрд параметров. Она предназначена для генерации текста и диалогового общения; максимальный контекст составляет 262 144 токена. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

recursal/RADRWKV7Qwen2.5-7B — модель генерации текста на 7,1 млрд параметров, полученная преобразованием Qwen2.5-7B с помощью метода RADLADS. Она использует линейное внимание и архитектуру RWKV7Qwen2 и предназначена для диалогов и генерации текста; также заявлен интерфейс вызова инструментов. По README, преобразование требует 350–700 млн токенов дистилляции, сохраняет качество, близкое к исходной модели, и ускоряет генерацию благодаря постоянным затратам на токен. Модель принимает текст, выдаёт текст и поддерживает контекст длиной 32 768 токенов. Репозиторий использует safetensors и библиотеку Transformers; для загрузки требуется trust_remote_code=True. Лицензия — Apache-2.0.

Qwen3-14B-MLX-4bit — это 4-битная версия языковой модели Qwen3-14B, разработанная Qwen и преобразованная сообществом lmstudio-community в формат MLX с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и запуска локальных сценариев на устройствах, совместимых с MLX, включая применение через библиотеку mlx-lm. Модель основана на Qwen/Qwen3-14B и содержит 14 миллиардов параметров. Она относится к моделям text-generation и поддерживает работу с текстовыми запросами; в README не указаны точные языки, длина контекста, дополнительные модальности или подробности архитектуры. При наличии chat template модель может использоваться в формате диалога с ролями пользователя и ассистента. Ключевые преимущества — компактное 4-битное представление, адаптация к экосистеме MLX и возможность локального запуска через стандартные инструменты mlx-lm. Ограничения связаны с потерями качества, возможными для квантизированной версии, а также с отсутствием в README подробных данных о производительности, поддерживаемых языках и требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0.

Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored-GGUF — специализированная текстовая модель, разработанная DavidAU на базе Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored. Она объединяет 12 дистиллированных экспертных моделей, включая модели закрытого и открытого исходного кода, в архитектуре Mixture of Experts. Версия является uncensored/abliterated: отдельные эксперты обработаны с использованием Heretic для удаления отказов и ограничений. Модель распространяется в формате GGUF по лицензии Apache-2.0. Модель предназначена для генерации текста, рассуждений, математики, программирования, ответов на вопросы и творческого письма, включая создание художественных историй, сцен, сюжетов, научной фантастики, романтики и контента для взрослой аудитории. Пользователь может указывать в запросе имена экспертов или их группы, например Gemini, Claude, GPT51, Kimi, GLM, AllAI, Closed-AI или Open-AI, чтобы управлять выбором активных компонентов. Заявлены контекст до 256 тысяч токенов и одновременная активация двух экспертов по умолчанию; всего доступно до 12 экспертов. Модель поддерживает запуск на CPU и частичную выгрузку с GPU. В README не указаны точный список языков, детальные параметры архитектуры и результаты стандартизированных тестов. Для приемлемой работы рекомендуются квантизации не ниже Q4_KS или IQ3_M, контекст от 4–8 тысяч токенов и температура около 0,7; увеличение числа активных экспертов снижает скорость генерации, а разные эксперты могут давать существенно различающиеся результаты.

Qwen3-4B-Instruct-2507-Hi-Fi-fraQtl — это квантизированная GGUF-версия Qwen/Qwen3-4B-Instruct-2507, подготовленная fraQtl и опубликованная в сообществе Qualcomm AI Hub. Модель предназначена для генерации текста и работы в сценариях локального запуска на CPU и GPU через llama.cpp; GGUF также совместим с GenieX без изменений. Поддержка выполнения на NPU/Hexagon в README не подтверждена. Модель содержит около 4 млрд параметров и поддерживает контекст до 262 144 токенов. Доступны варианты Hi-Fi Q4_K_M-класса размером 2,50 ГБ и Q4_0 размером 2,38 ГБ. Квантизация выполнена с учётом калибровки методом fraQtl code+math imatrix; заявлены более низкое расхождение с исходными весами по сравнению с рядом других сборок Q4_K_M и успешное извлечение контрольных данных на полном контексте. Архитектура, перечень языков и поддерживаемые модальности в README отдельно не указаны. Сильными сторонами являются компактный размер, возможность локального запуска, сохранение качества после квантизации и проверенная работа с длинным контекстом. Ограничения включают отсутствие подтверждённого ускорения на Hexagon NPU, а также отсутствие подробных данных о языковых возможностях и качестве на прикладных задачах. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Qwen3.5-122B-A10B-abliterix-NVFP4 — квантизированная версия базовой модели wangzhang/Qwen3.5-122B-A10B-abliterix, подготовленная пользователем bjk110. Это текстовая MoE-модель для генерации текста и инференса через vLLM на оборудовании NVIDIA Blackwell, включая DGX Spark GB10 с архитектурой SM121. Поведение Abliterix описывается как uncensored: заявлена частота отказов 0,5%, а KL-дивергенция относительно базовой Qwen3.5-122B-A10B составляет 0,0115. Модель содержит 122 млрд параметров при 10 млрд активных параметров и использует NVFP4-квантизацию W4A4 с группами по 16 элементов, симметричным групповым масштабированием и динамической квантизацией активаций. Формат compressed-tensors совместим с vLLM; 37 056 слоёв используют NVFP4, а 471 слой сохранён в BF16. Размер на диске составляет около 70,4 ГБ вместо примерно 230 ГБ для BF16-версии, что оставляет больше памяти для KV-кэша и позволяет запускать модель на двух узлах DGX Spark. В README указана конфигурация с tensor parallelism 2, FlashInfer-CUTLASS NVFP4 MoE backend и контекстом до 32 768 токенов. Сильные стороны модели — существенно сниженное потребление памяти, поддержка высокопроизводительного NVFP4-бэкенда на Blackwell и сохранение заявленного uncensored-поведения базовой Abliterix-модели. Ограничения включают зависимость от совместимого стека vLLM, аппаратуры NVIDIA Blackwell и распределённого запуска; в README не указаны точные языки, результаты стандартных бенчмарков и подробные характеристики контекстного окна базовой модели. Лицензия — Apache-2.0.

bleysg/Qwen3.5-122B-A10B-int4-fp8-hybrid — гибридный квантованный чекпойнт модели Qwen3.5-122B-A10B, созданный на основе весов Intel/Qwen3.5-122B-A10B-int4-AutoRound и официального Qwen/Qwen3.5-122B-A10B-FP8. Модель предназначена для генерации текста и оптимизирована для запуска на NVIDIA DGX Spark с GB10, SM121 и 128 ГБ унифицированной памяти через vLLM, прежде всего для эффективного декодирования с ограниченной пропускной способностью памяти и поддержки speculative decoding. Маршрутизируемые эксперты и attention представлены в формате INT4 GPTQ/AutoRound, а 144 слоя общих экспертов, постоянно используемых при обработке каждого токена, преобразованы из BF16 в FP8 E4M3 с размером блока 128. Embeddings, norms и выходная голова сохранены от INT4-базы. По данным README, такая компоновка повышает скорость базового декодирования без speculative decoding на GB10 с 28,2 до 36,0 токена в секунду, или примерно на 28%, однако преимущество уменьшается при высокой доле принятых спекулятивных токенов. Для работы требуется специализированный проект qwen3.5-122B-A10B-on-spark, профиль dense и патч vLLM 0.23 с поддержкой смешанной схемы INT4/FP8; стандартная версия vLLM не умеет корректно загружать этот чекпойнт. В README не указаны языки, длина контекста и поддерживаемые модальности, поэтому модель следует рассматривать как текстовую. Производная работа наследует условия лицензирования исходной Qwen3.5-122B-A10B и Intel AutoRound; конкретные условия определяются лицензиями upstream-моделей.