II.2Создание и понимание программного кода

Это GGUF-квантизация инструкционной языковой модели Llama-3.1-Nemotron-70B-Instruct-HF-abliterated. Исходную модель опубликовала huihui-ai, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix; в метаданных также указана связь с NVIDIA. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые с llama.cpp приложения. Модель содержит 70 миллиардов параметров, поддерживает текстовую модальность и, согласно метаданным, ориентирована на английский язык. README не указывает размер контекста и точную архитектуру, но приведён специальный prompt format на основе шаблона Llama 3.1 с ролями system, user и assistant. Доступны варианты квантизации от Q8_0 до IQ2_XS с размером файлов примерно от 75 до 24 ГБ; более высокие уровни обычно сохраняют лучшее качество, а низкие позволяют снизить требования к памяти. Сильной стороной являются широкий выбор форматов GGUF и возможность локального запуска при наличии значительного объёма RAM или VRAM. Ограничения включают большие требования к ресурсам, снижение качества на низких уровнях квантизации и отсутствие в README подробных результатов оценки. Модель не является мультимодальной, а поддержка других языков явно не заявлена. Указана лицензия llama3.1.

Llama-3.2-3B-ProdigyPlus — диалоговая языковая модель на базе архитектуры Llama, созданная bunnycore объединением нескольких моделей с помощью TIES и mergekit. В объединение вошли модели для научных рассуждений, длинных рассуждений, программирования, ролевого общения и следования инструкциям; в качестве основы README указывает huihui-ai/Llama-3.2-3B-Instruct-abliterated. Число параметров — 3,2 млрд, контекст — до 131 072 токенов; модель работает с текстом и распространяется в формате safetensors. Модель предназначена для диалогов по инструкциям, ролевых сценариев, творческого письма и помощи с базовыми задачами программирования. README также заявляет способности к научным и протяжённым рассуждениям через включённые компоненты с такими специализациями, но не приводит оценок качества. По метаданным поддерживается генерация текста и чат; отдельные языки не указаны. Лицензия в предоставленных данных не приведена.

Meta-Llama-3.1-8B-Instruct-HalfAbliterated-TIES — объединённая языковая модель на основе Meta Llama 3.1 8B, созданная автором репозитория с помощью mergekit и метода TIES. В слияние вошли Meta-Llama-3.1-8B-Instruct и её вариант abliterated от mlabonne; модель предназначена для генерации текста и диалоговых ответов. По данным метаданных, она содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и принимает контекст до 131 072 токенов. Модель подходит для ведения диалогов и генерации ответов на запросы. Слияние с abliterated-вариантом ослабляет ограничения на ответы, поэтому модель может отвечать на запросы, которые другие модели отклоняют; это не гарантирует точность или безопасность таких ответов. Поддерживается через библиотеку Transformers, веса опубликованы в формате safetensors. Лицензия — Llama 3.1 Community License.

MiniCPM5-1B-SFT-i1-GGUF — набор GGUF-квантизированных версий модели MiniCPM5-1B-SFT, разработанной командой OpenBMB и опубликованной как openbmb/MiniCPM5-1B-SFT. Квантизацию выполнил mradermacher. Модель предназначена для генерации текста, задач с длинным контекстом, вызова инструментов и локального применения на устройствах с ограниченными ресурсами, включая edge-сценарии. Базовая модель имеет размер 1 млрд параметров; в карточке указаны поддерживаемые языки English и Chinese, а также библиотека Transformers. Доступны варианты с разными уровнями квантизации GGUF — от очень компактных IQ1 и Q2 до Q6_K, примерно от 0,5 до 1,0 ГБ. Варианты различаются по размеру, скорости и качеству; для баланса этих характеристик рекомендованы i1-Q4_K_S и i1-Q4_K_M, тогда как наиболее низкие уровни квантизации могут заметно снижать качество. Точная длина контекста и сведения о дополнительных модальностях в README не указаны. Модель удобна для быстрого локального запуска и использования на маломощном оборудовании, однако качество зависит от выбранной квантизации, а низкоразмерные варианты могут быть менее точными. Для использования требуются совместимые инструменты для работы с файлами GGUF. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-heretic-i1-GGUF — это GGUF-квантизированная версия языковой модели MiniCPM5-2B-heretic, опубликованная и квантизированная пользователем mradermacher. Базовая модель указана как Dingdust/MiniCPM5-2B-heretic; исходная разработка связана с экосистемой MiniCPM. Модель предназначена для генерации текста, работы с длинным контекстом, вызова инструментов и локального запуска на устройствах с ограниченными ресурсами. Заявлены английский и китайский языки. Модель относится к классу компактных text-generation-моделей с примерно 2 млрд параметров и представлена в формате GGUF. Доступны варианты квантизации от очень компактных IQ1/IQ2 до IQ4, Q5 и Q6, размером примерно от 0,8 до 2,2 ГБ; варианты различаются балансом между требованиями к памяти, скоростью и качеством. Для части вариантов указана imatrix-квантизация, а Q4_K_M отмечена как быстрая и рекомендуемая. Компактность делает модель подходящей для локального и периферийного развёртывания, однако сильное сжатие может заметно ухудшать качество. В README не приведены точный размер контекстного окна, детальное описание архитектуры, результаты бенчмарков, мультимодальные возможности и конкретные ограничения поведения модели. Лицензия — Apache-2.0.

MiniMax-M2.1-GGUF — это квантизированная версия языковой модели MiniMax-M2.1, разработанной MiniMaxAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В репозитории доступны варианты в формате GGUF с уровнями квантизации от Q8_0 до Q2_K и IQ-квантами. Размер файлов составляет примерно от 79,82 до 243,14 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M и Q4_K_S отмечены как рекомендуемые, тогда как некоторые Q3- и Q2-варианты имеют заметно более низкое качество. Поддерживаемые языки, архитектура исходной модели, размер контекста и мультимодальные возможности в README не указаны. Основные преимущества — широкий выбор квантизаций, возможность локального запуска и оптимизация imatrix-калибровкой. Ограничениями являются очень большой размер файлов и компромисс между требованиями к памяти и качеством генерации; низкобитные варианты могут давать существенно худшие результаты. Указана лицензия modified-MIT; подробные условия приведены в лицензии исходной модели MiniMax-M2.1.

MaziyarPanahi/Mistral-7B-Merge-14-v0.1-Mistral-7B-Instruct-v0.1 — текстовая чат-модель, созданная слиянием Mistral-7B-Instruct-v0.1 от Mistral AI и EmbeddedLLM/Mistral-7B-Merge-14-v0.1. В README указано, что использован метод SLERP с настройками смешивания для слоёв self-attention и MLP; результат сохранён в формате bfloat16. Архитектура — плотная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции и диалоговые запросы. В метаданных указан английский язык и возможность чата. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или подробностей о дополнительных возможностях слияния.

Это совместимая с Hugging Face конверсия модели Mistral 7B v0.1, опубликованная пользователем kittn. Модель представляет собой плотную авторегрессионную языковую модель класса LlamaForCausalLM с 7,1 млрд параметров; веса сохранены в формате safetensors. В README описано использование через Transformers для генерации текста, включая загрузку в bfloat16 и варианты квантизации bitsandbytes для экономии видеопамяти. Модель предназначена для продолжения текста и генерации ответов по текстовому запросу. Контекст составляет 2048 токенов. README отмечает, что архитектура использует GQA, а сохранённая версия не проходит дополнительное преобразование bf16 в fp16, применявшееся в другом скрипте конвертации. Для запуска нужны значительные ресурсы: README приводит ориентир от 16 ГБ видеопамяти для bfloat16, от 6 ГБ для bitsandbytes nf4 и от 8 ГБ для int8, причём int8 назван медленным вариантом. Лицензия в предоставленных данных не указана.

Mistral-NeMo-Minitron-8B-Base-IMat-GGUF — это набор GGUF-квантизированных вариантов базовой текстовой модели nvidia/Mistral-NeMo-Minitron-8B-Base. Квантизацию выполнил legraphista с использованием llama.cpp b3613 и метода IMatrix, предназначенного для снижения размера модели с сохранением качества при низкой разрядности. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-квантизаций; размеры файлов составляют примерно от 3,33 до 16,84 ГБ. Модель предназначена для генерации текста и локального запуска через совместимые с GGUF инструменты, включая llama.cpp. Варианты с IMatrix доступны преимущественно для низкоразрядных форматов и могут быть полезны при ограниченных ресурсах памяти, однако более сильное сжатие обычно связано с большей потенциальной потерей качества. В README не указаны архитектурные детали, поддерживаемые языки, длина контекста и специализированные сценарии применения. Модель распространяется по лицензии NVIDIA Open Model License Agreement; исходная модель имеет формат BF16.

Novocoders/Mistral-NeuralDPO-v0.6 — дообученная компанией Novocoders языковая модель Mistral для генерации текста. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и принимает контекст длиной до 32 768 токенов. Модель предназначена для генерации текста на основе текстового запроса. README не описывает специализированные сценарии или результаты оценки. Она дообучена на неизвестном наборе данных, поэтому её сильные стороны и ограничения для конкретных задач по имеющимся сведениям оценить нельзя. Доступна по лицензии Apache-2.0.

Это GGUF-квантизация модели Nohobby/L3.3-Prikol-70B-v0.5, подготовленная пользователем bartowski с использованием llama.cpp версии b4585 и imatrix. Исходная модель имеет 70 миллиардов параметров; по представленным данным её точная архитектура, языки и поддерживаемые модальности не указаны. Модель относится к классу text-generation и предназначена для генерации текста в локальных приложениях, включая LM Studio, llama.cpp и другие проекты на его основе. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_1, Q4_K_M, Q4_K_S, Q4_0, IQ4_NL, Q3_K_XL, IQ4_XS, Q3_K_L, Q3_K_M, IQ3_M, Q3_K_S, IQ3_XXS, Q2_K_L, Q2_K, IQ2_M и IQ2_S. Размер файлов составляет примерно от 24 до 75 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые. Низкобитные варианты экономят память, но могут заметно уступать по качеству. В README не указаны лицензия, размер контекста, точный набор языков, результаты оценки и дополнительные ограничения использования. Формат промпта соответствует шаблону Llama 3.3 с датой отсечения знаний декабрь 2023 года.

duyntnet/Nous-Hermes-Llama2-13b-imatrix-GGUF — набор квантизированных версий текстовой генеративной модели Nous-Hermes-Llama2-13b, разработанной NousResearch. Модель предназначена для генерации текста и работы в локальных приложениях и интерфейсах, поддерживающих формат GGUF и совместимых с llama.cpp, включая JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Для взаимодействия используется формат промпта Alpaca с полями Instruction, а при необходимости Input и Response. Из известных характеристик: модель имеет размер 13B параметров, работает с текстом и заявлена для английского языка. Квантизация с использованием imatrix может снизить требования к памяти и упростить локальный запуск, однако конкретные варианты квантования и их компромиссы между качеством, скоростью и потреблением ресурсов в README не указаны. Ограничения по качеству, производительности, поддерживаемому контексту и аппаратным требованиям также не описаны. Лицензия обозначена как other, без дополнительных условий или подробностей.

Bonsai-8B-unpacked-GGUF — это квантованные версии текстовой генеративной модели Bonsai-8B-unpacked, разработанной prism-ml и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель имеет около 8 миллиардов параметров и поддерживает текстовую модальность. В репозитории представлены варианты от BF16 размером 16,38 ГБ до низкобитных квантований; рекомендуемыми названы Q4_K_M, Q5_K_* и Q6_K_*. Квантование выполнено с использованием imatrix, что позволяет сохранить высокое качество при уменьшении размера. Для работы используется формат prompt с ролями system, user и assistant, включая секцию <think>. Сведения о поддерживаемых языках, архитектуре и размере контекста в README не указаны. Сильные стороны модели — широкий выбор уровней квантования, возможность локального запуска и хорошее соотношение качества, размера и требований к памяти. Более компактные варианты подходят для систем с ограниченной RAM, а Q6_K и Q6_K_L обеспечивают качество, близкое к исходному. Ограничения включают возможное снижение качества у низкобитных вариантов и необходимость обновления используемых инструментов для недавно поддержанных архитектур. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели TinyR1-32B-Preview, разработанной qihoo360 и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. Указан формат prompt с ролями system, user и assistant. Модель относится к классу примерно 32-миллиардных параметров; точная архитектура, поддерживаемые языки, модальности и размер контекстного окна в предоставленных данных не указаны. Доступны варианты квантования от Q8_0 до Q2_K_L и IQ-серии размером примерно от 13 до 35 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют больше памяти; варианты Q4_K_M, Q5, Q6 и Q8 описаны как качественные, а низкоразрядные Q2 и Q3 имеют заметные ограничения. Сильной стороной является возможность локального запуска на совместимом оборудовании и выбор между множеством вариантов размера и качества. Ограничения связаны с высокими требованиями к оперативной или видеопамяти, потерей качества при сильном квантовании и отсутствием в README подробных сведений о результатах тестирования, контекстном окне и языковых возможностях. Модель распространяется по лицензии Apache-2.0; для инференса рекомендуется llama.cpp или проекты на его основе.

Qwen2.5-14B-Instruct-heretic — это модифицированная версия Qwen2.5-14B-Instruct, разработанная автором RACER IS OP и опубликованная пользователем saidutta69. Модель предназначена для диалогов, генерации текста, рассуждений и выполнения инструкций, особенно в сценариях, где требуется прямой ответ без стандартных отказов базовой модели. Она работает с текстом и заявлена для английского языка. Модель сохраняет архитектуру и размер базовой Qwen2.5-14B-Instruct — около 14,8 млрд параметров. Деконтентирование выполнено с помощью Heretic v1.4.0 методом направленной абляции: целевые изменения внесены в веса выходных проекций attention и down-пр projections MLP без дообучения. По данным README, частота отказов на наборе из 100 adversarial-запросов снизилась с 98 до 14, а KL-дивергенция относительно базовой модели составила 0,06, что указывает на небольшие изменения распределения ответов. Сильная сторона модели — сохранение исходных знаний и навыков следования инструкциям при существенно меньшем числе отказов. Доступны полноточные BF16-веса и GGUF-квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0; запуск возможен на GPU с 16–24 ГБ памяти, потребительском оборудовании, CPU и Apple Silicon. Ограничения включают отсутствие дополнительного прироста возможностей, унаследованные фактические ограничения и предубеждения базовой модели, а также намеренное подавление защитных механизмов: модель может выполнять потенциально небезопасные запросы и не подходит для неотмодерированных публичных сервисов. Лицензия — qwen-research; условия коммерческого использования следует уточнять в лицензии базовой модели.

Qwen2.5-32B-Instruct-IMat-GGUF — это GGUF-квантизированная версия языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen и подготовленной для llama.cpp пользователем legraphista. Модель предназначена для диалогов и генерации текста, включая использование в локальных приложениях и совместимых инструментах инференса. В README указана поддержка английского языка и задача text-generation. Модель имеет размер 32B параметров и основана на исходных весах BF16. Доступны варианты от BF16 и F16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая форматы с IMatrix-квантизацией. Размер файлов составляет примерно от 12,31 до 65,54 ГБ в зависимости от варианта; некоторые высокоточные версии разделены на несколько файлов. IMatrix применяется к ряду вариантов с более сильным сжатием, что позволяет уменьшить требования к памяти при сохранении качества, однако README не содержит количественной оценки качества и не указывает размер контекста или дополнительные модальности. Сильной стороной модели является широкий выбор уровней квантизации и совместимость с llama.cpp, благодаря чему можно подобрать компромисс между качеством, скоростью и потреблением памяти. Ограничениями являются значительные аппаратные требования даже для сжатых вариантов, а также отсутствие в предоставленных данных подробных сведений о производительности, языковом охвате за пределами английского и ограничениях применения. Распространение указано по лицензии Apache-2.0.

MaziyarPanahi/Qwen2.5-7B-Instruct-abliterated-v2-GGUF — это набор файлов модели в формате GGUF для базовой модели huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, разработанной huihui-ai и квантованной MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, где требуется локальный запуск совместимого языкового генератора. Указано, что модель имеет размер 7B и доступна в вариантах квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Формат GGUF поддерживается llama.cpp и рядом совместимых инструментов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие. README не содержит сведений о поддерживаемых языках, размере контекста, архитектуре, модальностях, результатах оценки или конкретных ограничениях качества. Главные преимущества — выбор уровней квантования и возможность запуска в широком наборе локальных приложений и библиотек, в том числе с GPU-ускорением. Лицензия в README не указана, поэтому условия использования необходимо уточнять отдельно у разработчика исходной модели и владельца репозитория квантованных файлов.

tensorblock/Qwen2.5-7B-Instruct-Uncensored-GGUF — это квантизированная версия языковой модели Qwen2.5-7B-Instruct-Uncensored от Orion-zhen, подготовленная в формате GGUF командой TensorBlock. Модель предназначена для запуска локально с помощью llama.cpp и совместима с этой библиотекой начиная с указанного в README коммита. Модель относится к классу инструкционных text-generation-моделей с примерно 7 млрд параметров и поддерживает китайский и английский языки. Она ориентирована на генерацию текста, диалоговые сценарии и выполнение инструкций. Версия помечена как uncensored и обучалась с использованием наборов данных, направленных в том числе на снижение отказов и работу с токсичными запросами, поэтому её поведение может быть менее ограниченным с точки зрения встроенных механизмов безопасности. К сильным сторонам относятся возможность локального запуска, поддержка GGUF и совместимость с llama.cpp, что упрощает использование на различном оборудовании в зависимости от выбранного уровня квантизации. В README приведены результаты оценивания на IFEval, BBH, MATH, GPQA, MuSR и MMLU-PRO, однако показатели заметно различаются по задачам; данные о размере контекста, конкретных вариантах квантизации и требованиях к памяти не указаны. Лицензия модели — GPL-3.0.

Это пакет GGUF с весами Qwen3.5-35B-A3B-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса. Он создан на основе unsloth/Qwen3.5-35B-A3B-MTP-GGUF: исходный файл модели разделён на артефакты по слоям для запуска на нескольких узлах локального кластера Mesh LLM. Модель предназначена для генерации текста и диалогов, локального приватного запуска и обслуживания запросов через совместимый с OpenAI API интерфейс Mesh LLM. Вариант UD-Q4_K_XL использует формат GGUF; исходная модель относится к семейству Qwen3. README не приводит размер модели в параметрах, длину контекста или поддерживаемые языки. Для запуска требуется Mesh LLM и доступ к узлам, предоставляющим вычисления и память. Условия лицензии следует сверить с карточкой исходной модели.

Это GGUF-сборка Qwen3.5-9B от w-ahmad с квантованием MoQ (Mixture of Quants) и поддержкой MTP speculative decoding для ускорения генерации. Репозиторий предназначен для запуска текстовой генерации и диалога в средах, совместимых с GGUF, например через llama.cpp. В README представлены варианты квантования с разным размером файлов; метод MoQ распределяет точность квантования по слоям модели. Автор приводит сравнение с Unsloth Dynamic на тестах wiki text, но эти результаты не подтверждают качество на широком круге задач. Лицензия — MIT.

RobinsonLabs Qwen3.5-REAP-212B-A17B-abliterated-GGUF — набор GGUF-квантизаций текстовой MoE-модели, производной от OpenMOSE/Qwen3.5-REAP-212B-A17B. Базовая модель получена сокращением числа экспертов Qwen3.5-397B-A17B-A17B на 48% методом REAP и содержит 212 млрд параметров всего, из которых около 17 млрд активны. Публикацию подготовила RobinsonLabs. Модель предназначена для генерации текста и локального запуска через совместимое ПО, включая llama.cpp. Архитектура qwen35moe включает 60 декодерных слоёв: 45 слоёв с линейным вниманием DeltaNet и 15 слоёв с полным вниманием, 267 экспертов MoE и размер скрытого состояния 4096. Представлен только текстовый путь, без vision mmproj; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Модель подвергнута abliteration — ортогонализации весов для снижения жёстких отказов на запросы, связанные со взрослым и творческим контентом. При этом заявлено сохранение защитных механизмов против самоповреждения и содействия реальным противоправным действиям. Доступны imatrix-взвешенные варианты от Q5_K_M размером около 150 ГБ до IQ2_XXS размером около 56 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Ограничения включают очень большой объём файлов, зависимость качества от выбранной квантизации и маркировку not-for-all-audiences. Лицензия Apache-2.0 унаследована от базовой модели.

Qwen3.6-35B-A3B-MLX-6bit — это 6-битная квантованная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для работы на устройствах Apple Silicon. В метаданных она обозначена как модель для задач image-text-to-text, однако подробные сведения о поддерживаемых языках, размере контекста и полном наборе модальностей в README не приведены. Модель предназначена для локального использования в сценариях, поддерживаемых MLX и LM Studio, включая обработку текстовых и, вероятно, визуально-текстовых запросов. Квантование снижает требования к памяти по сравнению с полной версией и делает модель более подходящей для Apple Silicon, но может уменьшать точность по сравнению с оригинальной моделью. README не содержит результатов тестирования, сведений о производительности и конкретных ограничениях качества. Указана лицензия Apache 2.0; исходная модель принадлежит Qwen, а данная MLX-квантизация предоставлена LM Studio.

Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Speed — локальная модель генерации текста семейства Qwen, подготовленная для быстрого запуска на устройствах Apple Silicon через MTPLX. Разработчик модели в README явно не указан; репозиторий публикует адаптированный чекпойнт с поддержкой Multi-Token-Prediction speculative decoding, при котором собственные MTP-головы модели создают черновые токены, а основная модель их проверяет. Модель предназначена для локального текстового вывода и сценариев, где важна высокая скорость генерации без отдельной модели-драфтера. Заявленная конфигурация — 35B-A3B, с 4-битным MLX-представлением основной части, калиброванными INT4 MTP-головами, 8-битными router и gate-тензорами там, где это предусмотрено конфигурацией, а также BF16-нормализациями, масштабами, смещениями и обычными тензорами. Для основной модели используется affine-квантизация MLX с group size 64, для MTP-весов — group size 32. Ключевое преимущество — оптимизация под MTPLX и Apple Silicon: в измерениях с включённым reasoning и лимитом ответа 32 000 токенов режим D1 достиг 138,39 токена в секунду при acceptance 0,8858 против 94,46 токена в секунду у авторегрессионного baseline. Результаты зависят от оборудования, настроек и профиля запуска. Ограничения включают неполноточное квантизованное представление и ориентацию прежде всего на локальный запуск через MTPLX; сведения о поддерживаемых языках, размере контекстного окна, конкретных задачах качества и мультимодальности в README не указаны. Лицензия — Apache-2.0.

EgorKodin/Qwen3.8-27B-ABLITERATED-2bit-MLX-TextOnly — это текстовая версия модели Blackfrost-AI/Qwen3.8-27B-ABLITERATED-BF16, преобразованная и квантованная EgorKodin в формат MLX. Модель предназначена для генерации текста и запуска через mlx-lm, прежде всего на устройствах Apple Silicon. Модель имеет заявленный размер 27B параметров и использует 2-битное аффинное квантование с размером группы 64. Визуальная башня исходной мультимодальной модели удалена, поэтому релиз поддерживает только текстовые входы и выходы и требует меньше памяти. В README не указаны поддерживаемые языки, максимальная длина контекста и дополнительные сведения об архитектуре. Ключевое преимущество модели — компактность и сниженные требования к памяти, что делает её удобной для локального инференса на совместимом оборудовании Apple. Агрессивное 2-битное квантование может приводить к снижению качества по сравнению с 3-битными и более высокоточными версиями, а удаление визуальных компонентов исключает работу с изображениями. Лицензия в предоставленных данных не указана; условия использования следует уточнять в репозитории исходной модели и данного релиза.

Qwen3.8-27B-i1-IQ4_KS_KT-GGUF — это квантизированные веса модели Qwen3.8-27B в формате GGUF, подготовленные пользователем cHunter789 на базе Qwen/Qwen3.6-27B. Модель предназначена для запуска через ik_llama.cpp на потребительских видеокартах NVIDIA с 16 ГБ видеопамяти. В карточке она обозначена как image-text-to-text, то есть рассчитана на обработку текстовых и визуальных входных данных, однако подробности о поддерживаемых форматах изображений и языках не указаны. Используются квантизации IQ_KS и IQ_KT с imatrix-файлами, собранными из наборов mradermacher и ubergarm; тензор token_emd.weight переведён в q8_0 для потенциально лучшей работы с неанглийскими языками. При квантизации KV-кэша в q4_0 заявлена поддержка контекста до 110 тысяч токенов, а конфигурация для 16 ГБ VRAM обеспечивает около 105 тысяч токенов. В README также приводятся результаты сравнения perplexity и параметры запуска, включая поддержку reasoning. Сильные стороны модели — относительно большой размер при возможности запуска на видеокарте с 16 ГБ памяти, длинный контекст и оптимизация под NVIDIA. Ограничения включают необходимость ik_llama.cpp, совместимость именно с NVIDIA GPU, зависимость характеристик от квантизации и настроек KV-кэша, а также отсутствие подробных независимых оценок качества, языкового покрытия и мультимодальных возможностей. Репозиторий распространяется по лицензии Apache-2.0.

Это квантованная NVFP4-версия Qwen3.8-27B с черновыми слоями MTP, подготовленная felippeburk как механическая конверсия весов sakamakismile/Qwen3.8-27B-MTP-NVFP4 в единый файл GGUF для llama.cpp. Модель предназначена для генерации текста и диалогов, а MTP-слои позволяют использовать спекулятивное декодирование на совместимых графических процессорах Blackwell, включая RTX 5090 и RTX 5080. Основной файл весит около 19 ГБ. Для обработки изображений README указывает на отдельный проектор mmproj-F16.gguf; сам файл модели текстовый. В README приведены настройки запуска с контекстом 196 тысяч токенов, однако это рекомендуемая конфигурация, а не подтверждённый метаданными предел контекста. Модель использует формат рассуждений Qwen3.8: этап рассуждения расходует общий лимит выходных токенов, поэтому слишком малый лимит может привести к пустому итоговому ответу. Репозиторий распространяется по лицензии Apache-2.0. Для запуска требуются llama.cpp с поддержкой NVFP4 и MTP, а обработка изображений требует отдельного совместимого проектора; заявленный сценарий ориентирован на оборудование Blackwell.

dealignai/Qwen3.8-Flash-Next-UNCENSORED-FP8 — модифицированная версия Qwen3.8-Flash-Next-FP8 от команды dealignai. Модель предназначена для генерации текста, решения задач и сценариев, где требуется повышенная готовность отвечать на широкий спектр запросов без встроенных отказов. Также заявлена поддержка обработки изображений благодаря сохранённой vision tower. Модель работает в формате FP8 и сохраняет MTP head и vision tower базовой модели. В README также указана архитектура MoE, однако размер модели, максимальная длина контекста и перечень поддерживаемых языков не приведены. По заявленным внутренним тестам, модель демонстрирует более глубокое рассуждение: на пяти логических головоломках она решила четыре задачи против трёх у базовой модели, при этом использовала примерно в 3,5 раза больше токенов рассуждения. На полном тесте MMLU результат составил 80,39% против 83,54% у базовой модели, то есть снижение общей точности знаний сопровождается неоднородными изменениями по отдельным предметам. К сильным сторонам относятся сохранённые мультимодальные возможности, поддержка FP8, отсутствие жёстких отказов в заявленном тестировании HarmBench и увеличение глубины рассуждений. Ограничения включают возможное ухудшение точности на части академических и прикладных тематик, повышенный расход токенов при рассуждении и отсутствие подробных сведений о размере, контексте и языках. Модель распространяется по лицензии Apache-2.0.

Replete-LLM-Mist-Nemo-12b-GGUF — это набор квантизированных GGUF-версий языковой модели Replete-LLM-Mist-Nemo-12b, разработанной Replete-AI и преобразованной bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и локального запуска в совместимых средах, включая LM Studio. В метаданных указан английский язык и лицензия Apache-2.0. Модель относится к классу текстовых генеративных моделей, имеет размер 12 млрд параметров и связана с архитектурой Mistral. Доступны варианты от F32 до компактных IQ2/Q2/Q3 и более качественных Q4–Q8-квантизаций. Размер файлов варьируется примерно от 4,44 до 49 ГБ, что позволяет выбирать между качеством генерации и требованиями к оперативной памяти. Рекомендуемыми названы, в частности, варианты Q4_K_M, Q5_K_M, Q6_K и Q6_K_L. Сильной стороной набора является широкий выбор уровней квантизации для локального использования: высококачественные варианты должны минимально отличаться от исходных весов, а компактные подходят для систем с ограниченной памятью. При этом качество снижается на более агрессивных уровнях квантизации. Контекст модели, мультимодальные возможности и дополнительные языки в README не указаны. Шаблон чата также не задан; предложенный формат является стандартным и может быть некорректен, поэтому его следует сверять с карточкой исходной модели.

Replete-LLM-V2.5-Qwen-14b-GGUF — набор GGUF-квантизаций языковой модели Rombos-LLM-V2.5-Qwen-14b. Квантизации подготовлены пользователем bartowski с использованием llama.cpp версии b3825 и метода imatrix. Исходная модель разработана rombodawg. Модель предназначена для генерации текста и может запускаться локально, в том числе через llama.cpp и LM Studio, с указанным форматом prompt на основе ChatML-тегов. В набор входят варианты от исходных весов F16 размером около 29,55 ГБ до компактных конфигураций с более низкой точностью, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-семейство. Версии различаются размером файла, требованиями к памяти и качеством генерации: старшие варианты обеспечивают качество, близкое к исходному, а младшие позволяют работать при ограниченном объёме RAM ценой заметной потери качества. Отдельные варианты оптимизированы для ARM-процессоров и требуют поддержки sve или i8mm. Это текстовая авторегрессионная модель примерно на 14 млрд параметров; сведения о поддерживаемых языках, длине контекста, точной архитектуре и мультимодальности в карточке не указаны. Основные сильные стороны набора — локальный запуск, широкий выбор степени квантизации и совместимость с llama.cpp и LM Studio. Ограничения связаны с требованиями к вычислительным ресурсам, компромиссом между размером и качеством, а также отсутствием подробных данных о возможностях базовой модели. Лицензия — Apache-2.0.

Spark-X2.5-4B-GGUF — это набор квантованных моделей в формате GGUF для генерации текста, основанный на Spark-X2.5-4B от XHToken. Конвертацию весов в GGUF выполнил Pink Pixel с использованием специальной сборки llama.cpp для Spark 2.5. Модель предназначена для локального запуска через llama.cpp и совместимые приложения, включая Ollama и LM Studio, а также для создания локальных чат-ассистентов и других сценариев генерации текста. Модель использует архитектуру Spark 2.5 с поддержкой гибридного внимания: скользящего окна и слоёв полного внимания. Заявлена длина контекста до 1 048 576 токенов, размер словаря — 131 072 токена. Поддерживаются английский и китайский языки. Доступны варианты от BF16 до квантований Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q3_K_M и Q2_K с размером файлов примерно от 1,66 до 7,66 ГБ. Более сильное сжатие уменьшает требования к памяти, но может заметно снижать качество вывода. К сильным сторонам относятся компактный размер исходной модели, высокая эффективность, большой контекст и широкий выбор квантований для устройств с разными ограничениями по памяти. Ограничением является необходимость поддержки архитектуры Spark2_5ForCausalLM в llama.cpp или используемом клиенте; качество и требования к ресурсам зависят от выбранного уровня квантования. Модель и исходные веса распространяются по лицензии Apache 2.0.