II.2Создание и понимание программного кода

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Профиль Aggressive ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа; при этом заявлено сохранение исходных текстовых, reasoning-, agentic-, image- и video-возможностей базовой модели. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder и поддержкой языков English, Chinese и других языков за счёт мультиязычной базы. Архитектура включает 64 слоя языковой модели, hidden size 5120, FFN size 17408, словарь размером 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживается нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. В поставку входят различные GGUF-квантизации, отдельный BF16 vision projector для изображений и видео, а также профиль HauhauCS FastMTP 32K для ускорения speculative decoding; заявлено ускорение до 3,02 раза для документов и до 1,93 раза для reasoning-сценариев по сравнению с режимом без MTP. Сильные стороны модели — широкий набор модальностей, длинный контекст, сохранённые возможности Qwen3.8, выбор квантизаций от Q2 до Q8 и оптимизированные K_P-кванты, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Агрессивный профиль может быть менее подходящим для надёжно контролируемых агентских и критически важных задач, где предпочтительнее более сбалансированная настройка. Для мультимодального ввода требуется отдельный vision projector, а запуск требует значительных ресурсов: размер текстовых файлов составляет примерно от 10,32 до 31,46 ГБ в зависимости от квантизации. Модель распространяется по лицензии Apache-2.0.

desva0/Qwen3.8-27B-Uncensored-W4A16 — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Репозиторий содержит сборку OrcaRouter с удалённым встроенным поведением отказа, дополнительно преобразованную в формат W4A16. Модель предназначена для работы с текстом и изображениями, поддерживает английский и китайский языки, рассуждения и вызов функций. Модель использует архитектуру Qwen3_5ForConditionalGeneration и содержит около 27 млрд параметров в исходной версии. Применена 4-битная симметричная квантизация весов с размером группы 128 в формате compressed-tensors pack-quantized; визуальные линейные слои сохранены в более высокой точности для поддержания возможностей анализа изображений. Размер весов составляет примерно 15 ГБ, благодаря чему модель рассчитана на запуск на одной видеокарте с 24 ГБ памяти, например RTX 3090. В README указана возможность использования контекста до 32768 токенов при настройке vLLM, причём фактическая длина зависит от доступной памяти под KV-кэш. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, поддержка function calling и возможность локального запуска на потребительском GPU. Ограничения связаны с потерями точности, возможными для 4-битной квантизации, зависимостью от совместимой версии vLLM и формата compressed-tensors, а также с отсутствием встроенного поведения отказа: модель может выполнять запросы, которые согласованная модель отклонила бы, поэтому ответственность за защитные меры и корректное применение лежит на пользователе. Модель распространяется по лицензии Apache-2.0; при перераспределении необходимо сохранять лицензию и атрибуцию.

Qwen3.8-Flash-Next-GGUF — это квантизированная версия модели Qwen3.8-Flash-Next, разработанной командой Qwen и подготовленной пользователем bartowski в формате GGUF для запуска через llama.cpp. Модель предназначена для задач генерации и анализа текста, а также обработки изображений при использовании отдельного файла mmproj, что позволяет применять её в мультимодальных сценариях. Модель содержит 180 млрд параметров и поддерживает текстовый и графический ввод. Для неё доступны варианты от BF16 и Q8_0 до более компактных Q2–Q5 и IQ-квантизаций; размер файлов варьируется примерно от 88 до 354 ГБ. Квантизация выполнена с использованием imatrix, а speculative decoding не поддерживается. Рекомендуемый компромисс между качеством и требованиями к памяти — Q4_K_M размером около 119,6 ГБ; более высокие варианты сохраняют качество, но требуют значительно больше ресурсов. К сильным сторонам относятся большой масштаб модели, поддержка мультимодального ввода, широкий выбор уровней квантизации и совместимость с llama.cpp. Ограничениями являются очень высокие требования к оперативной или видеопамяти даже у компактных вариантов, возможное снижение качества при сильной квантизации и необходимость отдельного mmproj-файла для работы с изображениями. Указана лицензия qwen-community-1.0; дополнительные условия приведены в файле LICENSE.

Qwen3-Next-80B-A3B-Thinking-4bit — языковая модель для генерации текста, опубликованная сообществом mlx-community. Она представляет собой конвертированную в формат MLX версию базовой модели Qwen/Qwen3-Next-80B-A3B-Thinking; конвертация выполнена с использованием mlx-lm версии 0.27.1. Модель предназначена для запуска и генерации текста в экосистеме MLX, в частности через библиотеку mlx-lm на совместимых системах. Из известных характеристик указаны размер исходной модели 80B и 4-битное квантование, обозначенное в идентификаторе модели. Название Thinking указывает на ориентированность исходной модели на задачи, требующие рассуждений, однако README не содержит подробностей об архитектуре, количестве активных параметров, языках, размере контекста, поддерживаемых модальностях или результатах тестирования. В README также не описаны конкретные сильные стороны и ограничения качества модели; практические характеристики зависят от среды MLX и доступных вычислительных ресурсов. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README приводит пример загрузки модели, токенизатора и генерации ответа с поддержкой chat template, если он определён.

Qwen3-Next-80B-A3B-Thinking-8bit — языковая модель для генерации текста, представленная сообществом mlx-community. Она преобразована из базовой модели Qwen/Qwen3-Next-80B-A3B-Thinking в формат MLX с использованием mlx-lm 0.27.1; исходная модель разработана командой Qwen. Модель предназначена для текстовых сценариев, включая диалоговое взаимодействие и генерацию ответов с применением режима Thinking. В названии указаны масштаб 80B, конфигурация A3B и 8-битное представление весов. Модель поддерживает работу через библиотеку mlx-lm и рассчитана на запуск в экосистеме MLX. В README не указаны языки, размер контекста, точная архитектура, перечень модальностей и результаты бенчмарков. Сильной стороной модели является адаптация для MLX и 8-битное представление, потенциально снижающее требования к памяти по сравнению с полноточными вариантами. Ограничения и фактические требования к оборудованию в README не описаны. Модель распространяется по лицензии Apache-2.0.

Qwen-Qwen2-7B-Instruct-GGUF — набор GGUF-квантизаций модели Qwen2-7B-Instruct, разработанной Qwen и опубликованной в формате квантизированных файлов командой featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие сценарии text-generation. GGUF-формат ориентирован на локальный запуск совместимыми инструментами, а разные уровни квантизации позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством работы. В набор входят варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,9 до 7,7 ГБ. Из README известно, что это текстовая модель с примерно 7 миллиардами параметров; сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста не указаны. Более сильная квантизация обычно уменьшает требования к ресурсам, но может снижать точность по сравнению с менее квантизированными вариантами. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в материалах исходной модели Qwen2-7B-Instruct и репозитории квантизаций.

mlx-community/QwQ-32B-bf16 — конверсия модели QwQ-32B в формат MLX, подготовленная сообществом mlx-community на основе Qwen/QwQ-32B с помощью mlx-lm 0.21.5. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров для генерации текста и диалогов; метаданные указывают контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для диалоговых и текстовых задач, в том числе для запросов, требующих последовательного рассуждения. Карточка указывает на формат safetensors, лицензию Apache-2.0 и использование через MLX. Поддержка английского отмечена в метаданных; другие языки и отдельные гарантии качества в карточке не описаны.

RWKV7-G1i-7.2B-20260805 — базовая предобученная языковая модель семейства RWKV-7, разработанная Bo Peng, Yu Zhang, Songlin Yang, Ruichong Zhang и Zhiyuan Li при поддержке RWKV Project под эгидой LF AI & Data Foundation. Это плотная авторегрессионная модель на 7,8 млрд параметров в формате safetensors; в README также указано 7,2 млрд параметров. Она использует рекуррентную архитектуру без внимания с постоянным размером состояния и постоянной вычислительной работой на генерируемый токен, а обучение допускает параллелизацию. Модель принимает текст и генерирует продолжение, поддерживает чатовый шаблон, но не заявлена как безопасный или выровненный диалоговый помощник. Метаданные указывают контекст 2048 токенов. Модель предварительно обучена на веб-текстах, коде, синтетических данных, инструкциях, диалогах и данных для рассуждений. Её назначение — оценка, последующее обучение и дообучение, а также генерация текста и эксперименты с диалоговыми сценариями. README называет языки многоязычными, а метаданные перечисляют английский, китайский, японский, корейский, французский, арабский, испанский и португальский. Для использования требуются flash-linear-attention и актуальная версия Transformers. Лицензия — Apache-2.0.

SmolLM3-3B — открытая языковая модель с 3 млрд параметров, разработанная HuggingFaceTB и преобразованная в формат LiteRT-LM для локального запуска на устройствах и компьютерах. Это decoder-only модель для генерации текста, диалогов, рассуждений и других задач, поддерживаемых базовой SmolLM3. Модель ориентирована на сценарии on-device и edge-инференса, включая Android-смартфоны, iPhone, Raspberry Pi, настольные системы и локальный OpenAI-совместимый API-сервер. Представленная версия использует блочную симметричную int4-квантизацию с размером блока 32 и оптимальным клиппингом OCTAV; эмбеддинги имеют формат INT8, вычисления выполняются в целочисленном формате. Файл основной версии занимает около 1,9 ГБ, контекст KV-кэша ограничен 4096 токенами. В архитектуре базовой модели заявлены GQA, расписание внимания NoPE, мультиязычная поддержка и обучение на длинном контексте. В комплект входят токенизатор и шаблон ChatML, поэтому отдельные файлы токенизатора не требуются. Сильные стороны модели — небольшой размер для класса 3B, открытая лицензия Apache-2.0, поддержка полностью локального инференса и наличие GPU-ускорения на совместимых устройствах. Производительность зависит от оборудования: в приведённых измерениях она достигала 93,2 токена/с при декодировании на Apple M4 Max и 22,5 токена/с на iPhone 17 Pro. Ограничения включают потери качества и возможные особенности поведения, связанные с int4-квантизацией, фиксированный контекст 4096 токенов и зависимость скорости от конкретного LiteRT-LM backend, устройства и объёма доступной памяти.

ukisai_Swift-Qwen3.8-27b-GGUF — это квантизированная версия модели Swift-Qwen3.8-27b, разработанной ukisai и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для задач генерации текста, рассуждений и эффективного по токенам решения задач. В README также заявлена поддержка обработки изображений вместе с текстом при использовании файла mmproj, поэтому модель может применяться в мультимодальных сценариях image-text-to-text. Модель поддерживает speculative decoding через MTP и использует imatrix-квантизацию. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ3, а также популярные Q4 и Q5; размер файлов варьируется примерно от 12,8 до 54,66 ГБ. В качестве универсального компромисса между качеством и размером рекомендуется вариант Q4_K_M объёмом 17,44 ГБ, тогда как Q6 и Q8 ориентированы на максимально высокое качество. Сведения о поддерживаемых языках и размере контекста в README не указаны. Сильными сторонами модели являются крупный размер, поддержка рассуждений, мультимодальный ввод, speculative decoding и широкий выбор уровней квантизации для различного объёма памяти. Ограничения включают значительные требования к дисковому пространству и памяти, возможное снижение качества в компактных вариантах, необходимость совместимого runtime llama.cpp, а для работы с изображениями — отдельного mmproj-файла. Модель распространяется по лицензии Swift Open License 1.0; в метаданных также указано, что доступ к ней является gated.

Vesemir 1.5B — небольшая языковая модель семейства Cirilla, разработанная AnthonyPa57. Это плотная авторегрессионная модель на 1,5 млрд параметров с архитектурой VesemirForCausalLM; она совместима с Transformers и рассчитана на контекст до 8192 токенов. В архитектуре используются Differential Attention, Grouped-Query Attention и блоки SwiGLU с предварительной нормализацией RMSNorm. Модель обучалась с нуля на польских и английских текстах, затем прошла дообучение на инструкциях, примерах RAG и Python, переводах и DPO-данных. Её можно применять для диалогов, генерации и продолжения текста, ответов на инструкции, перевода, задач по Python и работы с контекстом документов. Поддерживаются английский и польский языки; репозиторий содержит веса Safetensors в формате BF16. Автор отмечает, что обучение проводилось на сравнительно небольшом объёме данных и модель следует рассматривать как основу для дальнейшей разработки. Для загрузки через AutoModelForCausalLM и AutoTokenizer требуется trust_remote_code=True. Лицензия — MIT.

BigQwen2.5-Echo-47B-Instruct-GGUF — набор GGUF-квантизаций модели BigQwen2.5-Echo-47B-Instruct, опубликованный пользователем bartowski и основанный на модели mlabonne. Квантизации подготовлены с помощью llama.cpp и imatrix; модель предназначена для генерации текста и работы в локальных средах инференса, включая LM Studio. Указанный язык — английский, формат взаимодействия использует шаблон Qwen с ролями system, user и assistant. Модель имеет размер 47B параметров, однако сведения о точной архитектуре, длине контекста и мультимодальных возможностях в README не указаны. Доступны варианты от F16 размером около 94,79 ГБ до низкобитных Q3 и Q4, а также Q5, Q6 и Q8; наиболее качественными и рекомендуемыми названы некоторые варианты Q6_K, Q5 и Q4. Квантизации позволяют выбирать баланс между качеством, размером файла и требованиями к памяти; отдельные варианты оптимизированы для ARM-процессоров. Ограничениями являются значительные требования к памяти для старших вариантов и возможное снижение качества у низкобитных квантизаций. Для запуска требуется совместимое программное обеспечение, например llama.cpp или LM Studio. Лицензия указана как other с названием tongyi-qianwen; в качестве текста лицензии приведена ссылка на лицензию Qwen2-72B-Instruct.

dan-omni-3b-q3s — квантизированная версия модели dan-omni-3b, созданная с применением Q3_K_S для ускорения вывода и снижения требований к памяти. В README указаны дообучение LoRA на инструкционных данных для мобильных устройств и базовая модель Qwen2.5-3B; репозиторий содержит формат GGUF. Модель предназначена для генерации ответов в диалогах и выполнения общих инструкций на устройствах с ограниченной памятью. Она подходит для вопросов, письма, математики, программирования, перевода и творческих задач; заявленная длина контекста — 4096 токенов. Модель принимает и выдаёт текст, мультимодальные возможности отсутствуют. По сравнению с вариантом Q4_K_M README заявляет меньший размер и более быстрый вывод при небольшом снижении качества. Квантизация может ухудшать результаты на сложных задачах рассуждения. Лицензия репозитория — Apache-2.0.

bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF — это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Qwen-14B, разработанной DeepSeek. Квантизация выполнена bartowski с использованием llama.cpp b4514 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio, с применением формата промпта, указанного в README. Доступны варианты от полных F32 и F16 весов до квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, размером примерно от 6,66 до 59,09 ГБ. Более высокие разрядности обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M обозначен как вариант по умолчанию для большинства сценариев, а Q5 и Q6 — как рекомендуемые варианты высокого качества. Некоторые форматы оптимизированы для работы на CPU и Apple Silicon, включая online repacking для ARM и AVX. В README не указаны архитектурные детали, длина контекста, поддерживаемые языки и модальности, а также лицензия. Поэтому модель следует рассматривать как текстовую локальную модель, совместимость и фактические требования к памяти которой зависят от выбранного файла квантизации и используемого программного обеспечения.

DPOpenHermes 7B v2 GGUF — квантизированная версия языковой модели Open Access AI Collective, подготовленная TheBloke в формате GGUF. Модель основана на архитектуре Mistral, содержит около 7 миллиардов параметров и предназначена для генерации текста на английском языке, включая диалоговые и инструкционные сценарии. Модель обучалась с использованием наборов данных teknium/openhermes, allenai/ultrafeedback_binarized_cleaned и Intel/orca_dpo_pairs. Для общения используется шаблон ChatML с системными и пользовательскими сообщениями. GGUF-файлы доступны в вариантах с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией, что позволяет запускать модель с разными компромиссами между качеством, скоростью и требованиями к памяти на CPU и GPU. Модель совместима с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ограничения включают поддержку только английского языка согласно карточке и отсутствие сведений о мультимодальности или размере контекстного окна. Лицензия — Apache 2.0.

ehristoforu/frqwen2.5-from7b-it — объединённая автором модель семейства Qwen2.5, созданная с помощью mergekit методом passthrough на основе Qwen/Qwen2.5-7B-Instruct. Это плотная причинная языковая модель для генерации текста и диалогов; доступны интерфейс чата и интерфейс вызова инструментов. В репозитории указаны 12,7 млрд параметров, контекст до 32 768 токенов и формат safetensors; модель рассчитана на работу через Transformers. Модель подходит для диалоговых приложений, генерации ответов и текста, а также сценариев, где требуется подключение инструментов. Базовая Qwen2.5-7B-Instruct предназначена также для генерации кода и структурированных ответов, однако README этой сборки не описывает её специфические улучшения или результаты оценки. Лицензия в предоставленных данных не указана.

QuantFactory/gemma-2-9b-GGUF — это квантованная версия языковой модели Gemma 2 с 9 млрд параметров, созданная на основе google/gemma-2-9b с использованием llama.cpp. Разработчик исходной модели — Google. Модель относится к авторегрессионным decoder-only моделям для генерации текста и распространяется в формате GGUF. Модель предназначена для текстовых задач, включая ответы на вопросы, суммирование, рассуждения, диалоговое взаимодействие и другую генерацию текста. Указана поддержка английского языка. Квантование уменьшает требования к вычислительным ресурсам и делает модель более подходящей для запуска на локальных компьютерах и в инфраструктуре с ограниченными ресурсами, однако может сопровождаться снижением качества по сравнению с исходными весами; конкретный уровень квантования в README не указан. Ключевые ограничения — текстовая модальность, отсутствие сведений о размере контекста, точной схеме квантования и результатах оценки именно этой сборки. Использование регулируется лицензией Gemma и соответствующими условиями Google.

DFveloper/gemma-4-26B-A4B-it-qat-q4_0-Claude-Opus-Distill-v2-GGUF — языковая модель для генерации текста и задач, требующих рассуждений. Она создана как производная от Lumen 3.1 Pulsar QAT с переносом части поведения модели TeichAI/gemma-4-26B-A4B-it-Claude-Opus-Distill-v2, обученной на данных с рассуждениями Claude Opus. Разработчик данной сборки — DFveloper; исходные компоненты и данные связаны с 0x795E2795, TeichAI и Crownelius. Модель использует архитектуру Gemma 4 с конфигурацией 26B A4B и MoE, поставляется в формате GGUF с квантизацией q4_0 и предназначена для запуска с llama.cpp, Text Generation Inference, Transformers и Unsloth. При создании из исходной модели был извлечён дельта-апдейт весов, аппроксимирован LoRA-адаптером и объединён с QAT-чекпойнтом Lumen 3.1 Pulsar. Благодаря этому модель сохраняет характеристики базового QAT-чекпойнта и частично перенимает поведение, связанное с высокоуровневыми рассуждениями. Сильными сторонами являются компактное 4-битное представление, совместимость с распространённой экосистемой GGUF и ориентация на reasoning-сценарии. Ограничения включают приблизительный характер переноса дельты через LoRA; заявленные свойства и качество не следует приписывать исходной модели Claude Opus напрямую. В README не указаны поддерживаемые языки, размер контекста, точные показатели качества и дополнительные модальности, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0.

RedHatAI/GLM-5.3-Flash-NVFP4 — квантизированная версия модели zai-org/GLM-5.3-Flash, разработанная RedHatAI. Модель использует архитектуру Glm5NextForConditionalGeneration, принимает текст и изображения и генерирует текст. Заявленные языки — английский и китайский. Размер модели и длина контекста в предоставленных данных не указаны. Веса и активации линейных операторов MoE-экспертов квантизированы в формат FP4 (NVFP4), а слои MTP сохранены в FP8. Квантизация выполнена с помощью LLM Compressor, модель экспортирована в формате compressed-tensors и предназначена для инференса через vLLM. По данным README, такое сжатие примерно на 50% уменьшает объём диска и требования к памяти GPU для квантизированных весов по сравнению с 8-битным представлением. Также заявлена поддержка speculative decoding и автоматического выбора инструментов при соответствующей настройке vLLM. Модель ориентирована на мультимодальные и текстовые сценарии генерации, включая задачи рассуждения. В приведённой оценке она показала 97,74% на GSM8K Platinum, 94,87% на MATH-500, 86,67% на AIME 2025 и 90,57% на GPQA Diamond; результаты усреднены по нескольким запускам. Ключевое преимущество — снижение потребления дисковой и GPU-памяти при сохранении возможностей исходной модели, однако FP4-квантизация может влиять на качество и требует совместимой инфраструктуры. Модель распространяется по лицензии MIT.

GWQ2b — дообученная языковая модель prithivMLmods на базе Google Gemma 2 2B Instruct. Это декодерный трансформер для генерации текста, с диалоговыми возможностями и контекстом до 8192 токенов; в карточке заявлена поддержка английского языка. Модель дообучена на синтетическом наборе Chain of Continuous Thought и предназначена для ответов на вопросы, суммаризации, рассуждений и следования инструкциям. Модель подходит для создания ответов и кратких изложений, многошаговых рассуждений, а также творческого текста и документации. Вес составляет 2,7 млрд параметров, файлы представлены в формате Safetensors. Лицензия Gemma; условия её использования следует учитывать при развёртывании. Как и другие языковые модели, GWQ2b может выдавать неточные сведения и воспроизводить смещения из данных обучения. Она ограничена контекстом в 8192 токена, а заявленные в README сведения о размере и архитектуре местами противоречат метаданным: для описания использованы параметры из метаданных.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная GGUF-версия языковой модели Hermes-2-Pro-Llama-3-8B, разработанной NousResearch и преобразованной в GGUF компанией Second State Inc. Это текстовая модель для генерации ответов в диалогах и использования инструментов, совместимая с форматом ChatML и запуском через LlamaEdge. В README указан английский язык. Модель относится к семейству Llama и содержит 8 млрд параметров. Доступны варианты квантизации от 2 до 8 бит, а также версия f16 размером 16,1 ГБ. Рекомендуемые варианты Q4_K_M, Q5_K_M и Q5_K_S обеспечивают компромисс между размером и сохранением качества; наиболее компактные варианты требуют меньшего объёма памяти, но сопровождаются более заметной потерей качества. Указанный размер контекста — 4096 токенов. Для работы требуется LlamaEdge версии 0.11.3 или новее и соответствующий шаблон prompt: chatml для диалогов или chatml-tool для использования инструментов. README не содержит сведений о лицензии исходной модели или этой сборки, поэтому условия распространения и коммерческого использования по представленным данным определить нельзя.

Huihui-Qwen3.8-27B-abliterated-FP8-v2 — мультимодальная модель для обработки текста и изображений, созданная пользователем batsclamp на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это версия v2, квантизированная из upstream-релиза от 24 августа 2026 года; исходная модель основана на семействе Qwen3.8. Модель предназначена для генерации текста, рассуждений, работы с изображениями, а также сценариев с вызовом инструментов и использованием vLLM. Модель имеет размер 27B параметров и поддерживает контекст до 262 144 токенов при указанной конфигурации обслуживания. Используется гибридная архитектура с Mamba-проекциями и визуальной башней; 256 плотных линейных модулей квантизированы в FP8 E4M3 с поканальными статическими масштабами для весов и динамическим масштабированием по токенам для активаций. Формат хранения — compressed-tensors float-quantized. Визуальная часть, эмбеддинги, нормализации, lm_head и MTP-модуль сохранены в BF16, что позволяет использовать speculative decoding. Преимуществами являются уменьшенный размер по сравнению с BF16-версией, совместимость с vLLM и потенциально более высокая точность квантизации благодаря поканальному масштабированию. При этом качество FP8-варианта не подтверждено полноценными бенчмарками: заявлены только структурная проверка и тестовая генерация. Модель аблитерирована, поэтому у неё удалено исходное поведение отказа и отсутствуют гарантии безопасности оригинального релиза; при высоком уровне reasoning effort она может расходовать очень большой бюджет вывода и возвращать пустой ответ при преждевременном ограничении max_tokens. Лицензия — Apache 2.0.

Это набор GGUF-квантизованных версий Granite 3.2 8B Instruct — инструкционной языковой модели, разработанной IBM под именем ibm-granite. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия в приложениях, поддерживающих llama.cpp, включая LM Studio и другие совместимые проекты. Модель имеет размер 8 миллиардов параметров и относится к текстовым моделям: сведения о поддержке изображений, аудио или других модальностей в README отсутствуют. Также не указаны поддерживаемые языки и размер контекстного окна. Доступны варианты квантования от Q8_0 до Q3 и IQ3/IQ4, размером примерно от 3,59 до 8,68 ГБ. Более высокие варианты обычно обеспечивают лучшее качество, а менее точные позволяют снизить требования к оперативной памяти; в README рекомендуются, в частности, Q4_K_M, Q5 и Q6 версии. Сильные стороны модели — локальный запуск, широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с экосистемой llama.cpp. Ограничения связаны с потерями качества при низком уровне квантования и зависимостью от совместимого программного обеспечения и аппаратных ресурсов. Для корректного диалога следует использовать указанный в README шаблон prompt format. Для набора указана лицензия Apache-2.0.

Llama 2 13B — это языковая модель для генерации текста, разработанная Meta. Репозиторий TheBloke содержит её версии в формате GGUF, подготовленные TheBloke для локального запуска и инференса на CPU и GPU. Модель основана на архитектуре Llama 2, имеет 13 миллиардов параметров и поддерживает английский язык. Она предназначена для задач генерации текста, включая диалоговые сценарии, написание и продолжение текстов, а также другие приложения text-generation. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию; доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать баланс между размером, требованиями к памяти и качеством. Контекстное окно и точный набор поддерживаемых модальностей в README не указаны; модель является текстовой и не поддерживает мультимодальный ввод. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие. Квантование снижает требования к ресурсам, но может уменьшать качество по сравнению с исходной версией в формате fp16; степень компромисса зависит от выбранного варианта. Модель распространяется по лицензии Llama 2; условия лицензии следует учитывать при использовании.

TheBloke/Llama-2-7B-Chat-GPTQ — это квантизированная версия диалоговой языковой модели Llama 2 7B Chat, разработанной Meta, подготовленная TheBloke в формате GPTQ. Модель предназначена для генерации текста и ведения диалогов: ответов на вопросы, помощи пользователю и других сценариев, где требуется текстовый ассистент. Для работы рекомендуется использовать шаблон промпта Llama-2-Chat с системными инструкциями и пользовательским запросом. Модель основана на архитектуре Llama и содержит 7 миллиардов параметров. Она работает с текстом, поддерживает английский язык и рассчитана прежде всего на GPU-инференс. В репозитории доступны варианты с разными параметрами квантизации GPTQ, включая разрядность, размер групп, порядок активаций и другие настройки; конкретные варианты позволяют выбирать компромисс между требованиями к VRAM и точностью. Некоторые файлы совместимы с ExLlama, который поддерживает Llama-модели в 4-битном формате. К сильным сторонам относятся сниженные требования к памяти по сравнению с полноразмерной версией и наличие нескольких вариантов квантизации для различного оборудования. Ограничения связаны с потерями точности, возможными при квантизации, отсутствием мультимодальности и тем, что модель не предназначена для генерации фактически гарантированно достоверных ответов. Модель распространяется по лицензии Llama 2; её использование регулируется условиями лицензии Meta Llama 2.

duyntnet/Llama-3.1-SuperNova-Lite-imatrix-GGUF — набор GGUF-квантизаций модели Llama-3.1-SuperNova-Lite, разработанной Arcee.ai на основе архитектуры Llama-3.1-8B-Instruct. Модель предназначена для генерации текста, выполнения инструкций и широкого спектра прикладных задач, где важны высокая производительность и сниженные требования к ресурсам. Она может использоваться через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель содержит около 8 млрд параметров и представляет собой дистиллированную версию Llama-3.1-405B-Instruct: при обучении использовались офлайн-логиты крупной 405B-модели и набор инструкционных данных, созданный с помощью EvolKit. Заявлены сильные стороны в следовании инструкциям, производительности на бенчмарках и адаптации к предметным областям при компактном размере. В README указан английский язык; другие языки, размер контекста и точные характеристики отдельных квантизаций не приведены. Репозиторий содержит именно квантизированные варианты в формате GGUF с использованием imatrix, поэтому фактические требования к памяти и качество зависят от выбранной версии. Лицензия обозначена как other, но её конкретные условия в README не раскрыты.

Это 4-битная квантованная версия модели meta-llama/Llama-3.3-70B-Instruct, созданная и протестированная The Kaitchup. Модель сериализована в формате GPTQ с использованием AutoRound и симметричной квантизации. Модель предназначена для задач генерации текста и следования инструкциям на английском языке, включая диалоговые и другие NLP-сценарии, поддерживаемые исходной Llama 3.3 70B Instruct. Ключевая характеристика — размер исходной модели 70 млрд параметров и 4-битное представление весов, что уменьшает требования к памяти по сравнению с полной версией и делает запуск на совместимом GPU более доступным. К преимуществам относятся сохранение возможностей большой instruct-модели при сниженных требованиях к памяти, а также совместимость с инструментами и форматом GPTQ. Ограничения связаны с использованием квантования, которое может влиять на точность и качество генерации; сведения о контексте, поддерживаемых модальностях, производительности и конкретных требованиях к оборудованию в README не указаны. Модель распространяется по лицензии Llama 3.3.

Magistral Small 2506 — языковая модель от Mistral AI, представленная сообществом LM Studio в виде весов MLX в исходной точности bfloat16. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 23,4 млрд параметров, предназначенная для диалоговой генерации текста. Сборка подготовлена командой LM Studio с помощью mlx_lm и оптимизирована для Apple Silicon. Модель подходит для ведения диалога и генерации ответов на текстовые запросы; заявленная длина контекста составляет 49 152 токена. Веса распространяются по лицензии Apache-2.0. Эта публикация является производной сборкой базовой модели mistralai/Magistral-Small-2506; карточка не приводит специальных отраслевых назначений или дополнительных гарантий качества. Как и другие генеративные модели, она может выдавать неточную или неподходящую информацию.

Vezora/Mistral-14b-Merge-Base — базовая текстовая генеративная модель, созданная Николасом Мехией Пети путём объединения моделей Dolphin, Zephyr, MetaMath и Speechless Code на базе Mistral, а затем дообученная и объединённая с LoRA-адаптером. В репозитории указано около 14,3 млрд параметров; метаданные Hugging Face сообщают 14,1 млрд. Модель использует архитектуру MistralForCausalLM и формат safetensors, поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы, а её обучающий датасет был модифицированной версией airoboros-m-7b-3.1.2 в формате Alpaca. Языки и специализированные сценарии применения в карточке не уточняются. По описанию автора, модель может чрезмерно задавать встречные вопросы при обработке запросов длиннее 512 токенов — это указанное ограничение её обучения с QLoRA. Лицензия — Apache-2.0.

Mistral-7B-Instruct-v0.3-quantized.w4a16 — квантизированная версия языковой модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов, генерации текста и выполнения инструкций. Она принимает текст и генерирует текст, поддерживает чатовый формат взаимодействия и рассчитана на работу через vLLM или Transformers. Модель использует архитектуру Mistral-v0.3 и содержит 7 миллиардов параметров; точная длина контекста в README не указана. Веса линейных слоёв внутри трансформерных блоков сжаты до INT4 с применением симметричной групповой квантизации и размером группы 128. Это уменьшает объём дискового хранения и требования к памяти GPU примерно на 25% по сравнению с представлением FP16. Квантизация выполнена с помощью AutoGPTQ. На OpenLLM benchmark версии 1 модель получила средний результат 65,08 против 66,42 у неквантизированной версии, что указывает на небольшое снижение качества при более экономичном размещении и запуске. Основные ограничения — ориентация на английский язык и отсутствие заявленной поддержки других языков; использование за пределами применимого законодательства не допускается. Лицензия Apache-2.0 разрешает коммерческое и исследовательское применение при соблюдении её условий. Дата выпуска — 11 июля 2024 года, версия 1.0.