II.2Создание и понимание программного кода

Skywork-OR1-7B-GGUF — это квантизированная версия текстовой генеративной модели Skywork-OR1-7B, разработанной командой Skywork. Пакет подготовлен пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix; исходная модель обучалась на датасете Skywork-OR1-RL-Data. Модель предназначена для генерации текста и локального инференса в LM Studio, llama.cpp и других проектах на базе llama.cpp. Доступны варианты от BF16 до низкобитных квантований Q8_0, Q6, Q5, Q4, Q3 и Q2, благодаря чему можно выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Размер модели — 7B параметров; конкретный объём файлов составляет примерно от 3,35 до 15,24 ГБ в зависимости от варианта квантования. Сильной стороной является широкий выбор квантованных сборок, включая рекомендуемые варианты Q4_K_M, Q5 и Q6, позволяющие запускать модель локально на различных конфигурациях. Ограничения включают возможное снижение качества при использовании низкобитных вариантов, а также отсутствие в README сведений о поддерживаемых языках, длине контекста, точной архитектуре, мультимодальности и результатах бенчмарков. Лицензия в предоставленных данных не указана. Для корректной генерации следует использовать рекомендованный в README формат промпта.

SlimHercules-4.0-Mistral-7B-v0.2-imatrix-GGUF — набор квантованных версий модели SlimHercules-4.0-Mistral-7B-v0.2, опубликованной Locutusque. Модель предназначена для генерации текста и использует формат GGUF с imatrix-квантизацией, что делает её пригодной для локального запуска в совместимых инструментах вывода. В карточке также указан тег Mistral-7B, однако подробности об архитектуре и точном размере представлены только в идентификаторе модели. Модель обучалась на формате промптов OpenAI ChatML и поддерживает сценарии, связанные с function calling: в шаблоне предусмотрены отдельные сообщения для системных инструкций, пользователя, вызова функции и ответа функции. Указан английский язык и задача text-generation. Сведения о размере контекста, конкретных вариантах квантования, производительности, мультимодальности и ограничениях отсутствуют. Лицензия обозначена как other, без дополнительных условий в README.

Это квантованная версия модели solar-pro-preview-instruct, разработанной компанией Upstage и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и запуска через совместимые локальные инструменты и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio и другие приложения экосистемы GGUF. В README не указаны размер модели, архитектура исходной модели, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью работы и качеством генерации. Формат GGUF ориентирован на локальный запуск с возможным использованием GPU, однако конкретные требования к оборудованию не приведены. Лицензия в предоставленных данных не указана. README также не содержит результатов тестирования, поэтому нельзя сделать подтвержденные выводы о сильных сторонах, качестве на отдельных задачах или ограничениях модели, кроме зависимости характеристик от выбранного уровня квантования.

Stheno-Hercules-3.1-8B-GGUF — это квантованная GGUF-версия текстовой генеративной модели Stheno-Hercules-3.1-8B, разработанной ZeroXClem. Модель создана как merge-модель на основе Locutusque/Hercules-6.1-Llama-3.1-8B и Sao10K/Llama-3.1-8B-Stheno-v3.4. Квантование выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального инференса, в том числе через LM Studio и совместимые инструменты на базе llama.cpp. Доступны варианты от F16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Версии Q6_K_L, Q6_K, Q5 и Q4 отмечены автором как рекомендуемые; отдельные варианты оптимизированы для ARM-процессоров. Известно, что модель относится к семейству Llama 3.1 и имеет размер 8B параметров, однако сведения о точной архитектуре, максимальном контексте, поддерживаемых языках, мультимодальности, результатах оценки и специализированных сценариях в README не приведены. Квантование уменьшает требования к памяти, но может снижать качество по сравнению с исходными весами, особенно в вариантах с низкой точностью. Модель распространяется по лицензии Apache-2.0.

Ternary-Bonsai-2-27B-vllm — текстовая языковая модель, разработанная Fraser Price и неофициально перепакованная для vLLM на основе Bonsai 2 27B от Prism ML. Модель создана на базе Qwen3.8-27B от Alibaba Cloud и предназначена для генерации текста и запуска инференса через vLLM, включая сценарии со speculative decoding. Модель использует тернарные веса с 2-битным кодированием, FP16-групповыми масштабами g128 и Hadamard-преобразованием; таблица эмбеддингов хранится в BF16. Для speculative decoding применяется MTP-голова из Qwen3.8-27B, которая генерирует черновые токены, проверяемые основной моделью. В состав входит только текстовая модальность, без vision tower. Конкретные размеры контекста, языки и показатели производительности в README не указаны. Для работы требуется плагин prism_ternary для vLLM. Модель собрана и протестирована только на NVIDIA RTX PRO 6000 Blackwell, поэтому совместимость с другими GPU не подтверждена. Проект обозначен как находящийся в разработке; возможны нестабильность и несовместимые изменения. Распространяется по лицензии Apache 2.0.

Это MLX-представление Ternary Bonsai 27B, подготовленное inductiveML для запуска на компьютерах Apple Silicon. Модель основана на prism-ml/Ternary-Bonsai-27B-gguf и использует архитектуру Qwen3.5 с плотной авторегрессионной языковой моделью. Она предназначена для генерации текста и диалогов; чекпойнт содержит только языковую часть, без визуального модуля. Веса хранятся в упакованном троичном формате с плотностью 1,75 бита на вес и исполняются напрямую из упакованного хранилища с помощью Metal-ядер. README сообщает о побитном совпадении весов с исходным представлением, идентичном greedy-выводе и снижении используемой во время генерации памяти примерно на 22% относительно официальной 2-битной версии MLX. На M4 Max скорость генерации и обработки промпта ниже, чем у официального чекпойнта. Для запуска нужны Apple Silicon, не менее 16 ГБ объединённой памяти и mlx-lm версии 0.31.3 или новее; LM Studio не поддерживается, поскольку не исполняет код модели из репозитория. Лицензия — Apache-2.0.

Tiger-Gemma-9B-v2-GGUF — это набор GGUF-квантизаций базовой языковой модели TheDrummer/Tiger-Gemma-9B-v2. Квантизации подготовлены пользователем bartowski с помощью llama.cpp версии b3658 и метода imatrix. Модель предназначена для генерации текста и может запускаться локально, в частности через LM Studio или совместимые инструменты llama.cpp. Доступны варианты от исходных весов F16 размером 18,49 ГБ до компактных форматов Q2 и Q3 размером около 3,8–5,4 ГБ, а также более качественные Q4–Q8 и IQ-квантизации. В README не указаны архитектурные детали исходной модели, поддерживаемые языки, размер контекста и точные модальности; по назначению это текстовая модель без заявленной поддержки изображений или других типов данных. Сильной стороной набора является широкий выбор компромиссов между качеством, размером и требованиями к памяти: варианты Q5–Q6 отмечены как высококачественные и рекомендуемые, а некоторые Q4-форматы оптимизированы для ARM. Более агрессивные Q2–Q3-варианты экономят память, но снижают качество. Модель не поддерживает system prompt и требует специального шаблона с маркерами Gemma для диалога. Лицензия в README не указана.

Tool-Star-Qwen-7B — языковая модель для пошаговых рассуждений с вызовом внешних инструментов, созданная авторами фреймворка Tool-Star на базе Qwen. В карточке указана базовая модель Qwen2.5-3B-Instruct, а в метаданных Hugging Face — Qwen/Qwen2.5-7B-Instruct; поэтому точная связь между вариантом модели и базовым чекпойнтом неоднозначна. Метаданные описывают архитектуру как плотную Qwen2, класс Qwen2ForCausalLM, размер 7,1 млрд параметров и контекст до 32 768 токенов. Модель обучалась в два этапа: начальная настройка с обратной связью от инструментов и обучение с подкреплением для улучшения совместного использования нескольких инструментов в ходе рассуждений. Она предназначена для генерации текста и диалоговых сценариев, в которых модель формирует вызовы инструментов и использует их результаты. Авторы сообщают об оценке на наборах тестов для сложных рассуждений; карточка называет английский языком модели. В репозитории указаны веса Safetensors, библиотека Transformers и лицензия MIT.

TwinLlama-3.1-8B-trl-GGUF — набор GGUF-квантизированных версий языковой модели TwinLlama-3.1-8B-trl, разработанной mlabonne и квантизированной bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. README не уточняет специализацию модели, поддерживаемые языки и максимальный контекст. В набор входят версии от F16 до низкобитных вариантов Q2 и IQ2, размером примерно от 2,95 до 16,07 ГБ. Квантизация выполнена с использованием llama.cpp release b3615 и метода imatrix; отдельные варианты применяют Q8_0 для embedding- и output-весов, что может повысить качество при небольшом увеличении размера. В качестве рекомендуемых указаны прежде всего Q4–Q6, тогда как варианты Q2–Q3 экономят память, но заметно уступают по качеству. Сильная сторона набора — широкий выбор компромиссов между качеством, размером и требованиями к оперативной памяти, а также возможность локального инференса. Ограничения включают возможное снижение качества при агрессивной квантизации и отсутствие в README подробностей о базовой архитектуре, языках, контекстном окне, результатах тестирования и сценариях дообучения. Лицензия в предоставленных данных не указана.

jaromer/0bserverx-Qwen3.8-27B-Heretic-Abliterated-Uncensored-GGUF — это модифицированная версия Qwen3.8-27B от Qwen, дополнительно обработанная методом ARA (Arbitrary-Rank Ablation). Основой послужила версия trohrbaugh/Qwen3.8-27B-heretic-ara, созданная Tim Rohrbaugh; текущая сборка получила ещё два прохода ARA для уменьшения остаточных отказов. Точные сведения об авторах текущей доработки в README не указаны. Модель предназначена для генерации текста, исследовательских задач, творческого письма и ролевых сценариев, где требуется сниженное количество отказов. Это модель на 27 млрд параметров с архитектурой Qwen3.8 и гибридом Gated DeltaNet: 64 слоя, включая 16 стандартных attention-слоёв и 48 слоёв линейного внимания Gated DeltaNet. Используются GQA с 24 attention-heads и 4 KV-heads, размер скрытого состояния — 5120, словарь содержит 248 320 токенов, контекст — до 262 144 токенов. Модель поставляется в формате GGUF для llama.cpp; тензоры MTP/NextN исключены. Главное преимущество — существенно сниженная склонность к отказам при сохранении поведения базовой модели: по приведённым независимым измерениям, число отказов на наборе из 100 вредоносных запросов снизилось до 0–1, а отклонение KL составило около 0,0085. Ограничения связаны с намеренно ослабленными защитными механизмами, поэтому модель не подходит для сценариев, требующих строгих встроенных ограничений безопасности; отдельные guardrails сохранены. README указывает, что модель предназначена для совершеннолетних пользователей и должна применяться ответственно и в соответствии с местным законодательством. Лицензия — Apache-2.0, унаследованная от Qwen3.8-27B.

Это GGUF-квантизированная версия языковой модели Olmo-3-7B-Instruct, разработанной Allen Institute for AI (AI2) и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, включая работу через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Модель содержит 7 миллиардов параметров и распространяется в формате GGUF с вариантами от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и Q2. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны файлы размером примерно от 3,26 до 14,60 ГБ. Для общения следует использовать шаблон с ролями system, user и assistant в формате специальных токенов im_start и im_end. Сведения о длине контекста, архитектурных деталях, мультимодальности и поддержке других языков в README не указаны. Сильной стороной модели является широкий выбор квантизированных вариантов, позволяющий адаптировать качество, размер файла и требования к оперативной памяти; варианты Q4 и выше описаны как рекомендуемые для большинства сценариев. Более компактные варианты экономят память, но обеспечивают более низкое качество. Модель предназначена для локального запуска, однако конкретные требования к производительности зависят от выбранного варианта квантования и оборудования. Лицензия — Apache-2.0.

Baichuan-M2-32B-GGUF — это набор квантизированных и полноразмерных BF16-весов модели Baichuan-M2-32B, разработанной baichuan-inc и преобразованной в формат GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp версии b6115 и метода imatrix; доступны варианты от BF16 и Q8_0 до Q3 и IQ3/IQ4 с различным соотношением качества, размера и требований к памяти. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В README не указаны архитектурные детали, поддерживаемые языки, контекстное окно, мультимодальность или рекомендуемый prompt format, поэтому эти характеристики нельзя достоверно определить по представленным данным. Доступны файлы размером примерно от 13,7 до 65,5 ГБ; варианты Q6_K и Q6_K_L отмечены как обеспечивающие почти максимальное качество, а Q4_K_M — как компромиссный вариант для большинства сценариев. Основные преимущества — широкий выбор уровней квантизации, возможность локального использования и применение imatrix для сохранения качества при уменьшении размера. Более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать в качестве; низкобитные версии Q3 и IQ3 имеют ограничения и не всегда рекомендуются. Лицензия в README не указана, поэтому условия использования необходимо уточнять на странице исходной модели baichuan-inc/Baichuan-M2-32B.

BeaverAI_MN-2407-DSK-QwQify-v0.1-12B-GGUF — это GGUF-квантизированная версия языковой модели MN-2407-DSK-QwQify-v0.1-12B, разработанной BeaverAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска через LM Studio, llama.cpp и другие совместимые проекты на базе llama.cpp. Модель имеет 12 миллиардов параметров и поддерживает текстовую генерацию; сведения о мультимодальности, языках и размере контекста в README не указаны. Доступны варианты от BF16 до низкобитных квантизаций, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и другие. В README особенно рекомендуются Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M и Q4_K_S; Q4_K_M обозначен как оптимальный вариант для большинства сценариев по соотношению качества и размера. Сильной стороной модели является широкий выбор квантизаций для устройств с разным объёмом памяти, а применение imatrix ориентировано на сохранение качества при уменьшении размера. Ограничения включают отсутствие опубликованных результатов тестирования и подробных характеристик исходной архитектуры, языковой поддержки и контекстного окна. Указанная лицензия — Apache-2.0.

Это GGUF-квантизированная версия языковой модели Kevin-32B, разработанной cognition-ai и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. Доступны варианты от BF16 до низкоразрядных квантов, что позволяет выбирать между качеством, размером файлов и требованиями к оперативной памяти. В основе лежит модель Kevin-32B с 32 миллиардами параметров. В README не указаны архитектура исходной модели, поддерживаемые языки, длина контекста и мультимодальные возможности, поэтому эти характеристики нельзя достоверно определить. Формат prompt предполагает шаблон с ролями system, user и assistant, а также секцией <think>. Более высокие варианты квантования, такие как Q6_K_L, Q6_K и Q5_K, заявлены как обеспечивающие очень высокое или высокое качество, тогда как Q3 и Q2-варианты экономят память за счёт заметного снижения качества. Сильная сторона сборки — широкий выбор квантов и совместимость с локальным инференсом через llama.cpp, включая запуск на устройствах с ограниченными ресурсами. Ограничения связаны с потерями качества при использовании низкоразрядных вариантов, значительным размером файлов и отсутствием в README сведений о лицензии, результатах тестирования и точных требованиях к оборудованию. Условия использования исходной модели и квантованных файлов не указаны.

EVA-QwQ-32B-Preview-GGUF — это набор квантизованных версий языковой модели EVA-QwQ-32B-Preview, подготовленный пользователем bartowski на основе merge-модели win10/EVA-QwQ-32B-Preview. Модель предназначена для генерации текста и запуска локальных текстовых сценариев через llama.cpp и совместимые приложения, включая LM Studio. Для общения используется шаблон prompt с ролями system, user и assistant. В набор входят файлы GGUF с точностью от BF16 до различных вариантов 3- и 4-битного, 5-, 6- и 8-битного квантования. Полная BF16-версия занимает 65,54 ГБ, а размеры квантованных вариантов составляют примерно от 13,71 до 34,82 ГБ. Для квантования применялся imatrix с llama.cpp версии b4222. Более качественные варианты Q6_K_L, Q6_K, Q5_K и Q4_K обозначены как рекомендуемые; версии с меньшим размером требуют меньше оперативной памяти, но могут заметно уступать по качеству. README не содержит сведений об архитектуре исходной модели, размере контекста, поддерживаемых языках, мультимодальности, результатах тестирования или лицензии. Поэтому сильные стороны можно уверенно связать только с широким выбором форматов и возможностью локального запуска, а ограничения — с высокими требованиями к памяти и потенциальной потерей качества при сильном квантовании. Для отдельных ARM-вариантов указаны требования к поддержке SVE или i8mm; некоторые из них не рекомендуется использовать на Mac или с GPU.

Gemma-2-Ataraxy-9B-GGUF — это набор квантизированных версий текстовой генеративной модели Gemma-2-Ataraxy-9B, созданной lemon07r и опубликованной в формате GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp release b3561 и метода imatrix; модель предназначена для локального запуска, в том числе через LM Studio, и поддерживает сценарии генерации текста в совместимых приложениях на базе llama.cpp. Исходная модель относится к семейству Gemma, однако в README не указаны точная архитектура, поддерживаемые языки, длина контекста и дополнительные модальности. Модель не поддерживает системный prompt и требует специального шаблона prompt с маркерами ролей Gemma. Доступны варианты от f32 размером 36,97 ГБ до IQ2_M размером 3,43 ГБ, включая Q8_0, Q6, Q5, Q4, Q3, Q2 и IQ-квантизации. Версии с более высокой точностью обычно лучше сохраняют качество, тогда как младшие варианты экономят оперативную память, но заметно уступают по качеству; наиболее рекомендуемыми в README названы многие варианты Q6–Q4. Формат GGUF и широкий выбор уровней квантизации позволяют подобрать баланс между качеством и требованиями к памяти. Модель распространяется по лицензии Gemma; условия лицензии следует учитывать при использовании.

Hampetiudo/gemma-2-Ifable-9B-i1-GGUF — это квантизированное представление языковой модели ifable/gemma-2-Ifable-9B, построенное на базе Gemma 2. Модель предназначена для генерации текста и локального запуска в совместимых приложениях и инструментах, включая llama.cpp. В карточке указано несколько вариантов точности и квантизации в формате GGUF. Модель разработана на основе ifable/gemma-2-Ifable-9B, а файлы квантизации подготовлены с использованием llama.cpp версии b3804. Для большинства вариантов применялся метод imatrix; BF16 сохранён в исходной точности. При подготовке использовался контекст размером 8192 токена, однако архитектура, точный размер контекста, поддерживаемые языки и модальности в README не описаны. К сильным сторонам относятся доступность разных вариантов квантизации и возможность адаптировать требования к памяти и производительности под конкретное оборудование. Ограничения включают отсутствие подробных сведений о качестве, бенчмарках, языковой поддержке и рекомендуемых сценариях. Модель распространяется по лицензии gemma. Для использования необходимо учитывать условия этой лицензии и совместимость выбранного GGUF-варианта с используемым программным обеспечением.

Gemma-4-26B-A4B-it-ROCmFP4-GGUF — квантизированная GGUF-версия мультимодальной модели Google Gemma-4-26B-A4B-it, опубликованная пользователем kingjones777. Модель предназначена для генерации текста и работы с изображениями; заявлена поддержка vision, а также сценариев с speculative decoding и tool calling. Архитектура MoE содержит 26 млрд параметров всего, из которых около 4 млрд активируются для каждого токена. Доступны варианты квантизации ROCmFP4 и ROCmFPX с разрядностью от 4 до 8 бит и размером примерно от 12,7 до 24,7 GiB. Для vision требуется отдельный проектор mmproj-BF16.gguf, а для speculative decoding — drafter mtp-gemma-4-26B-A4B-it-Q8_0.gguf. На AMD Strix Halo с Ryzen AI MAX+ 395, 128 ГБ unified memory и ROCm 7.2.4 заявлена скорость до 60,11 токена в секунду с MTP и до 58,33 токена в секунду без него. Основные преимущества — сочетание текстовых и визуальных возможностей, MoE-эффективность, несколько вариантов точности и высокая производительность на совместимом AMD-оборудовании. Ограничение состоит в том, что модель требует сборку llama.cpp с поддержкой ROCmFPX и не загружается в стандартные llama.cpp, Ollama или LM Studio. MTP и vision нельзя использовать одновременно, а совместимость speculative decoding может зависеть от версии сборки и платформы. Лицензия указана как Gemma; поддерживаемые языки и максимальный контекст в README не обозначены.

LiconStudio/Gemma-4-31B-it-abliterated-GGUF — модифицированная версия Google Gemma 4 31B Instruct, распространяемая в формате GGUF. Модель создана с применением метода Heretic ABLiteration: из исходных весов удалено нейронное направление, связанное с отказами в ответах, без изменения архитектуры и без дополнительных затрат при инференсе. Согласно README, версия ориентирована на снижение частоты отказов при сохранении исходных возможностей модели. Модель предназначена для генерации текста, исследований чувствительных тем, анализа, тестирования безопасности, red-teaming и академических исследований выравнивания моделей. Также заявлена поддержка мультимодальных сценариев с изображениями и текстом благодаря возможностям Gemma 4; при этом vision encoder остался без изменений. Указаны языки Chinese и English. Размер модели — 31B параметров; сведения о длине контекста и точной конфигурации GGUF в README отсутствуют. Сильной стороной является низкая частота отказов: в ручном тестировании для Abliterated Version указано 4 отказа из 100, при этом авторы не наблюдали заметного ухудшения интеллектуальных способностей по сравнению с официальной версией. Ограничения включают возможную небольшую потерю качества на сложных задачах, отсутствие встроенных механизмов цензуры и необходимость самостоятельно оценивать безопасность результатов. Модель не рекомендуется для производственных систем, требующих модерации контента, приложений для несовершеннолетних и сценариев с юридическими рисками. Лицензия — Apache-2.0. Авторы предназначают модель для исследовательских и образовательных целей и предупреждают, что она может генерировать вредный, опасный или неприемлемый контент; ответственность за использование несёт пользователь.

Это GGUF-версия модели gemma-4-E4B-Gemini-3.1-Pro-Reasoning-Distill, разработанной Ayodele01. Репозиторий содержит скомпилированные и квантованные файлы, подготовленные с использованием llama.cpp для эффективного локального запуска на пользовательском оборудовании. Модель предназначена для генерации текста и локального инференса. Доступны варианты квантования с разрядностью от 3 до 8 бит: Q8_0 обеспечивает качество, близкое к неквантованной версии, а Q3_K_M отличается максимальным сжатием, более высокой скоростью и сниженным качеством. Вариант Q4_K_M рекомендован как компромисс между скоростью, потреблением памяти и качеством. README не содержит сведений о точном числе параметров, архитектуре, поддерживаемых языках, длине контекста, мультимодальности, результатах тестирования или лицензии, поэтому эти характеристики нельзя определить по имеющимся данным.

GLM-4.7-Flash-4bit — языковая модель для генерации текста, разработанная сообществом mlx-community на основе zai-org/GLM-4.7-Flash. Модель преобразована в формат MLX с использованием mlx-lm версии 0.30.5 и предназначена для запуска через библиотеку mlx-lm. В README указана поддержка английского и китайского языков, а также сценарии диалоговой генерации текста с применением chat template. Модель использует 4-битное представление, однако сведения о точной архитектуре, количестве параметров, размере контекста, доступных модальностях, результатах тестирования и ограничениях качества не приведены. README содержит пример загрузки модели и генерации ответа через Python API mlx_lm. Лицензия модели — MIT.

Это пакет распределённого запуска модели GLM-5.2 в формате GGUF, подготовленный Mesh LLM. Он разбивает вариант UD-Q4_K_XL на артефакты по слоям, чтобы распределять вычисления между компьютерами в локальном кластере Mesh LLM. Пакет предназначен для локального и приватного инференса, обслуживания чатов через совместимый с OpenAI API и запуска на нескольких машинах, когда модель не помещается на одном узле. Он основан на unsloth/GLM-5.2-GGUF и использует квантованный вариант UD-Q4_K_XL; библиотека запуска — Mesh LLM. README не приводит число параметров, длину контекста, поддерживаемые языки или условия лицензии. За сведениями об архитектуре, шаблоне чата, настройках генерации и лицензии README отсылает к карточке исходной модели.

apurvaga/go-browse-wa-qwen-7B — языковая модель семейства Qwen2 с плотной архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров. Она рассчитана на генерацию текста в диалоговом формате; метаданные также отмечают интерфейс вызова инструментов. Модель использует библиотеку Transformers и распространяется в формате safetensors. Размер её контекстного окна — 32 768 токенов. README не содержит сведений о разработчике, обучении, целевых сценариях или качестве модели. Условия лицензии в доступных данных не приведены.

Это пакет весов gpt-oss-20b-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого запуска через Mesh LLM. Он основан на GGUF-варианте unsloth/gpt-oss-20b-GGUF и сохраняет исходное распределение модели по слоям в отдельных артефактах. Формат GGUF и вариант UD-Q4_K_XL предназначены для локального инференса на одном или нескольких объединённых компьютерах. Пакет рассчитан на генерацию текста и диалоговые сценарии: локальные приватные ответы, обслуживание запросов с нескольких машин и работу через локальный API, совместимый с OpenAI Chat Completions. Репозиторий содержит пакет слоёв для распределённого инференса, поэтому для запуска требуется Mesh LLM. Подробные сведения об архитектуре, контекстном окне и условиях лицензии следует сверять с карточкой исходной модели unsloth/gpt-oss-20b-GGUF; в доступном README они не приведены.

Gryphe_Tiamat-24B-Magistral-GGUF — это набор GGUF-квантизаций модели Tiamat-24B-Magistral, разработанной Gryphe и опубликованной в квантизированном виде пользователем bartowski. Модель предназначена для генерации текста, включая инструкционные сценарии и roleplay. Указан английский язык; поддерживаются локальный запуск через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит 24 миллиарда параметров. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством и требованиями к памяти. Квантизация выполнена с использованием imatrix на базе llama.cpp; для взаимодействия рекомендуется формат промпта с секциями SYSTEM_PROMPT и INST. Контекстное окно, точная архитектура и мультимодальные возможности в предоставленных данных не указаны. Сильной стороной набора является широкий выбор размеров файлов и форматов, включая варианты, ориентированные на высокое качество или ограниченный объём оперативной памяти. Более низкие уровни квантизации могут заметно снижать качество, а некоторые варианты обозначены как устаревшие или нерекомендуемые. Лицензия модели — Apache-2.0.

timdettmers/guanaco-33b-merged — крупная языковая модель семейства Guanaco, разработанная Tim Dettmers и основанная на LLaMA. Guanaco — это чат-модели, дообученные методом 4-bit QLoRA на наборе данных OASST1; данная версия содержит объединённые веса для варианта на 33 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия с пользователем. Модель использует архитектуру LLaMA и поддерживает задачу text-generation через Transformers и совместимые средства инференса. Согласно метаданным, размер составляет 32,3 млрд параметров, а native context — 2048 токенов. Основной сценарий применения — исследовательские эксперименты с локальными чат-ботами, ответами на инструкции и генерацией текста. Модель может выдавать проблематичные или неточные ответы и не предназначена для неконтролируемого использования в критически важных системах. В карточке семейства Guanaco также отмечено, что 4-битный инференс может быть медленным. Лицензия для объединённой версии надёжно не установлена по доступным источникам.

Huihui-gpt-oss-20b-BF16-abliterated-GGUF — это набор квантованных версий текстовой генеративной модели Huihui-gpt-oss-20b-BF16-abliterated, разработанной huihui-ai. Репозиторий подготовлен bartowski в формате GGUF с использованием llama.cpp и imatrix-квантования. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и совместимых приложениях. В набор входят исходные веса BF16 и варианты квантования Q8_0, MXFP4_MOE, Q6, Q5, Q4, Q3 и Q2, размером примерно от 11,5 до 41,9 ГБ. Версии различаются балансом между качеством, требованиями к памяти и скоростью работы; наиболее качественными и рекомендуемыми в README названы Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS. Некоторые варианты ориентированы на ограниченный объём оперативной памяти или особенности ARM и Apple Silicon. README не содержит сведений об архитектуре модели, поддерживаемых языках, размере контекста, модальностях, точной методике создания исходной модели или лицензии. Формат prompt также не указан, поэтому перед использованием следует обратиться к странице исходной модели.

DevQuasar/huihui-ai.Qwen3-14B-abliterated-GGUF — это квантизированная версия модели huihui-ai/Qwen3-14B-abliterated в формате GGUF. Модель предназначена для генерации текста и локального запуска в совместимых инструментах вывода. В основе лежит Qwen3-14B-abliterated с заявленным размером 14 млрд параметров. README не содержит сведений о конкретном варианте квантизации, архитектурных деталях, поддерживаемых языках, длине контекста или доступных модальностях, поэтому эти характеристики нельзя определить достоверно. Сильной стороной является возможность использовать более компактное представление базовой модели, однако качество и требования к ресурсам зависят от выбранного уровня квантизации. Модель опубликована под идентификатором DevQuasar, а исходной моделью указана huihui-ai/Qwen3-14B-abliterated. Лицензия и условия использования в README не указаны.

Это GGUF-квантизированная версия языковой модели Granite 4.0 H Tiny, разработанной IBM Granite и опубликованной в исходном виде под идентификатором ibm-granite/granite-4.0-h-tiny. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других совместимых проектах. Доступны варианты от исходных весов в формате BF16 размером 13,89 ГБ до компактных квантов размером примерно от 3,15 до 7,39 ГБ. Предлагаются форматы Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3_K и другие, что позволяет выбирать между качеством, скоростью и требованиями к оперативной памяти. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q5_K, Q6_K и близкие к ним; низкобитные варианты подходят для систем с ограниченными ресурсами, но дают более низкое качество. README не содержит сведений об архитектуре, числе параметров, поддерживаемых языках, размере контекста, мультимодальности или лицензии исходной модели. Также формат приглашений не указан, поэтому его следует уточнять на странице оригинальной модели. Ключевые ограничения связаны с потерями качества при использовании сильной квантизации и отсутствием в данной карточке подробных характеристик базовой модели и условий лицензирования.

ibm-granite_granite-4.0-micro-GGUF — набор GGUF-квантизаций модели granite-4.0-micro, разработанной IBM под идентификатором ibm-granite и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Доступны варианты от полного BF16 до низкобитных Q- и IQ-квантизаций размером примерно от 1,5 до 6,81 ГБ. Ключевая особенность — использование imatrix-квантизации, призванной сохранить высокое качество при уменьшении требований к памяти. В README рекомендуются варианты Q4–Q6 и некоторые IQ-форматы; Q6 заявлены как почти неотличимые от исходного качества, а Q4_K_M — как сбалансированный вариант для большинства сценариев. Более компактные Q3 и IQ3 требуют меньше оперативной памяти, но обеспечивают более низкое качество. Сведения об архитектуре, числе параметров, поддерживаемых языках, длине контекста и модальностях в README отсутствуют; формат prompt также не указан, поэтому его следует уточнять на странице исходной модели. Лицензия в предоставленных данных не указана.