II.2Создание и понимание программного кода

Qwen3.8-27B-SX8 — это квантованный вариант Qwen3.8-27B, подготовленный MarlaLabsAI в формате S-X8 v4.3. Модель предназначена для локального диалога и генерации текста; репозиторий содержит веса в контейнерах SX8 и GGUF, а также вариант с vision-компонентом в родном контейнере. Для запуска предусмотрены Python-runtime с CUDA-ядрами и форк llama.cpp. Контейнер весит 26,1 ГБ; квантование описано как 7,50 бит на параметр, с косинусным сходством 0,999753 в среднем по тензорам. По карточке, модель прошла функциональную локальную проверку, но формальные бенчмарки именно для версии 27B ещё не опубликованы. Численные результаты, приведённые в README, относятся к варианту Qwen3.5-4B и не подтверждают качество этой сборки. Базовая модель описана как мультимодальная; однако GGUF-контейнер не включает MTP-компонент, а README не описывает полноценные сценарии работы с изображениями. Лицензия — Apache-2.0.

Это пакет GGUF-весов Qwen3-VL-32B-Thinking, подготовленный Mesh LLM для распределённого инференса. Он разделяет исходную модель unsloth/Qwen3-VL-32B-Thinking-GGUF с вариантом квантования UD-Q4_K_XL на артефакты по слоям, чтобы запускать её на кластере локальных машин и обслуживать через совместимый с OpenAI API Mesh LLM. Модель предназначена для диалогов и генерации текста в локальных и приватных сценариях, в том числе когда полный файл модели не помещается на одном компьютере. Семейство Qwen3-VL указывает на визуально-языковое назначение исходной модели, однако эта карточка описывает пакет и его инференс через текстовый API, а не подтверждает конкретные возможности обработки изображений. Пакет использует формат GGUF и библиотеку mesh-llm. Лицензионные условия следует сверять с карточкой исходной модели unsloth/Qwen3-VL-32B-Thinking-GGUF.

Qwerus-7B-GGUF — набор GGUF-квантизаций модели Qwerus-7B, разработанный bartowski на основе модели mlabonne/Qwerus-7B. Квантизация выполнена с использованием llama.cpp версии b4418 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio и совместимые инструменты llama.cpp. В набор входят варианты от исходных весов F16 размером 15,24 ГБ до компактных квантов IQ2_M размером 2,78 ГБ. Доступны форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ. Более крупные варианты обеспечивают более высокое качество, а компактные требуют меньше оперативной памяти, но сильнее теряют в качестве. Для большинства сценариев автор рекомендует Q4_K_M как сбалансированный вариант, а Q5_K и Q6_K — как более качественные. Из README не указаны архитектура исходной модели, размер контекстного окна, поддерживаемые языки и модальности. Приведён шаблон диалога с ролями system, user и assistant. Лицензия модели — MIT.

bartowski/QwQ-32B-Preview-GGUF — набор GGUF-квантизаций языковой модели QwQ-32B-Preview, разработанной Qwen и опубликованной в формате для запуска через llama.cpp. Репозиторий подготовлен bartowski с использованием imatrix-квантизации и совместим, в частности, с LM Studio. Модель предназначена для генерации текста и чат-сценариев; указан поддерживаемый язык English. Формат взаимодействия использует шаблон сообщений Qwen с ролями system, user и assistant. Доступны варианты от полноразмерных BF16 весов размером 65,54 ГБ до квантизаций Q2–Q8 объёмом примерно от 13 до 35 ГБ. Среди наиболее качественных вариантов README рекомендует Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S и Q4_K-варианты; Q4_K_M обозначен как типичный выбор для большинства сценариев. Некоторые файлы оптимизированы для ARM и имеют ограничения по аппаратной совместимости. Архитектура, модальности и размер контекста в README не указаны, поэтому сделать выводы о них нельзя. Модель распространяется по лицензии Apache-2.0. Основные ограничения связаны с большим объёмом файлов и зависимостью производительности от выбранного уровня квантизации и оборудования; низкобитные варианты экономят память, но снижают качество. Для запуска требуется совместимое ПО, например llama.cpp или LM Studio.

bartowski/Replete-LLM-V2.5-Qwen-32b-GGUF — это набор GGUF-квантизаций модели Replete-LLM-V2.5-Qwen-32b, разработанной rombodawg и опубликованной в квантизированном виде пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе в LM Studio. Для работы используется формат prompt с ролями system, user и assistant. В набор входят варианты от исходных весов F16 размером 65,54 ГБ до квантизаций Q2, Q3, Q4, Q5, Q6, Q8 и IQ, размером примерно от 13,07 до 34,82 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp b3972. Наиболее качественными и рекомендуемыми автор считает варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; более компактные варианты снижают качество, но подходят для систем с ограниченным объёмом оперативной памяти. README не содержит сведений о точной архитектуре базовой модели, размере контекста, поддерживаемых языках, мультимодальности, результатах тестирования или специализированных сценариях применения. Лицензия указана как Apache-2.0.

MindLink-32B-0801-GGUF — это GGUF-квантизованная версия языковой модели MindLink-32B-0801, разработанной Skywork и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска в llama.cpp, LM Studio и других совместимых проектах на базе llama.cpp. Модель имеет размер 32B параметров и поставляется в вариантах от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные форматы. Размер файлов составляет примерно от 13,7 до 65,5 ГБ в зависимости от варианта. Квантизация выполнена с использованием imatrix на базе llama.cpp release b6014; старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее уступают в качестве. Поддерживаемые языки, размер контекстного окна, точная архитектура, мультимодальность и специализация исходной модели в README не указаны. Сильная сторона модели — широкий выбор квантизаций для локального запуска и возможность подобрать баланс между качеством, потреблением памяти и скоростью. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q5 и Q6. Ограничением является отсутствие указанного chat template: в README отмечено, что используется шаблон по умолчанию, который может быть некорректным, поэтому его следует сверять с карточкой исходной модели. Лицензия в предоставленных данных не указана.

Skywork_MindLink-72B-0801-GGUF — это квантизированная версия языковой модели Skywork/MindLink-72B-0801, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Базовая модель имеет размер 72B параметров. Доступны варианты квантования от Q8_0 до Q2 и IQ-квантов, различающиеся размером файлов, требованиями к памяти и качеством вывода. Наиболее качественными и рекомендуемыми в README названы Q6_K, Q5_K_M, Q5_K_S и Q4_K_M; облегчённые варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать по качеству. Для модели не указан официальный chat template, поэтому предложенный формат промпта может потребовать проверки по исходной карточке модели. README не содержит сведений о языках, длине контекста, точной архитектуре, специализированных сценариях применения или лицензии. Для использования необходима среда, совместимая с llama.cpp, а выбор варианта следует делать с учётом доступной памяти и требуемого качества.

Skywork-OR1-7B-Preview-GGUF — это набор GGUF-квантизаций языковой модели Skywork-OR1-7B-Preview, разработанной командой Skywork и подготовленной пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В README указаны различные варианты квантизации размером примерно от 3,5 до 15,24 ГБ, включая BF16, Q8_0, Q6_K, Q5_K, Q4_K и Q3_K; конкретный объём памяти и качество зависят от выбранного файла. Для работы используется специальный формат промпта с системным сообщением, запросом пользователя и ответом ассистента. Модель ориентирована на локальный инференс с выбором компромисса между качеством, скоростью и требованиями к памяти. В README рекомендуются варианты Q6_K_L, Q6_K, Q5_K, Q4_K и IQ4_XS; низкобитные варианты подходят для систем с ограниченным объёмом RAM, но обеспечивают более низкое качество. Данные о точной архитектуре, размере контекста, поддерживаемых языках, модальностях, результатах оценки и лицензии в предоставленном README отсутствуют. Условия использования самой базовой модели также не указаны.

Это квантизированная в формате NVFP4 GGUF версия Swift-Qwen3.8-27B-Genesis, подготовленная jan1k на основе весов LuffyTheFox/Swift-Qwen3.8-27B-Genesis-F16-GGUF. Модель использует архитектуру qwen35: 64 слоя, включая 48 Gated DeltaNet и 16 gated-attention, а также блок MTP для спекулятивного декодирования. Вариант v4 содержит 27 млрд параметров по названию модели и занимает около 15,76 ГБ; для совместимых мультимодальных запросов README показывает подключение отдельного mmproj-файла. Модель предназначена для генерации текста в формате чата и локального инференса через совместимые GGUF-рантаймы, включая llama.cpp и LM Studio. В README приведены настройки контекста до 131072 токенов и ускорение на видеокартах Blackwell; на Ampere используются резервные вычислительные ядра. Квантизация снижает требования к памяти, сохраняя большую часть весов в NVFP4 и отдельные чувствительные тензоры в F16 или F32. Репозиторий распространяется по лицензии Apache-2.0. Качество генерации после низкобитной квантизации может отличаться от исходного F16; для спекулятивного декодирования нужен runtime с FastMTP, а для вариантов без MTP оно не требуется. README описывает подключение проектора изображений, но отдельный vision-проектор в репозитории модели не заявлен.

Ternary-Bonsai-4B-gguf — языковая модель для генерации текста, разработанная Prism ML. Она основана на Qwen3-4B и распространяется в формате GGUF Q2_0 для запуска через llama.cpp, включая локальное и on-device использование на CPU и GPU. Модель содержит около 4 млрд параметров, из которых примерно 3,6 млрд не относятся к эмбеддингам. Архитектура включает 36 блоков Transformer-декодера, GQA с 32 query- и 8 KV-головами, SwiGLU, RoPE и RMSNorm. Контекст составляет 32 768 токенов, размер словаря — 151 936. Веса представлены в троичном виде {-1, 0, +1} с групповым масштабированием FP16; размер рекомендуемого файла Q2_0 составляет около 1,02 ГБ, что примерно в 7,3 раза меньше FP16-версии. Сильные стороны модели — существенно сниженные требования к памяти, эффективный запуск на совместимом оборудовании и практически без потерь относительно FP16-базиса для троичных весов. В опубликованных тестах она набрала средний результат 70,7 балла, однако уступила полноразмерной Qwen3-4B по большинству приведённых метрик. Для поддержки формата Q2_0 требуется форк llama.cpp от Prism ML с веткой prism, поскольку эта возможность ещё не входит в основную версию проекта. Модель распространяется по лицензии Apache 2.0; поддерживаемые языки в README не указаны.

TigerBot 7B SFT v1 — языковая модель семейства BLOOM, опубликованная TigerResearch. Карточка представляет её как основу для создания собственных больших языковых моделей; метаданные указывают 9,1 млрд параметров и архитектуру плотной авторегрессионной модели BloomForCausalLM на PyTorch. Модель предназначена для генерации текста и может служить основой для пользовательских приложений на базе LLM. README не описывает конкретные сценарии тонкой настройки или специальные возможности; поддержка отдельных языков и длина контекста в доступных данных не подтверждены. Модель распространяется по лицензии Apache 2.0.

Это GGUF-квантизированная версия языковой модели TildeOpen-30b, разработанной TildeAI. Репозиторий подготовлен пользователем bartowski с использованием llama.cpp версии b6317 и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Модель содержит около 30 миллиардов параметров и представлена в форматах от BF16 до различных вариантов квантования Q8, Q6, Q5, Q4, Q3 и Q2. Размер файлов варьируется примерно от 12 до 61 ГБ. Более высокие варианты квантования обеспечивают лучшее качество при больших требованиях к памяти, а низкие позволяют запускать модель на системах с ограниченными ресурсами, но с заметным снижением качества. Для версии не указан шаблон промпта; README также не содержит данных о поддерживаемых языках, длине контекста, архитектуре, мультимодальности или лицензии. Основные сильные стороны — широкий выбор уровней квантования, возможность локального использования и оптимизация imatrix, направленная на сохранение качества при уменьшении размера. Ограничения связаны с высокими требованиями к памяти для крупных вариантов, возможным ухудшением качества у низкобитных версий и отсутствием в README информации о лицензии и характеристиках исходной модели.

bartowski/TwinLlama-3.1-8B-GGUF — набор GGUF-квантизаций базовой модели mlabonne/TwinLlama-3.1-8B, подготовленный пользователем bartowski с помощью llama.cpp и калибровки imatrix. Модель предназначена для генерации текста и локального запуска в совместимых приложениях, включая LM Studio, а также для использования через инструменты экосистемы llama.cpp. Доступны варианты от полноразмерных весов F16 до компактных IQ- и Q-квантизаций с размерами примерно от 2,95 до 16,07 ГБ. Более высокие уровни квантования, такие как Q6_K, Q6_K_L и Q8_0, лучше сохраняют качество, но требуют больше памяти; варианты Q4 и Q3 обеспечивают компромисс между качеством и требованиями к ресурсам, а Q2 и некоторые IQ-варианты ориентированы на минимальный объём памяти и могут заметно уступать по качеству. В отдельных вариантах embedding- и output-веса сохранены в Q8_0 для потенциального улучшения качества. В README не указаны архитектурные подробности, поддерживаемые языки, размер контекстного окна, точный формат промпта, результаты оценки и лицензия. Поэтому пригодность модели для конкретных языков и сценариев, а также юридические условия использования следует уточнять на странице исходной модели и в сопутствующих материалах.

Virtuoso-Lite-GGUF — это набор GGUF-квантизаций языковой модели Virtuoso-Lite, разработанной arcee-ai и сконвертированной пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и запуска в локальных приложениях и средах, совместимых с llama.cpp, включая LM Studio. В README также указана поддержка запуска через другие проекты на базе llama.cpp. Точные сведения об архитектуре, количестве параметров, максимальном контексте, языках и поддерживаемых модальностях не указаны. Доступны варианты от исходных полноточных F32-весов размером 41,23 ГБ до сильно сжатых IQ2_S размером 3,32 ГБ. Большинство вариантов созданы с применением imatrix; рекомендуемыми названы, в частности, Q4_K_M, Q5_K_M, Q6_K и Q6_K_L. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти, тогда как варианты Q2 и Q3 ориентированы на устройства с ограниченным объёмом RAM и характеризуются сниженным качеством. Для работы используется формат prompt: system, user и assistant с соответствующими специальными токенами. Лицензия обозначена как other, однако её конкретные условия в README не приведены, поэтому перед использованием необходимо проверить лицензию исходной модели arcee-ai/Virtuoso-Lite и условия распространения квантизированных файлов.

Карточка модели claudios/VulBERTa-MLP-D2A на Hugging Face совпадает с карточкой claudios/VulBERTa-MLP-MVD, поэтому описание составлено по ней. Это неофициальная версия VulBERTa с классификационной MLP-головой, представленная на Hugging Face. Модель разработана Hazim Hanif и Sergio Maffeis из Имперского колледжа Лондона и дообучена на C-коде из набора CodeXGlue Devign для классификации функций исходного кода по наличию уязвимостей. В основе модели — RoBERTa с 151,6 млн параметров; для токенизации используется упрощённый процесс с удалением комментариев. Контекст составляет до 1026 токенов. Модель предназначена для выявления потенциально уязвимого C-кода и может применяться в анализе безопасности и экспериментах по обнаружению дефектов кода. Для токенизации требуется libclang. Лицензия — MIT.

YanoljaNEXT-EEVE-Rosetta-7B-2602 — дообученная YanoljaNEXT модель перевода на архитектуре MistralForCausalLM с 7,6 млрд параметров. Она предназначена для перевода структурированных данных в форматах JSON, YAML и XML с сохранением исходных ключей и схемы. В основе лежит ByteDance-Seed/Seed-X-PPO-7B; для версии EEVE-Rosetta расширили словарь токенизатором семейства Gemma и обучили модель в формате Rosetta. Модель рассчитана на многоязычные конвейеры перевода. Метаданные указывают контекст до 32 768 токенов, а README уточняет, что обучение проводилось с длиной контекста 8 192 токена. Модель может нарушать структуру результата, повторять текст или частично переводить длинные контексты; качество также зависит от языковой пары и специализированной терминологии. Лицензия — OpenMDW-1.0.

Это набор GGUF-квантизаций модели AIGym/Llama-3-8B-Instruct-Gradient-1048k-Agent, подготовленный командой featherless-ai-quants. Модель предназначена для генерации текста и использования в сценариях, где требуется инструкционно настроенный языковой агент, включая локальный запуск совместимых с GGUF инструментов. README не уточняет конкретные прикладные задачи, поведение агента или методику обучения. В основе лежит модель семейства Llama 3 с заявленным размером 8B параметров. Указано контекстное окно до 1 048 000 токенов, однако подробности архитектуры, поддерживаемые языки и модальности не приведены; по назначению это текстовая, а не мультимодальная модель. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. Выбор варианта позволяет находить компромисс между требованиями к памяти и сохранением качества, но README не содержит сравнительных оценок производительности. Лицензия в README не указана, поэтому условия коммерческого и иного использования необходимо уточнить в источнике базовой модели и для опубликованных квантизаций. Также не приведены результаты тестирования, системные требования, рекомендуемые параметры запуска и сведения о совместимых рантаймах.

AMD-OLMo-1B-SFT-DPO-GGUF — набор квантованных версий языковой модели AMD-OLMo-1B-SFT-DPO, подготовленный пользователем bartowski с использованием llama.cpp и метода imatrix. Базовая модель разработана AMD; в обучении указано использование датасета allenai/dolma. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio и llama.cpp. В репозитории представлены варианты в формате GGUF: от полноточной версии F16 размером 2,36 ГБ до квантований IQ3_M размером 0,57 ГБ. Доступны уровни Q3–Q8 и специальные варианты, оптимизированные для ARM-процессоров. Некоторые версии используют Q8_0 для embedding- и output-весов, что призвано сохранить качество при уменьшенном размере. Рекомендуемый шаблон промпта включает роли system, user и assistant. Точные архитектурные характеристики, поддерживаемые языки и размер контекста в README не указаны. Сильная сторона модели — широкий выбор квантований для различного объёма оперативной памяти и аппаратных платформ; варианты Q5–Q6 заявлены как обеспечивающие высокое качество, а Q3–Q4 подходят для более ограниченных ресурсов. ARM-версии требуют соответствующих возможностей процессора: SVE или i8mm; они не предназначены для Mac и Windows. Модель распространяется по лицензии Apache-2.0.

birgermoell-Llama-3-dare_ties-GGUF — это набор GGUF-квантизированных файлов модели birgermoell/Llama-3-dare_ties, подготовленный quantized_by Featherless AI Quants. Модель предназначена для генерации текста и может использоваться в совместимых средах запуска Llama-моделей, локальном инференсе и сценариях, где требуется снизить требования к памяти за счёт квантизации. Доступны варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3,0 до 8,1 ГБ. README не содержит сведений о точной архитектуре базовой модели, числе параметров, поддерживаемых языках, модальностях или размере контекста; по указанной категории pipeline_tag это текстовая модель. Основное преимущество набора — выбор между компактностью и качеством вычислений: варианты с меньшей битностью требуют меньше памяти, тогда как Q6_K и Q8_0 потенциально лучше сохраняют исходное качество, но занимают больше места. Ограничения, результаты оценивания и условия лицензии в README не указаны. Также не описаны специальные возможности или рекомендованные параметры запуска.

Это набор GGUF-квантизаций базовой текстовой генеративной модели birgermoell/llama-3-open-hermes-disco, подготовленный организацией featherless-ai-quants. Модель предназначена для генерации текста и локального или совместимого с GGUF запуска; README не уточняет конкретные прикладные сценарии, языки, поддерживаемые модальности, архитектурные детали и размер базовой модели. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3,0 до 8,1 ГБ. Разные варианты позволяют выбирать компромисс между требованиями к памяти, скоростью и сохранением качества, однако количественные характеристики качества в README не приведены. Лицензия модели и условия использования не указаны.

calme-2.8-qwen2-7b-GGUF — это квантизированная версия модели calme-2.8-qwen2-7b в формате GGUF, подготовленная и опубликованная MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. В основе лежит модель семейства Qwen2 с заявленным размером 7 миллиардов параметров. Доступны варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Поддерживается текстовая модальность; сведения о языках, максимальном контексте, конкретной архитектуре fine-tuning и результатах оценивания в README не приведены. Сильной стороной модели является возможность запуска на локальном оборудовании и интеграции с различными GUI, Python-библиотеками и совместимыми API-серверами. Ограничения включают потенциальные потери качества из-за квантизации и зависимость характеристик от выбранного варианта файла и используемого оборудования. Лицензия в README не указана.

MaziyarPanahi/Calme-7B-Instruct-v0.9-GGUF — набор файлов модели в формате GGUF для Calme-7B-Instruct-v0.9, разработанной и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и использования в инструкционно-ориентированных сценариях, включая локальные чат-интерфейсы и серверы инференса, совместимые с GGUF. Модель относится к семейству 7B и базируется на архитектуре Mistral, однако подробности об архитектуре, объёме контекста, языках и исходных данных в README не указаны. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать между размером файлов, требованиями к ресурсам и сохранением качества. Формат поддерживается, в частности, llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Сильной стороной является возможность локального запуска на широком спектре платформ и гибкий выбор степени квантизации. Ограничения модели и результаты benchmark-тестов в README не приведены, поэтому качество, производительность и пригодность для конкретных задач требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Chocolatine-3B-Instruct-DPO-Revised-GGUF — это набор файлов модели в формате GGUF для локального запуска. В основе лежит jpacifico/Chocolatine-3B-Instruct-DPO-Revised; автор исходной модели — jpacifico, а квантизацию и публикацию GGUF-версии выполнил MaziyarPanahi. Модель относится к классу текстовых генеративных моделей с инструкционным дообучением и DPO-настройкой, имеет размер около 3 миллиардов параметров и предназначена для работы с текстом. Модель ориентирована на выполнение текстовых инструкций и генерацию ответов в локальных приложениях и библиотеках, совместимых с GGUF, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. README не содержит сведений о поддерживаемых языках, длине контекста, точной архитектуре, результатах бенчмарков, мультимодальности и лицензии, поэтому эти характеристики нельзя достоверно оценить.

AuroraSystem/Clary-0.6-0.6B — компактная мультимодальная модель AuroraSystem на базе Qwen3-0.6B, дообученная с помощью LoRA и объединёнными весами. Она принимает текст и изображения: для обработки изображений используется CLIP ViT-B/32 с проектором, после чего Qwen3 формирует текстовый ответ. Размер модели — 507,9 млн параметров, контекст — до 40 960 токенов. Модель предназначена для выполнения инструкций, диалогов, генерации кода на Python, математических ответов и суммаризации на русском и английском языках. Для изображений она умеет создавать описания и отвечать о цветах; также доступен режим рассуждений `/think`. Лицензия — Apache-2.0. Качество распознавания текста на изображениях низкое, особенно для мелкого шрифта. Системные промпты не входили в обучение, а возможности рассуждений и генерации ограничены компактным размером базовой модели.

CrucibleLab_M3.2-24B-Loki-V1.3-GGUF — это GGUF-квантизация текстовой генеративной модели M3.2-24B-Loki-V1.3, разработанной CrucibleLab. Квантизации выполнены bartowski с использованием llama.cpp и метода imatrix; доступны варианты от BF16 до низкобитных Q- и IQ-квантизаций. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с llama.cpp, включая LM Studio и другие производные проекты. Размер исходной модели составляет 24B параметров; размер файлов зависит от варианта квантизации и варьируется примерно от 10,4 до 47,15 ГБ. Для модели не указан собственный формат промптов, поэтому его следует уточнять на странице оригинальной модели. Сильная сторона сборки — широкий выбор вариантов, позволяющий выбирать между качеством генерации и требованиями к памяти. Q6_K_L, Q6_K, Q5 и Q4-варианты отмечены как высококачественные или рекомендуемые, тогда как Q3-варианты экономят память ценой снижения качества. Языки, длина контекста, точная архитектура, дополнительные модальности и лицензия в представленном README не указаны.

DeltaP2S-Gemma2-9B-SameFormula-Code-S13 — объединённый чекпойнт на базе google/gemma-2-9b, созданный с помощью экспериментального пакета Delta-P2S с учётом семейства моделей. Это плотная авторегрессионная языковая модель Gemma 2 с 9 млрд параметров, предназначенная для генерации текста; контекстное окно составляет 8192 токена. В названии указано назначение для кода, однако README не описывает конкретные возможности или результаты в задачах программирования. Модель загружена в формате safetensors и использует библиотеку Transformers. Условия лицензии в доступных данных не приведены.

FeveQwen 1.0 — текстовая производная Qwen3.8-27B от zarigata, созданная с помощью OBLITERATUS. Модель предназначена для диалогов и генерации текста; автор изменил поведение отказов с помощью проекции подпространства отказа. Это не дообучение на новых навыках: большая готовность отвечать не означает большей точности или компетентности. Чекпойнт содержит 22,3 млрд параметров, использует плотную архитектуру Qwen3_5ForCausalLM и принимает только текст. Сохраняется нативный контекст 262 144 токена; фактически доступная длина зависит от памяти и используемого сервера. Доступны веса Safetensors и квантованный GGUF Q4_K_M. Лицензия — Apache-2.0. Небольшая настройочная проверка показала отказ в 33% пар запросов, поэтому модель не прошла заявленный порог продвижения; итоговая закрытая проверка не проводилась. Изменение может ослабить защитное поведение непредсказуемым образом, а длинный контекст не переобучался. Факты и ответы в чувствительных областях следует проверять; сгенерированный код запускать с осторожностью.

Gemma-IT-Expanded-Unfrozen-Layers — текстовая генеративная модель семейства Gemma, созданная на основе google/gemma-7b-it. Разработчик применил mergekit и метод passthrough: в блоки модели добавлены слои с обнулёнными параметрами o_proj и down_proj. Итоговый чекпойнт содержит 10 млрд параметров, использует плотную архитектуру GemmaForCausalLM и формат safetensors; контекст — до 8192 токенов. Модель предназначена для генерации текста и последующего дообучения. В README указано, что она сама не проходила fine-tuning; при дообучении предлагается обучать только добавленные слои, оставляя остальные замороженными. Поддержка языков отдельно не описана. Лицензия — Apache-2.0.

Gemma-2-Ataraxy-v2-9B-GGUF — набор GGUF-квантизаций модели Gemma-2-Ataraxy-v2-9B, разработанной lemon07r и квантизированной bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, в том числе в LM Studio. В README указано использование mergekit, однако подробности исходного объединения моделей не приведены. Это текстовая модель размером 9B параметров в форматах от F16 до различных вариантов 2–8-битной квантизации. Доступны варианты с разным балансом между качеством, размером файла и требованиями к памяти; наиболее качественными названы F16, Q8_0 и Q6_K/Q6_K_L, а Q4-варианты предлагают более экономичный запуск. Отдельные форматы оптимизированы для ARM-процессоров и требуют поддержки соответствующих инструкций. Языки, размер контекста, мультимодальность и специализированные сценарии применения в README не указаны. Сильной стороной является широкий выбор квантизаций для локального инференса и совместимость с llama.cpp и LM Studio. При уменьшении разрядности снижаются требования к памяти, но может ухудшаться качество генерации; самые низкоразрядные варианты обозначены как низкокачественные или нежелательные. Лицензия модели в предоставленных данных не указана. Для работы следует использовать рекомендованный шаблон prompt format Gemma с маркерами ролей и начала/окончания хода.

Gemma-2b-it-GGUF — квантизированная GGUF-версия инструкционной языковой модели Gemma 2B, разработанной Google и подготовленной компанией Second State Inc. Модель предназначена для диалоговых приложений и генерации текста по инструкциям; запуск поддерживается через LlamaEdge и совместимые инструменты. Это текстовая модель с размером около 2 млрд параметров и контекстом 2048 токенов. Доступны варианты квантизации от 2 до 8 бит размером примерно от 900 МБ до 2,67 ГБ. Более компактные варианты экономят память, но заметно снижают качество; Q4_K_M, Q5_K_M и Q5_K_S обозначены как сбалансированные или рекомендуемые варианты с меньшей потерей качества. Модель удобна для локального развёртывания на ограниченных ресурсах и работы через шаблон запросов gemma-instruct. Ограничения включают небольшой контекст, потерю качества при низкой точности квантизации и отсутствие в README сведений о поддерживаемых языках, результатах тестирования и конкретных возможностях мультимодальности; по представленным данным модель является текстовой. Используется лицензия Gemma Terms of Use, указанная Google.