II.2Создание и понимание программного кода

Reflection-Llama-3.1-70B-ep2-working — рабочая версия модели Reflection от Matt Shumer, дообученная на основе Meta Llama 3.1 70B Instruct. Это плотная авторегрессионная языковая модель с 69,5 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Метаданные указывают контекст до 131 072 токенов и интерфейс для вызова инструментов. Модель предназначена для диалогов и генерации ответов с возможностью использовать инструменты. Автор описывает её как рабочую версию второго этапа обучения, которая немного уступает по мощности более поздней версии Reflection; README также сообщает, что третий этап ещё завершался. Модель опубликована в формате Safetensors и распространяется по лицензии Llama 3.1.

GLM-Z1-32B-0414-GGUF — это квантизированная версия языковой модели GLM-Z1-32B-0414, разработанной THUDM и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Указаны китайский и английский языки, а лицензия исходной модели — MIT. Модель содержит 32B параметров; README не уточняет её архитектуру, размер контекста и дополнительные модальности, поэтому её следует рассматривать как текстовую модель. Доступны варианты от BF16 и Q8_0 до низкобитных Q2_K, Q3, Q4, Q5 и Q6-квантизаций. Старшие варианты обеспечивают качество, близкое к исходной модели, а более компактные требуют меньше оперативной памяти, но могут заметно терять в качестве. Для большинства сценариев рекомендованы варианты Q4_K_M, Q5_K_M, Q6_K и их модификации. Квантизации выполнены с использованием imatrix и llama.cpp; в этой версии также заявлено исправление токенизатора. Сильная сторона модели — возможность локального запуска 32B-модели в широком диапазоне требований к памяти благодаря большому выбору квантизаций. Ограничения включают высокие требования к ресурсам даже для компактных вариантов и потенциальное снижение качества у низкобитных форматов. Для корректного использования необходимо соблюдать указанный формат prompt с токенами GLM.

CollectiveCognition-v1.1-Mistral-7B-dare-0.85-Mistral-7B-Instruct-v0.1 — чат-модель на базе Mistral-7B-Instruct-v0.1, созданная слиянием весов Mistral-7B-Instruct-v0.1 и uukuguy/CollectiveCognition-v1.1-Mistral-7B-dare-0.85 методом SLERP. Модель разработана для генерации текста и ответов на запросы в диалоговом формате. Архитектура — плотная авторегрессионная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов; файлы опубликованы в формате safetensors с точностью bfloat16. Модель подходит для чат-ботов, ответов на инструкции и продолжения текста. В карточке не заявлены специализированные области или языки, поэтому назначение следует считать общим. Лицензия — Apache-2.0.

dolphin-2.0-mistral-7b-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral с 7,1 млрд параметров, созданная объединением mistralai/Mistral-7B-Instruct-v0.1 и cognitivecomputations/dolphin-2.0-mistral-7b методом SLERP. Конфигурация указывает диапазон слоёв 0–32 для обеих моделей и формат весов bfloat16. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов, язык в карточке — английский. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробных ограничений; качество ответов может зависеть от формулировки запроса и задач, на которых проверяется модель.

gghfez выпустил текстовую версию Google Gemma 3 12B IT, преобразовав мультимодальную архитектуру Gemma3ForConditionalGeneration в текстовую Gemma3ForCausalLM и удалив компоненты обработки изображений. По карточке модель предназначена для генерации текста и диалогов; метаданные указывают 11,6 млрд параметров, контекст до 131 072 токенов и формат Safetensors. README приводит оценку в 4 млрд параметров, что расходится с метаданными. Модель принимает текст и выдаёт текст, а использовать её предлагается так же, как текстовую Gemma 3 1B IT. Лицензия — Gemma; модель основана на google/gemma-3-12b-it.

Gemma-4-26B-A4B-it-NVFP4 — это версия Google Gemma 4, подготовленная FusenAI в формате modelopt и оптимизированная для запуска через vLLM на GPU NVIDIA Blackwell (SM120). Модель предназначена для генерации текста и использует архитектуру MoE. Она подходит для локального и серверного инференса, включая сценарии с высокой параллельной нагрузкой. Модель применяет квантизацию NVFP4 с размером группы 16 к экспертам MoE и MLP-слоям, тогда как self-attention, router, vision tower и lm_head сохранены в BF16. Размер весов составляет около 17,2 GiB, размер на диске — около 17 GB. README не указывает полный набор поддерживаемых языков, точное число параметров активной части или максимальный контекст; в примерах используется длина контекста 4096 токенов. Модель поддерживает текстовую генерацию, а наличие vision tower указывает на мультимодальные компоненты, однако их сценарии использования в README не описаны. К сильным сторонам относятся сниженное потребление памяти, сохранение attention-слоёв в BF16 для уменьшения потерь качества и высокая производительность на RTX 5090 при использовании CUDA Graphs. Ограничения включают необходимость совместимого оборудования NVIDIA Blackwell или новее, vLLM 0.19.x с параметром modelopt и соответствующими исправлениями, а также зависимость производительности от конфигурации KV-кэша: FP8 увеличивает его ёмкость, но снижает скорость обработки отдельных запросов. Модель распространяется по лицензии Apache 2.0 и наследует лицензионные условия Gemma 4 от Google.

Jan-v3-4B-base-instruct-gguf — компактная каузальная языковая модель примерно на 4 млрд параметров, разработанная Jan (Jan HQ). Модель получена методом дистилляции после обучения от более крупной модели-учителя с последующим предварительным и постобучением. Она предназначена для общего использования, улучшенного следования инструкциям, локального развёртывания, дообучения под прикладные задачи и лёгкой помощи в программировании. Модель содержит 36 слоёв и использует Grouped-Query Attention (GQA) с 32 головами для запросов и 8 для ключей и значений. Заявлена нативная длина контекста до 262 144 токенов. Указан английский язык; модель работает с текстом, а тег code и описание допускают сценарии кодирования, однако специализированная кодовая версия Jan-Code в README ещё не выпущена. GGUF-версия предназначена для запуска через llama.cpp и интеграции с Jan Desktop; также описан вариант использования через vLLM. Сильными сторонами являются компактный размер, пригодность для локального использования и дообучения, улучшенное следование инструкциям и большой контекст. Ограничения включают отсутствие подробных данных о качестве на конкретных бенчмарках, языковой поддержке за пределами английского и мультимодальных возможностях. Модель распространяется по лицензии Apache 2.0.

MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1-GGUF — это набор файлов модели в формате GGUF для MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1. Модель создана и квантована MaziyarPanahi; исходная архитектура и точные параметры в предоставленной карточке не раскрыты, однако из названия следует, что это instruct-модель семейства Llama с заявленным размером 8B и контекстом до 32k токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Формат GGUF ориентирован на использование с llama.cpp и поддерживается, среди прочего, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и Candle; возможна работа с GPU-ускорением в зависимости от выбранного инструмента и конфигурации. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Ограничения включают возможные потери качества из-за квантования, зависимость производительности от оборудования и программного окружения, а также отсутствие в README сведений о языках, точных характеристиках архитектуры, результатах тестирования и лицензии.

Llama-VARCO-8B-Instruct — диалоговая языковая модель NC Research, Language Model Team, созданная на базе Meta Llama 3.1 8B. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и общения. Модель прошла дополнительное предварительное обучение на корейских и английских данных, затем supervised fine-tuning и оптимизацию предпочтений DPO на корейском языке. Она рассчитана прежде всего на понимание и генерацию корейского текста, сохраняя поддержку английского, и подходит для диалогов, письма, рассуждений, математики и программирования. В README приведены результаты оценки LogicKor, включая однократные и многоходовые диалоги. Модель принимает текст и генерирует текст; заявленный размер контекста — 8192 токена. Для запуска рекомендуется Transformers версии 4.43.0 или новее. Использование регулируется лицензией Llama 3.1 Community License Agreement; перед применением необходимо соблюдать её условия.

GPT4All-Community/Meta-Llama-3.1-8B-Instruct-128k-GGUF — это конвертированная и квантизированная GGUF-версия Meta-Llama-3.1-8B-Instruct. Модель подготовлена пользователем 3Simplex для использования в GPT4All; для работы требуется GPT4All версии 3.1.1 или новее. Базовая модель разработана Meta, однако в README не указаны дополнительные сведения о разработчике исходной модели. Модель предназначена для генерации текста и диалоговых сценариев с системными и пользовательскими сообщениями. Заявлена длина контекста до 131 072 токенов, что позволяет обрабатывать длинные документы и продолжительные диалоги. Известно, что модель содержит 8 миллиардов параметров и использует инструкционную настройку, но сведения о поддерживаемых языках и модальностях отсутствуют. К преимуществам относятся большой контекст и возможность локального использования через GPT4All. Модель не является официально курируемой и поддерживаемой Nomic: в README указано, что требуется дополнительное тестирование и обратная связь, поэтому качество и стабильность следует оценивать в конкретных задачах. Лицензия обозначена как llama3.1; перед использованием необходимо ознакомиться с её условиями.

Это версия Meta-Llama-3.1-8B-Instruct в формате GGUF, подготовленная mlx-community и опубликованная MaziyarPanahi. Модель предназначена для диалоговой генерации текста и выполнения инструкций; её можно запускать локально с помощью llama.cpp и совместимых приложений. Каталог указывает на 8 млрд параметров у базовой модели и плотную архитектуру семейства Mistral. Репозиторий содержит файлы GGUF в формате BF16. README перечисляет llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие совместимые средства запуска. Лицензия и конкретные ограничения применения в предоставленных данных не описаны.

Meta-Llama-3-8B-Instruct-GGUF-special-tokens — инструкционная языковая модель семейства Llama 3, разработанная Meta и представленная в формате GGUF пользователем bartowski. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. Суффикс special-tokens указывает на вариант с поддержкой специальных токенов, однако подробности преобразования в GGUF в README не приведены. Известно, что модель ориентирована на английский язык и относится к классу text-generation. Размер модели — 8B параметров; архитектура Llama 3, точная конфигурация контекста и сведения о модальностях в представленном README не указаны. Модель является текстовой, поэтому описание мультимодальных возможностей отсутствует. Вариант GGUF обычно предназначен для локального запуска совместимыми средствами, но конкретные требования к оборудованию и производительности не приведены. Модель может быть полезна благодаря инструкционной настройке и относительно компактному размеру по сравнению с более крупными моделями, однако качество и применимость зависят от используемой сборки и сценария. Ограничения включают отсутствие подтверждённых сведений о поддерживаемых языках помимо английского, контекстном окне, квантовании, бенчмарках и безопасностных характеристиках. Распространение и использование регулируются Meta Llama 3 Community License: необходимо соблюдать условия лицензии, Acceptable Use Policy и требования к атрибуции, включая указание «Built with Meta Llama 3» при соответствующих формах распространения.

Mistral-Small-24B-Base-2501 — базовая плотная языковая модель с 23,4 млрд параметров, разработанная командой Mistral AI. Она предназначена для дообучения и создания специализированных моделей, а также для генерации текста и диалоговых сценариев. Модель использует архитектуру MistralForCausalLM и поддерживает контекст длиной до 32 768 токенов. Модель рассчитана на многоязычное применение: в метаданных и карточке указаны английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. В карточке также отмечена поддержка ряда других языков. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование, изменение и распространение. Это базовая версия; для готового диалога разработчик предлагает отдельную версию Instruct. Заявления о качестве сопровождаются результатами бенчмарков в карточке, но они не гарантируют качество в конкретном сценарии.

Mistral-Small-Instruct-2409-GGUF — это набор квантованных файлов в формате GGUF для инструкционной модели Mistral-Small-Instruct-2409, разработанной компанией mistralai. Квантование и публикацию этого варианта выполнил MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Набор включает варианты квантования с разной разрядностью — от 2 до 8 бит, что позволяет выбирать баланс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов; некоторые из них поддерживают GPU-ускорение и совместимый с OpenAI API сервер. Преимуществами являются возможность локального использования, широкий выбор уровней квантования и совместимость с популярной экосистемой llama.cpp. README не содержит сведений о точной архитектуре, числе параметров, поддерживаемых языках, длине контекста, целевых модальностях, результатах оценки и лицензии. Поэтому эти характеристики и условия юридического использования следует уточнять по карточке исходной модели Mistral-Small-Instruct-2409 и сопутствующим материалам.

MyAwesomeModel — модель из репозитория dfdgdg333/MyAwesomeModel-TestRepo, доступная через библиотеку Transformers. В метаданных Hugging Face она классифицирована как модель для извлечения признаков и связана с архитектурой BERT; README при этом описывает обновлённую версию как модель с улучшенными рассуждениями, пониманием текста, генерацией кода и диалогами. Согласно README, модель предназначена для сложных задач рассуждения, математических и логических задач, ответов на вопросы, классификации текста, анализа тональности, суммаризации, перевода, генерации кода и диалогов. Также заявлены поддержка системного промпта, function calling, загрузки файлов и генерации с использованием результатов веб-поиска. Для запуска рекомендуется температура 0,6. К сильным сторонам относятся заявленные улучшения рассуждений, снижение частоты галлюцинаций и широкие результаты на бенчмарках, включая математику, программирование и понимание языка. Однако метаданные указывают pipeline-задачу feature-extraction, а README не содержит надёжных сведений о размере модели, длине контекста, поддерживаемых естественных языках или точной конфигурации архитектуры. Модель распространяется по лицензии MIT.

MyAwesomeModel — модель из репозитория пользователя hwefa, опубликованная для использования через библиотеку Transformers и отмеченная тегами PyTorch, BERT и feature-extraction. Метаданные Hugging Face классифицируют её как модель извлечения признаков, а README описывает обновлённую версию с улучшенными рассуждениями, логическим выводом, математикой, программированием, диалогами, суммаризацией, классификацией, переводом и поддержкой function calling. README также заявляет о снижении частоты галлюцинаций и рекомендует использовать системный промпт и температуру 0.6.

Nous Hermes 2 Llama-2 70B — языковая модель для диалоговой генерации текста, разработанная Nous Research и дообученная на наборе Hermes 2. Для обучения использовали более миллиона примеров, преимущественно созданных GPT-4, а также данные из открытых наборов. Модель основана на плотной архитектуре Llama и содержит 68,7 млрд параметров. Модель предназначена для многоходового общения и выполнения инструкций. Она использует формат запросов ChatML с ролями и специальными маркерами ходов; карточка также отмечает совместимость этого формата с интерфейсами OpenAI API. Контекст составляет 4096 токенов. Указанный язык — английский. Модель принимает текстовые запросы и генерирует текстовые ответы. Карточка приводит пример использования через Transformers и отмечает высокие требования к видеопамяти: даже в 4-битном режиме требуется более 24 ГБ VRAM. Лицензия — Apache-2.0.

Nemotron-H-47B-Reasoning-128K-GGUF — это набор GGUF-квантизаций модели Nemotron-H-47B-Reasoning-128K, разработанной NVIDIA и квантизированной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет 47 миллиардов параметров и заявленный контекст до 128K токенов. В README указана только текстовая модальность; сведения о языках, конкретной архитектуре и формате промптов отсутствуют. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций, поэтому можно выбирать между качеством, объёмом памяти и скоростью запуска. Для квантизации использовался imatrix и релиз llama.cpp b6317. Сильной стороной являются большой контекст и широкий выбор уровней квантизации, включая варианты Q4–Q6, рекомендованные автором как обеспечивающие высокое или хорошее качество при существенно меньшем размере файлов. Ограничения связаны с большими требованиями к оперативной или видеопамяти даже у компактных вариантов, а при более агрессивной квантизации возможно снижение качества. Лицензия в README не указана; условия использования следует уточнять на странице исходной модели NVIDIA и соответствующего репозитория.

Карточка модели OpenYourMind/OpenYourMind-NVIDIA-Nemotron-3-Ultra-550B-A55B-abliterated-uncensored на Hugging Face совпадает с карточкой Laerins/OpenYourMind-NVIDIA-Nemotron-3-Ultra-550B-A55B-abliterated-uncensored, поэтому описание составлено по ней. OpenYourMind создала эту полноразмерную BF16-версию NVIDIA Nemotron-3-Ultra-550B-A55B с ослабленными отказами на типовых категориях запросов. По описанию автора, изменение выполнено офлайн-проекцией направления отказа на веса без дополнительного обучения и без изменения структуры базовой модели. Модель содержит 550 млрд параметров, из которых активно 55 млрд, и использует гибридную архитектуру Mamba-2, Attention и Latent-MoE; сохранены режим рассуждений enable_thinking и голова MTP для спекулятивного декодирования. Модель предназначена для диалоговой генерации текста, сложных рассуждений и технических или защитных запросов, на которые исходная модель могла отказывать. Контекст составляет 262 144 токена. Веса BF16 занимают около 1,1 ТБ и требуют мног GPU-развёртывания; автор указывает vLLM как вариант запуска. README заявляет сохранение связности, точности и многоязычной беглости, однако не приводит независимых оценок этих свойств. Лицензия — OpenMDW-1.1, унаследованная от базовой модели.

MIRALABS/Ornith-1.5-35B-A3B-W4A16-SYM — симметрично переквантизированная версия мультимодальной модели Ornith-1.5-35B-A3B, разработанная командой Milner Team (MIRALABS) на основе модели ornith-ai. Модель относится к семейству Qwen3.6/3.5 A3B MoE и предназначена для локального запуска и обслуживания через vLLM, включая задачи генерации текста, рассуждений и обработки изображений и видео. В README также указана встроенная поддержка reasoning/tool parser для конфигурации первого запуска. Это MoE-модель с заявленным размером 35B и активной конфигурацией A3B. Маршрутизируемые экспертные слои переквантизированы в W4A16 symmetric с 4-битными весами, 16-битными активациями и размером группы 32; vision tower и MTP head сохранены в BF16. Формат хранения — compressed-tensors/pack-quantized, поддерживается vLLM версии 0.19 и новее с Marlin backend. Заявленный максимальный контекст — 32 768 токенов. Поддерживаемые языки в README не указаны. Сильная сторона модели — возможность запуска MoE-варианта на NVIDIA GPU через vLLM с существенно меньшими требованиями к памяти; на двух RTX 3090 заявлена загрузка примерно по 20 ГБ на GPU. К ограничениям относятся потери качества и расхождения с BF16-версией из-за 4-битной квантизации, а также необходимость совместимой конфигурации vLLM и оборудования. Модель распространяется по лицензии MIT.

Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 — диалоговая decoder-only языковая модель на базе Transformer с архитектурой Mixture of Experts (MoE), разработанная командой Qwen. Модель предназначена для генерации текста и взаимодействия в формате чата, включая ответы на вопросы, краткие объяснения и другие сценарии использования языкового ассистента. В README указана поддержка английского языка и конвейер text-generation. Модель содержит 14,3 млрд параметров, из которых во время работы активируются 2,7 млрд; она создана на основе Qwen-1.8B и дообучена с применением supervised fine-tuning и direct preference optimization. Версия GPTQ-Int4 использует 4-битное квантование. По заявлению разработчиков, при сопоставимой с Qwen1.5-7B производительности она требует около 25% ресурсов для обучения и обеспечивает примерно в 1,74 раза большую скорость вывода. Размер контекста в README не указан. Среди ограничений отмечена возможность переключения языков и другие нежелательные случаи генерации, для снижения которых рекомендуется использовать параметры из generation_config.json. Модель распространяется по лицензии tongyi-qianwen; точные условия следует уточнять по указанной в README лицензии.

Mungert/Qwen2.5-14B-Instruct-GGUF — набор GGUF-версий инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen и опубликованной в формате GGUF пользователем Mungert. Модель предназначена для генерации текста, диалоговых сценариев и чат-приложений, включая локальный запуск через llama.cpp и системы с ограниченными ресурсами. Модель содержит 14 миллиардов параметров и работает с текстом; в карточке указана поддержка английского языка. Доступны варианты BF16 и F16, а также квантизованные версии Q4_K, Q4_K_S, Q6_K и Q8_0. Более точные варианты требуют больше памяти, тогда как Q4_K и Q4_K_S подходят для CPU и устройств с небольшим объёмом памяти, но могут уступать по точности. Указанный размер контекста и дополнительные модальности не приведены. Основные преимущества — широкий выбор форматов для разных аппаратных конфигураций и возможность локального инференса с уменьшенным потреблением памяти. Ограничения включают компромисс между качеством и требованиями к памяти при квантизации, а также отсутствие в README подробных данных о производительности, бенчмарках и поддерживаемых языках помимо английского. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Omnimerge-v4-MTP-GGUF — квантизированная GGUF-версия модели ManniX-ITA/Qwen3.6-27B-Omnimerge-v4, подготовленная автором ManniX-ITA. Модель имеет 27,78 млрд параметров и заявленную архитектуру Qwen3.5; репозиторий содержит объединённые веса в форматах от F16 до низкобитных IQ- и Q/K-квантизаций. В метаданных указаны поддержка английского языка, reasoning и vision, а также pipeline image-text-to-text, однако подробные сведения о контекстном окне и точном наборе мультимодальных возможностей не приведены. Главная особенность этой версии — сохранённая MTP (Multi-Token Prediction) head, предназначенная для self-speculative decoding в llama.cpp. При использовании llama.cpp с поддержкой MTP модель может предлагать несколько токенов за шаг и ускорять генерацию; для этого требуется версия с поддержкой соответствующего PR и режим draft-mtp. Без MTP-функциональности модель работает в стандартном режиме декодирования. Доступно 19 уровней квантизации и эталонная F16-версия, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти; рекомендуемым балансом в README названа Q6_K. Модель подходит для локального текстового и, при наличии соответствующего мультимодального проектора, визуально-текстового вывода, включая задачи рассуждения. Ограничения связаны с существенными требованиями к памяти, зависящими от выбранной квантизации, необходимостью совместимой версии llama.cpp для ускорения MTP и возможной потерей качества на низких битностях. Распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-REAM-192-heretic-APEX-GGUF — предварительная серия смешанных по точности GGUF-квантизаций модели keithnull/Qwen3.6-35B-A3B-REAM-192-heretic, основанной на архитектуре Qwen3.6 и разработанной сообществом вокруг Qwen. Модель распространяется в формате, совместимом с llama.cpp, и использует APEX (Adaptive Precision for EXpert Models) для MoE-aware квантизации экспертных слоёв. Доступны варианты размером примерно 12–19 ГБ с эффективной точностью около 3,80–5,91 BPW. Названия файлов с суффиксами Q3_K или Q5_K являются только подсказкой для каталогов и не отражают единственный тип квантизации: внутри используются комбинации K- и IQ-форматов, включая Q3_K, Q4_K, Q5_K, Q6_K, IQ2_S, IQ4_XS и Q8_0. Модель предназначена для локального текстового диалога и генерации текста, а также может использовать изображения при подключении совместимого vision-проектора mmproj-REAP-26B-F16.gguf через llama-server и OpenAI-совместимый chat-completions API. Архитектура сохраняет vision tower Qwen3.6-VL, совместимые скрытое пространство и токенизатор, однако опубликованные GGUF-файлы содержат только текстовые веса. Вариант Mini рассчитан на видеокарты с 16 ГБ VRAM, а I-Compact позиционируется как вариант для повседневного использования в классе размера стандартной Q4_K_M. Сильные стороны серии — MoE-ориентированная смешанная точность, наличие вариантов с imatrix-калибровкой и разные компромиссы между качеством, размером и скоростью декодирования. При этом релиз является preview: для этой APEX-рецептуры ещё не опубликованы измерения perplexity, KL-divergence и академических бенчмарков; проверка ограничивалась оценкой Heretic, качественной проверкой пяти промптов на BF16-весах и базовыми тестами связности генерации. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF. Модель предназначена для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие встроенного отказного поведения. Заявлена поддержка английского, китайского и других языков. Для изображений и видео используется отдельный vision projector в формате BF16. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, размером FFN 17408 и словарём из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный MTP/NextN, а дополнительный профиль HauhauCS FastMTP предназначен для ускорения спекулятивного декодирования. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Доступны квантизированные варианты от Q8_K_P до IQ2_M. Сильные стороны модели — широкий набор текстовых, мультимодальных, reasoning- и agentic-сценариев, большой контекст и варианты оптимизированного квантования K_P, рассчитанные на сохранение качества при уменьшенном размере. Ограничения включают потенциальные риски uncensored-поведения, отсутствие отказов на опасные запросы и необходимость отдельного vision projector для изображений и видео. В README не приведены независимые результаты оценки качества. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-GGUF — набор квантованных версий инструкционной языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модели распространяются в формате GGUF и предназначены для локального запуска. Модель относится к задачам генерации текста и диалогового взаимодействия. Она может использоваться через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В README указаны варианты от BF16 до 2-битных квантований, объёмом примерно от 1,8 до 8,05 ГБ. Для работы используется форматирование промптов с ролями system, user и assistant. Данные о точной архитектуре, поддерживаемых языках и размере контекста в README не приведены. Сильная сторона набора — широкий выбор квантований с разным компромиссом между качеством, требованиями к памяти и скоростью работы. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS; более компактные варианты экономят память, но могут заметно терять в качестве. Некоторые форматы отмечены как legacy и могут иметь особенности при запуске на отдельных архитектурах. Лицензия в предоставленном README не указана; условия использования следует уточнять в документации исходной модели Qwen/Qwen3-4B-Instruct-2507.

Spark-X2.5-1.7B Community Quants — это набор GGUF-квантизаций модели Spark-X2.5-1.7B, разработанной XHToken. Данные варианты опубликованы сообществом пользователем darioooooo0o и предназначены для локального запуска текстовой генерации, в том числе агентных сценариев с вызовом инструментов, через llama.cpp или совместимую инфраструктуру. Для GGUF требуется форк llama.cpp от XHToken, поскольку архитектура spark2_5 пока не входит в upstream llama.cpp. Модель имеет 1,7 млрд параметров, гибридное внимание с соотношением 3:1 между sliding-window и full attention и поддерживает нативный контекст до 1 млн токенов. Доступны варианты Q8_0, Q6_K, Q4_K_M и IQ4_XS размером примерно от 1,0 до 1,7 ГБ. Квантизация выполнена с использованием importance matrix; варианты рассчитаны на полностью GPU-резидентный запуск, начиная примерно с видеокарт с 4 ГБ памяти, при этом доступный контекст зависит от объёма VRAM и выбранной точности. Сильные стороны модели — компактный размер, высокая скорость декодирования, большой контекст и проверенная поддержка tool calling, включая сложные схемы, параллельные вызовы и многошаговые циклы с результатами инструментов. Ограничение уровня исходной модели — риск бесконечных циклов рассуждений на расплывчатых открытых вопросах; для автономных систем рекомендуется задавать бюджет рассуждений и тайм-ауты. Лицензия — Apache-2.0.

Yi-1.5-6B-Chat-GGUF — русскоязычное описание модели недоступно в предоставленных данных.

Yi-34B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi 34B Chat, разработанной компанией 01-ai и подготовленной в формате GGUF сообществом TheBloke. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Модель имеет архитектуру Yi и размер 34 млрд параметров. Доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью работы и сохранением качества. Формат GGUF поддерживает запуск на CPU и GPU; среди совместимых инструментов указаны llama.cpp, text-generation-webui, KoboldCpp, LM Studio, ctransformers, llama-cpp-python и другие. Для диалогов используется шаблон ChatML. Сильными сторонами модели являются большой размер, специализация на чат-сценариях и возможность локального запуска на широком спектре программных платформ. При этом README не содержит результатов бенчмарков, сведений о поддерживаемых языках и размере контекста, поэтому эти характеристики нельзя подтвердить. Квантизация уменьшает требования к памяти, но конкретный вариант может влиять на качество и скорость работы. Модель распространяется по лицензии yi-license; подробные условия указаны в файле LICENSE.

Yi-Agent-6B — двуязычная текстовая модель с генеративной архитектурой Llama, разработанная hiyouga и дообученная с помощью LLaMA-Factory. Модель содержит 5,8 млрд параметров и поддерживает контекст до 4096 токенов. Для обучения использовались наборы Alpaca, OpenAssistant и Glaive Function Calling. Модель предназначена для следования инструкциям и вызова функций в диалоговых сценариях на английском и китайском языках. Её можно запускать через REST API средствами LLaMA-Factory. В метаданных указана лицензия other; конкретные условия использования следует сверить с лицензией репозитория.