II.1Анализ требований и архитектура ПО

TeichAI/Qwen3-4B-Thinking-2507-Gemini-2.5-Flash-Distill-GGUF — языковая модель для генерации текста, созданная TeichAI на основе Qwen3-4B-Thinking-2507. Модель обучалась методом дистилляции на наборе TeichAI/gemini-2.5-flash-11000x, чтобы воспроизводить поведение, рассуждения, стиль ответов и знания Gemini 2.5 Flash. Указана лицензия Apache-2.0. Модель предназначена для программирования, научных и юридических задач, работы с историческими и маркетинговыми текстами, а также для применения общего назначения. Она поддерживает текстовую генерацию; в README указан английский язык. Архитектура относится к семейству Qwen3 с размером около 4 млрд параметров, однако сведения о длине контекста, точной структуре GGUF-квантизации и дополнительных модальностях не приведены. По опубликованным тестам модель превзошла базовую Qwen3-4B-Thinking-2507 в пяти из шести сравнений: ARC-Challenge, GPQA Diamond, HellaSwag, MMLU и Winogrande. Среднее улучшение составило 0,0191, при этом результат TruthfulQA оказался немного ниже базовой модели. Эти показатели характеризуют результаты на указанных наборах тестов и не гарантируют аналогичное качество в прикладных сценариях; возможны ошибки, особенно в сложных вопросах и задачах, требующих фактической точности.

RedHatAI/Qwen3.5-4B-quantized.w4a16 — квантизированная версия мультимодальной модели Qwen3.5-4B, разработанная RedHatAI на основе базовой модели Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст и предназначена для задач диалогового взаимодействия, следования инструкциям, рассуждений и анализа визуального содержимого. Модель использует архитектуру Qwen3.5-4B и оптимизирована для инференса через vLLM. Веса линейных операторов в трансформерных блоках сжаты до INT4, тогда как активации сохраняют исходную точность. Vision encoder, токеновые эмбеддинги и слои linear attention остаются в формате BF16. Размер модели на диске составляет около 5,2 ГБ против 8,8 ГБ у версии BF16, что снижает требования к памяти. В конфигурации vLLM заявлена поддержка контекста до 262 144 токенов; также доступен текстовый режим с отключением визуальной части. Языки модели в README не указаны. К сильным сторонам относятся существенное уменьшение размера и требований к памяти при сохранении близких к исходной модели результатов на ряде тестов, включая GSM8k-Platinum, MMLU-Pro, IFEval и Math 500. Ограничениями являются возможное снижение качества на отдельных задачах рассуждений, заметное на AIME 2025 и GPQA Diamond, а также зависимость от совместимого окружения vLLM и связанных инструментов. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Theseus-GGUF — это GGUF-квантизация модели Qwen3.5-9B-Theseus, выполненная mradermacher; исходная модель разработана nightmedia. Модель основана на архитектуре Qwen3.5 с примерно 9 млрд параметров и распространяется в форматах GGUF с различными уровнями квантизации, включая Q2_K–Q8_0, IQ4_XS и f16. Для некоторых конфигураций доступны мультимодальные дополнения mmproj, поэтому модель может использоваться в мультимодальных сценариях при наличии соответствующего файла. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, рассуждений, творческого и художественного письма, сторителлинга и ролевых сценариев. В README заявлена поддержка английского, китайского, японского и испанского языков, а также контекст до 256k или 1M токенов, однако точные возможности зависят от исходной модели и используемой конфигурации. К сильным сторонам относятся широкий выбор квантизаций, возможность запуска в ресурсоограниченных средах и наличие вариантов, ориентированных на скорость или качество; при этом более сильная квантизация может снижать качество, а мультимодальность требует отдельного mmproj-файла. Модель имеет экспериментальные характеристики, поэтому её качество и совместимость следует проверять для конкретных задач. Лицензия — Apache-2.0.

Qwen3.6-14B-A3B-FableVibes-GGUF — модель tvall43 на базе Qwen3.6-14B-A3B-FableVibes, представленная в формате GGUF для запуска на локальном оборудовании. Это обобщённая модель рассуждений, дообученная на трассах рассуждений Claude Fable 5 и дополненная данными Claude Opus, Qwen для tool calling и Evol-Instruct-Code. Модель предназначена для генерации текста, решения сложных задач с многошаговым рассуждением, программирования и сценариев, связанных с вызовом инструментов. Она использует архитектуру MoE с примерно 14B активных параметров после pruning исходной модели Qwen3.6-35B-A3B. Поддерживается мультимодальный режим через файлы mmproj, однако конкретные характеристики контекстного окна и полный перечень поддерживаемых языков не указаны. Модель ориентирована на англоязычные сценарии. К сильным сторонам относятся структурированное рассуждение, улучшенные способности к работе со сложными задачами и возможность запуска на потребительском оборудовании благодаря нескольким вариантам квантования: от F16 до Q2_K. Модель поддерживает llama.cpp и совместимые интерфейсы, включая LM Studio, Ollama и text-generation-webui. Ограничениями являются повышенная задержка до первого токена из-за режима thinking, значительный расход токенов на рассуждение и возможное снижение качества в сильно сжатых вариантах квантования. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-OQ3-GGUF — квантованная версия Qwen3.8-27B, подготовленная Ora Computing методом посттренировочной калибровочной квантизации. Модель предназначена для диалогов и генерации текста; с дополнительным vision-проектором GGUF поддерживает также входные изображения и видео. Репозиторий содержит файл модели размером 10,54 ГБ со средней точностью 3,026 бита на вес и отдельный проектор изображения размером 0,93 ГБ. В основной файл встроена голова многотокенного предсказания, которую можно использовать для ускорения декодирования в совместимых версиях llama.cpp. По приведённым в карточке тестам модель сохраняет 95,4% совокупного результата исходной версии bf16 на MMLU-Pro и AIME-25, занимая примерно в 5,3 раза меньше места. Для запуска автор рекомендует llama.cpp; заявленный родительский чекпойнт — Qwen/Qwen3.8-27B. Лицензия указана как other, поэтому условия использования следует проверять на странице репозитория.

Qwen3.8-3.6-27B-blend-GGUF — неофициальная производная модель JetBrains на основе моделей Qwen, разработанных Alibaba Cloud. Это GGUF-квантизированная версия базовой модели JetBrains/Qwen3.8-3.6-27B-blend, предназначенная для локального запуска через llama.cpp, включая сценарии программирования, рассуждений и работы с изображениями. Базовая модель представляет собой равное смешение параметров Qwen3.6-27B и Qwen3.8-27B; конфигурация, токенизатор, процессор и шаблон диалога унаследованы от Qwen3.8-27B. Модель имеет размер 27B параметров, поддерживает текстовый и визуальный ввод, встроенную MTP-голову для speculative decoding и отдельный vision encoder с проектором. Доступны квантизации IQ3_S, Q4_K_M и Q5_K_M размером примерно от 12,60 до 19,54 ГБ; для изображений требуется дополнительный файл vision GGUF объёмом 0,93 ГБ. В README языки и размер контекстного окна самой модели не указаны; в проверенной конфигурации использовался контекст 8192 токенов. Сильные стороны модели — локальный запуск, поддержка изображений, режима рассуждений и ускорения через native MTP, а также успешные функциональные проверки текста, изображений, потоковой выдачи и конкурентных запросов. Приведённые показатели принятия черновых токенов являются отдельными результатами smoke-тестов и не подтверждают качество или реальное ускорение. Модель тестировалась на llama.cpp с поддержкой Qwen3.5 native MTP; для работы рекомендуется сохранять указанные в README параметры семплирования. Распространение заявлено по Apache License 2.0 с сохранением исходной лицензии Qwen и атрибуции JetBrains.

Qwen3.8-Flash-Next-113B-A5B-Niwaki-3bit-mlx — текстовая Mixture-of-Experts-модель, созданная проектом Niwaki на базе Qwen3.8-Flash-Next от команды Qwen. Модель была подвергнута структурному прореживанию экспертов, реконструкции и дистилляции, после чего сохранена в 3-битном формате для MLX. Она предназначена для генерации текста, диалогов, программирования, рассуждений и творческих задач на компьютерах Apple Silicon, особенно моделях с 64 ГБ unified memory. Модель содержит 113B параметров, из которых около 5,4B активны для каждого токена. Архитектура включает 48 слоёв, до 512 маршрутизируемых экспертов и top-k 10; эксперты используются в 32 слоях и имеют промежуточный размер 448. Эксперты хранятся в 3-битном формате с группировкой 64, backbone — в 4-битном, а таблица n-gram embeddings PLE — в 2-битном формате. Размер модели на диске составляет 42,2 ГБ, поддерживается только текстовая модальность, языки явно не указаны. Для запуска требуются MLX, mlx-vlm и специальный загрузчик Niwaki; заявлена производительность около 31 токена в секунду на M4 Max. Главное преимущество — существенное сокращение требований к памяти при сохранении 99,8% среднего результата базовой 4-битной модели на указанном наборе задач. Ограничения включают повышенную perplexity, меньшую надёжность чисел и редких технических фактов, недостаточную проверку поведения в узких предметных областях и унаследованные от базовой модели смещения. При включённом режиме рассуждений модель может генерировать чрезмерно длинные ответы; для кратких задач рекомендуется отключать thinking. Лицензия указана как other со ссылкой на лицензию базовой модели Qwen3.8-Flash-Next.

Cyronius/Qwen3.8-Flash-Next-131B-A6B-GGUF — это оптимизированная GGUF-версия Qwen3.8-Flash-Next, основанная на модели Qwen от Qwen и подготовленная автором Cyronius. Модель предназначена для генерации текста, рассуждений и агентских сценариев с вызовом инструментов через llama.cpp. Это текстовая сборка; отдельные vision-тензоры поставляются отдельно, а работа визуального контура после модификации не тестировалась. Модель использует MoE-архитектуру с 48 слоями и 512 экспертами, из которых активируются параметры объёмом около 6B на токен. Общее число параметров сокращено примерно с 176B до 131B за счёт уменьшения n-gram hash-embedding-таблицы с 51,2B до 6,4B параметров: сохранено по одной из восьми голов для каждого типа n-грамм. Основная сборка Q3_K_XL занимает 64,8 GB, также доступна версия Q4_0 размером 75,4 GB. Заявлена поддержка контекста до 256K токенов в исходной архитектуре, но поведение на длинном контексте для этой модификации не проверялось; опубликованные тесты проведены при контексте до 8K. По небольшому набору тестов сборка сохранила показатели базовой модели в tool calling, GSM8K и MMLU, однако perplexity на WikiText-2 ухудшилась с 2,40 до 4,66. Поэтому модель хорошо подходит для рассуждений, задач общего назначения и вызова инструментов, но может быть менее качественной в точном воспроизведении цитат, шаблонного текста и других сценариях, зависящих от поверхностного предсказания продолжений. Q4_0 структурно проверена, но отдельно не тестировалась. Для запуска требуется llama.cpp от 2026-08-27 или новее с поддержкой qwen4exp, а также значительный объём VRAM или оперативной памяти. Модель распространяется по лицензии qwen-community-1.0.

Qwen3-VL-12B-Thinking-Brainstorm20x-NEO-MAX-GGUF — мультимодальная instruct-модель в формате GGUF, созданная DavidAU на базе Qwen3-VL-8B-Thinking с адаптером Brainstorm 20x и дополнительной обработкой квантов NEO Imatrix. Модель предназначена для работы с текстом и изображениями, включая image-to-text, описание изображений, программирование, генерацию кода, чат, творческие задачи и рассуждения. В метаданных указан английский язык; заявлена поддержка видео, однако подробности о формате и ограничениях видеовхода не приведены. После применения адаптера размер модели увеличен до 12B параметров; указаны 55 слоёв и 608 тензоров. Максимальный контекст составляет 256k токенов. Для полноценной мультимодальной работы требуется отдельный файл mmproj в формате GGUF, размещённый вместе с основной моделью. Поддерживаются шаблоны Jinja или ChatML. Brainstorm 20x заявлен как модификация, улучшающая детализацию, связность, качество прозы, творческую генерацию и глубину рассуждений, но автор отдельно отмечает, что это не означает кратного повышения интеллектуальных способностей. Сильными сторонами модели являются сочетание обработки текста и изображений, пригодность для сложного многошагового программирования, подробных инструкций, творческих сценариев и работы с длинным контекстом. К ограничениям относятся отсутствие опубликованных в README бенчмарков и примеров, а также возможное зацикливание генерации; для его уменьшения рекомендуются повышенная температура, repetition penalty около 1.1 и presence penalty 2.0. Модель распространяется по лицензии Apache-2.0.

Shadowm7expMeliodaspercival_01_experiment26t3q-7B — автоматически объединённая текстовая модель на архитектуре Mistral, созданная Maxime Labonne. Она предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров и объединяет ShadowM7EXP-7B и MeliodasPercival_01_Experiment26T3q с базовой моделью Mistral-7B-v0.1 методом model_stock; веса представлены в формате safetensors и типе bfloat16. Репозиторий распространяется по лицензии Apache-2.0.

bunnycore/Tulu-3.1-8B-SuperNova-Smart — объединённая языковая модель, созданная разработчиком bunnycore с помощью mergekit. В слиянии методом passthrough использованы bunnycore/Tulu-3.1-8B-SuperNova и bunnycore/Llama-3.1-8b-smart-lora; модель основана на архитектуре Llama и содержит 7,5 млрд параметров. Модель предназначена для генерации текста и диалогов. Её можно применять для ответов на вопросы, следования инструкциям и интерфейсов с вызовом инструментов. Указанная длина контекста — 131 072 токена. Данные не описывают поддерживаемые естественные языки и условия лицензии, поэтому их нельзя надёжно указать.

WINTER-FROST-3 — дообученная brucoder модель для генерации текста и диалогов. Она основана на WINTER-FROST-2-PRO, использует плотную архитектуру Qwen2 и содержит 7,1 млрд параметров. Модель принимает текст и поддерживает контекст длиной до 32 768 токенов; в карточке указан английский язык. В метаданных также отмечен интерфейс взаимодействия с инструментами. Модель подходит для текстовых запросов, диалогов и сценариев, где нужно вызывать инструменты через соответствующий интерфейс. При обучении использовались Unsloth и библиотека TRL от Hugging Face. Лицензия — Apache-2.0.

fearlessdots/WizardLM-2-7B-abliterated — это версия диалоговой модели WizardLM-2 7B, опубликованная fearlessdots. Веса в формате bfloat16 Safetensors ортогонализированы по методике, основанной на реализации @failspy; базовая модель — mistralai/Mistral-7B-v0.1, дообученная WizardLM@Microsoft AI. Модель имеет плотную архитектуру MistralForCausalLM и около 7,1 млрд параметров. Модель предназначена для многоходового диалога и генерации ответов на инструкции, включая задачи письма, программирования, математики, рассуждений и многоязычного общения. В README заявлена поддержка нескольких языков, но конкретные языки не перечислены. Контекст составляет до 32 768 токенов; используется шаблон диалога Vicuna. Лицензия — Apache-2.0. Заявленные возможности унаследованы от WizardLM-2 7B, однако карточка не приводит отдельной оценки именно этой ортогонализированной версии. Ортогонализация весов описана как abliterated-вариант, но README не уточняет, какие ограничения или побочные эффекты она создаёт.

MaziyarPanahi/WizardLM-2-7B-GGUF — это квантизированная версия языковой модели WizardLM-2 7B в формате GGUF. Исходная модель разработана командой WizardLM в Microsoft AI на основе Mistral-7B-v0.1, а конвертацию и публикацию квантизированных файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и диалогового взаимодействия с поддержкой многоходовых бесед. Модель содержит около 7 млрд параметров и заявлена как мультиязычная. Она ориентирована на сложные чаты, следование инструкциям, написание текстов, программирование, математические задачи, рассуждения, агентские сценарии и работу на нескольких языках. По данным README, WizardLM-2 7B обеспечивает высокую скорость и сопоставима по качеству с более крупными открытыми моделями; в оценках авторов она сравнивалась с моделями размером до 32B параметров. Конкретное максимальное окно контекста и перечень поддерживаемых языков не указаны. Главное преимущество этой версии — возможность локального запуска благодаря GGUF и нескольким вариантам квантизации от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения включают зависимость характеристик от выбранного уровня квантизации, отсутствие заявленной поддержки мультимодальных входов и недостаток подробных данных о тестах, контекстном окне и безопасности. Модель распространяется по лицензии Apache 2.0.

ZEUS-8B-V23 — объединённая языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в объединение также вошли Llama-3.1-Tulu-3-8B, Llama-3.1-Storm-8B, SuperNova-Lite, SauerkrautLM, Lexi-Uncensored-V2 и HuatuoGPT-o1-8B. Модель содержит 7,5 млрд параметров, работает через Transformers и принимает текст для генерации текста; поддерживает диалоги и интерфейс вызова инструментов. Заявленный контекст — до 131 072 токенов. Модель подходит для диалоговых сценариев, генерации ответов и следования инструкциям. В README приведены результаты Open LLM Leaderboard, включая 76,21% на IFEval и 31,47% на BBH; эти показатели относятся к указанным оценочным настройкам и не гарантируют качество в конкретном приложении. В карточке не приведены сведения о лицензии, поэтому условия использования следует проверять в репозитории и у моделей-источников.

ZEUS-8B-V8 — объединённая языковая модель, опубликованная пользователем T145 и созданная с помощью mergekit. В основе объединения лежит unsloth/Meta-Llama-3.1-8B-Instruct; также использованы SicariusSicariiStuff/LLAMA-3_8B_Unaligned_BETA, arcee-ai/Llama-3.1-SuperNova-Lite и akjindal53244/Llama-3.1-Storm-8B. Применён метод DARE TIES. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и предназначена для генерации текста и диалогового взаимодействия. Заявленная длина контекста — до 131 072 токенов; поддерживаются интерфейсы чата и вызова инструментов. В карточке приведены результаты оценивания, включая IFEval и BBH. Модель принимает текст и генерирует текст. README не уточняет языковой охват и не описывает детально ограничения качества. Лицензия — llama3.1.

fiveflow/8b_128 — генеративная языковая модель, опубликованная пользователем fiveflow на Hugging Face. По метаданным она относится к семейству Qwen3, предназначена для генерации текста и поддерживает conversational-сценарии.

BeagSake-7B — объединённая текстовая модель, созданная shadowml с помощью LazyMergekit из shadowml/BeagleSempra-7B и shadowml/WestBeagle-7B. Веса получены методом SLERP с настройками, которые смешивают параметры attention и MLP по-разному; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, формат файлов — safetensors. Модель поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. В карточке приведены результаты Open LLM Leaderboard: средняя оценка 75,38, включая 72,44 на AI2 Reasoning Challenge и 88,39 на HellaSwag; эти результаты отражают только указанные тесты и не гарантируют качество в других сценариях. Доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Calcium-Opus-14B-Elite-Stock — объединённая диалоговая языковая модель от prithivMLmods на архитектуре Qwen2.5 с 14 млрд параметров. Она создана методом Model Stock с помощью mergekit на основе Calcium-Opus-14B-Elite и моделей Calcium-Opus-14B-Elite2, Elite3 и Elite4; веса доступны в формате safetensors. Модель предназначена для генерации текста и диалогов, следования инструкциям, логических рассуждений, решения математических задач и пошагового объяснения решений. В README указано, что при подготовке использовались дообученная модель рассуждений и специализированные наборы данных. Модель поддерживает контекст до 131 072 токенов и рассчитана на текстовый ввод и текстовый вывод. В README приведены результаты Open LLM Leaderboard: среднее значение 36,49, IFEval — 61,43 и BBH — 46,90. Эти оценки характеризуют только указанные тесты и не гарантируют качество на конкретных прикладных задачах. Лицензия в предоставленных данных не указана.

DeepSauerHuatuoSkywork-R1-o1-Llama-3.1-8B — объединённая языковая модель, собранная grimjim с помощью mergekit. В основе лежит meta-llama/Llama-3.1-8B; в слияние также включены SauerHuatuoSkywork-o1-Llama-3.1-8B с весом 0,9 и DeepSeek-R1-Distill-Llama-8B с весом 0,1. Использован метод task arithmetic, итоговые веса сохранены в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев, где полезны рассуждения и следование инструкциям. Она содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка приводит результаты оценивания на IFEval и BBH, однако не описывает языки, на которых модель проверена. Лицензия — llama3.1; её условия следует учитывать при использовании и распространении модели.

DeepSeek-R1-Distill-Llama-8B-abliterated — текстовая генеративная модель huihui-ai на архитектуре Llama, созданная методом abliteration на основе deepseek-ai/DeepSeek-R1-Distill-Llama-8B. Разработчик описывает её как экспериментальный вариант, в котором удалены отказы от ответов; базовая модель была дообучена на данных для рассуждений. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для диалоговой генерации текста, ответов на вопросы и многошаговых рассуждений, включая математические задачи и программирование — эти возможности унаследованы от базовой модели. В карточке также приведён способ использования через Ollama. README предупреждает, что удаление отказов реализовано грубо и служит доказательством концепции; поэтому поведение модели может быть менее безопасным. Условия лицензии в предоставленных данных не указаны.

DeepSeek-R1-Distill-Llama-8B-GGUF — это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Llama-8B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, решения задач, требующих рассуждений, и локального использования в инструментах, совместимых с форматом GGUF. Модель дистиллирована из reasoning-модели DeepSeek-R1 и настроена на рассуждения и генерацию цепочек рассуждений. Заявлена поддержка контекста до 128k токенов. В основе используется архитектура Llama с размером 8B параметров; модель относится к текстовой модальности. Другие характеристики, включая перечень поддерживаемых языков и конкретный тип квантизации, в README не указаны. Лицензия и точные условия использования в README не указаны. Модель может быть полезна для локального запуска и задач, где важны рассуждения, однако, как и другие генеративные модели, способна выдавать неточные, вредные или неподходящие ответы; надёжность результатов требует проверки.

mlx-community/DeepSeek-R1-Distill-Qwen-1.5B — конвертированная в формат MLX версия компактной языковой модели DeepSeek-R1-Distill-Qwen-1.5B, подготовленная сообществом mlx-community из модели deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B с помощью mlx-lm 0.20.2. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров, предназначенная для диалоговой генерации текста и решения задач рассуждения, математики и программирования. Модель принимает текст и генерирует текст; метаданные указывают контекстное окно 131072 токена и интерфейс для вызова инструментов. Формат MLX ориентирован на запуск с mlx-lm. В карточке приведена лицензия базовой модели только косвенно, поэтому условия лицензирования здесь не уточняются. Возможности и качество унаследованы от базовой модели.

FwF-Qwen-7B-0.2 — языковая модель на архитектуре Qwen2, созданная bunnycore линейным слиянием четырёх моделей, ориентированных на рассуждения, длительное пошаговое мышление, ролевой диалог и универсальные задачи. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; метаданные также отмечают интерфейс вызова инструментов. Нативная длина контекста — 32 768 токенов. Модель подходит для диалоговых приложений, следования инструкциям и многошаговых задач, где полезно сочетание компонентов с разными специализациями. В README приведены результаты оценивания на IFEval и BBH, однако они сами по себе не гарантируют качество на пользовательских сценариях. Лицензия в предоставленных данных не указана.

brittlewis12/gemma-3-27b-it-GGUF — это квантизированная в формате GGUF версия Gemma 3 27B IT, разработанной Google DeepMind и преобразованной пользователем brittlewis12 с помощью llama.cpp. Модель предназначена для генерации текста в режиме instruction tuning: ответов на вопросы, суммаризации, рассуждений и других диалоговых и текстовых сценариев. Формат GGUF ориентирован на локальный запуск через совместимые инструменты, включая llama.cpp, на компьютерах и мобильных устройствах. Модель содержит 27 миллиардов параметров, поддерживает контекст до 128K токенов и, согласно README исходной модели, более 140 языков; в метаданных этого репозитория явно указан английский язык. Gemma 3 также заявлена как способная к пониманию изображений, однако данный репозиторий описывает pipeline для генерации текста, поэтому возможности именно этой GGUF-сборки в мультимодальных сценариях не уточнены. К сильным сторонам относятся большой контекст, широкий языковой охват и пригодность для локального развертывания, но размер модели может предъявлять значительные требования к памяти и вычислительным ресурсам, зависящие от конкретного уровня квантизации. Модель распространяется по лицензии Gemma. Для корректного использования необходимо применять шаблон запросов Gemma Instruct, приведённый в README. Точные параметры квантизации, требования к оборудованию и дополнительные ограничения лицензии в предоставленных данных не указаны.

Это GGUF-сборка Gemma-4-26B-A4B-it, подготовленная ironbcc для запуска через llama.cpp и LM Studio. Комплект включает основную 26-миллиардную MoE-модель Gemma-4 и вспомогательную модель-драфтер gemma-4-26B-A4B-it-assistant от Google для speculative decoding. Основная модель использует 128 экспертов; доступны варианты драфтера с квантованием Q2_K, Q4_K_M, Q8_0 и F16. Указан английский язык, а модель предназначена для генерации текста, диалогов, рассуждений и программного использования через совместимые серверы и клиенты. Максимальный контекст Gemma-4 заявлен как 256K токенов, однако конкретные возможности зависят от runtime и настроек. Ключевое преимущество сборки — ускорение генерации за счёт Multi-Token Prediction и speculative decoding: в приведённом тесте на Apple M5 Max скорость достигала примерно 1,55 раза относительно режима без MTP, а при отключении reasoning — до 143,2 токена в секунду. Q2_K-драфтер рекомендован как наиболее быстрый и показал наивысшую долю принятых токенов в тесте. Ограничения включают необходимость специальной ветки llama.cpp с поддержкой Gemma-4 MTP; на момент подготовки README эта функциональность ещё не была включена в основную ветку, а LM Studio требовал соответствующего runtime. Включение thinking повышает качество рассуждений, но снижает скорость. Основной файл имеет размер около 26 ГБ, поэтому запуск требует значительного объёма памяти; для полного контекста 256K README указывает примерно 31 ГБ RSS при старте с дальнейшим ростом потребления. Распространение заявлено по лицензии Apache-2.0, при этом для доступа к Gemma на Hugging Face необходимо принять условия использования Google.

Gemma 4 E4B it qat JANG_4M CRACK — дообученная и квантованная мультимодальная модель dealignai на базе google/gemma-4-e4b-it. Это плотная модель семейства Gemma 4 с гибридным скользящим и глобальным вниманием. Вариант JANG_4M использует 8-битную точность для attention и 4-битную для MLP; модель предназначена для запуска на Apple Silicon через vMLX. Модель поддерживает диалог, работу с изображениями и аудио, ответы на вопросы, многошаговые рассуждения и генерацию кода. Разработчик заявляет об удалении отказов при сохранении возможностей; в приведённых тестах модель показала 71,9% на MMLU и 100% выполнения запросов из вредоносных категорий HarmBench. Для запуска требуется vMLX с поддержкой Gemma 4 и достаточный объём объединённой памяти. Указана лицензия Gemma; карточка рекомендует использовать модель для исследований и возлагает соблюдение применимых законов на пользователя.

GLM-4.7-Flash-MXFP4-MOE-GGUF — квантизированная версия языковой модели GLM-4.7-Flash от Zhipu AI, опубликованная в формате GGUF. Это модель Mixture-of-Experts на архитектуре DeepSeek2 с Multi-head Latent Attention: около 30 млрд параметров всего, из которых примерно 3,2 млрд активируются на токен; используются 64 маршрутизируемых эксперта и один общий. В README указан контекст до 200 000 токенов. Модель предназначена для генерации текста и диалогов, включая рассуждения и программирование. Она поддерживает английский и китайский языки; режим рассуждений включён по умолчанию. В квантизации MXFP4 веса экспертов представлены в 4-битном формате, а остальные тензоры — в Q8_0; файл весов занимает 15,8 ГБ. README указывает на запуск через llama.cpp на GPU или CPU. Квантизация рассчитана на более эффективный вывод при небольшом снижении качества относительно исходной модели. Репозиторий распространяется по лицензии MIT.

GLM-5.3-Flash-TQ3_4S — текстовая GGUF-квантизация модели zai-org/GLM-5.3-Flash, подготовленная автором репозитория для запуска через llama.cpp с поддержкой TurboQuant. Используется архитектура Mixture of Experts: активны 8 из 288 маршрутизируемых экспертов на токен. Формат TQ3_4S имеет номинальную точность около 4 бит на вес; маршрутизируемые эксперты хранятся в 2-битном формате, внимание и общие эксперты — в 6-битном, а нормализации и смещения — в FP32. Веса занимают около 101,6 ГиБ и распределены по четырём GGUF-файлам. Модель предназначена для диалоговой генерации текста, программирования и вызова инструментов. Сохранённая MTP (NextN) голова позволяет использовать спекулятивное декодирование без отдельной черновой модели. README приводит результаты тестов на NVIDIA GB10/DGX Spark и рекомендует контекст 40 960 токенов в поставляемой конфигурации; заявлена проверенная работа до 512 тыс. токенов на этом оборудовании. Поддерживаются английский и китайский языки. Эта сборка не содержит vision tower, поэтому не принимает изображения, хотя базовая модель поддерживает обработку изображений. Для работы необходима публичная ветка TurboQuant runtime: основной llama.cpp не поддерживает тип тензора TQ3_4S. README отмечает необходимость пользовательского шаблона чата. Квантизация сокращает размер весов, но её влияние на качество может зависеть от задачи и оборудования; приведённые оценки получены на одной конфигурации и не гарантируют аналогичных результатов в других условиях. Лицензия — MIT.

Goku-8x22B-v0.1 — дообученная MaziyarPanahi версия v2ray/Mixtral-8x22B-v0.1 на наборе philschmid/guanaco-sharegpt-style. Это диалоговая языковая модель с архитектурой Mixtral типа Mixture of Experts; в карточке указаны 22 млрд параметров, а README приводит конфигурацию на 141 млрд параметров, из которых активны 35 млрд. Контекст составляет до 65 536 токенов, модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев: ответов на вопросы, работы с длинным контекстом, написания кода и задач на рассуждение. В метаданных перечислены английский, французский, итальянский, немецкий и испанский языки. Модель распространяется по лицензии Apache-2.0. Карточка сообщает о тестировании на перечисленных сценариях, но не приводит результатов бенчмарков; качество для математики и программирования отдельно не подтверждено.