II.4Отладка, тестирование и качество ПО

unsloth/Qwen3.5-0.8B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-0.8B, разработанной командой Qwen и подготовленной Unsloth. Это авторегрессионная языковая модель с vision-энкодером, предназначенная для локального запуска, прототипирования, исследовательских задач, специализированного дообучения, программирования, рассуждений, работы с изображениями и агентских сценариев. Модель содержит около 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. Она использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts, а также обучение с multi-step prediction (MTP), поддерживающее спекулятивное декодирование. Нативная длина контекста составляет 262 144 токена. Заявлена поддержка 201 языка и диалекта. Репозиторий ориентирован на совместное использование с llama.cpp и другими инструментами, поддерживающими GGUF; для MTP в llama.cpp требуется соответствующая ветка или актуальная версия с поддержкой draft-MTP. К сильным сторонам относятся малый размер, возможность эффективного локального запуска, мультимодальность, широкий языковой охват и потенциальное ускорение генерации примерно в 1,5–2 раза благодаря MTP. Ограничениями являются невысокий по современным меркам объём модели и, как следствие, вероятно более слабое качество сложных задач по сравнению с крупными моделями. Для MTP указаны ограничения: не поддерживаются параллельные последовательности с параметром -np больше 1 и использование mmproj. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GPTQ-int4 — квантизированная версия модели Jackrong/Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled, основанная на Qwen3.5-35B-A3B. Модель предназначена для генерации текста, задач рассуждения и мультимодального понимания изображений с текстом. Указанные языки — английский и китайский. Это MoE-модель с 35 млрд общих параметров, из которых около 3 млрд активируются для каждого токена; используется 256 экспертов, 8 из которых активны одновременно. Квантование выполнено методом GPTQ в формате INT4 W4A16 с размером группы 128. Vision encoder и MTP-модуль сохранены без квантизации, поэтому модель поддерживает анализ изображений, хотя исходное дообучение было сосредоточено на текстовых задачах рассуждения. Для запуска в INT4 требуется примерно 22 ГБ видеопамяти; в примере конфигурации указан контекст до 4096 токенов. Сильные стороны модели — снижение требований к памяти благодаря INT4-квантизации, сохранение мультимодальных возможностей и высокая вычислительная эффективность MoE-архитектуры. Ограничения включают возможную потерю качества из-за квантизации и отсутствие подробных данных о фактических результатах, тренировочном наборе и полном наборе поддерживаемых возможностей. Модель распространяется по лицензии Apache 2.0.

Avesed/Qwen3.6-27B-INT8-W8A8 — квантованная версия базовой модели Qwen/Qwen3.6-27B, разработанной командой Qwen и подготовленной Avesed. Это плотная гибридная модель с архитектурой, объединяющей линейное внимание GatedDeltaNet и периодическое полноформатное внимание. Модель имеет vision tower и MTP head, однако в карточке указаны языки English и Chinese, а назначение обозначено как text-generation. Модель предназначена для генерации текста и задач, поддерживаемых базовой Qwen3.6-27B, включая сценарии, где важны рассуждения и работа с длинными последовательностями; точный размер контекста в README не указан. Ключевая особенность — INT8-квантизация по схеме W8A8: веса квантуются в симметричный INT8 по каналам, а активации — динамически по токенам. Большинство MLP-слоёв, полное внимание и выходная проекция GatedDeltaNet квантуются, тогда как чувствительные к качеству компоненты сохраняются в формате bf16. По заявлению автора, INT8 W8A8 обеспечивает почти отсутствие потерь качества и уменьшает требования к памяти по сравнению с полноразмерной моделью. Для запуска рекомендуется vLLM с INT8 W8A8 CUTLASS path и tensor parallelism; указана совместимость с GPU Ampere sm_80 и sm_86. Ограничения включают зависимость от подходящего программного стека и оборудования, а также отсутствие в README точных данных о контексте, производительности и качестве на конкретных наборах задач. Модель распространяется по лицензии Apache-2.0.

trymirai/Qwen3.6-27B-L — квантизированная версия языковой модели Qwen3.6-27B, подготовленная Mirai Labs для эффективного локального вывода на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования большой языковой модели, включая задачи, поддерживаемые исходной Qwen3.6-27B. Точные сведения о назначении, языках и контекстном окне в этой карточке не приведены. Модель содержит 27 млрд параметров и использует посттренировочную 8-битную симметричную целочисленную квантизацию с масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms с размером блока 32. По размеру и уровню квантизации checkpoint сопоставим с Unsloth UD-Q8_K_XL в формате GGUF. Ключевые преимущества — сохранение качества при уменьшенном размере и ориентация на эффективный локальный запуск. Основное ограничение — на данный момент поддерживается только inference на Apple silicon; характеристики, оценки и ограничения исходной модели Qwen3.6-27B следует уточнять в её оригинальной карточке. Модель распространяется по лицензии Apache 2.0.

trymirai/Qwen3.6-27B-M — это 4-битная квантованная версия языковой модели Qwen3.6-27B, подготовленная Mirai Labs для эффективного локального запуска на устройствах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования большой языковой модели, включая агентские задачи, диалоги и работу с длинным контекстом; подробные сведения о возможностях и ограничениях унаследованы от исходной модели Qwen3.6-27B. Ключевая особенность модели — 4-битное асимметричное целочисленное квантование с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для снижения влияния выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms. Квантование выполнено после обучения и дополнительно улучшено дистилляцией с учётом квантования. По размеру и уровню квантования модель сопоставима с вариантом Unsloth Q4_K_M GGUF. В README не указаны точный размер контекста, поддерживаемые языки, архитектурные детали исходной модели и результаты конкретных оценок. Сильной стороной является компромисс между размером и качеством: по заявлению разработчиков, checkpoint находится на границе Парето по размеру и KL-дивергенции, а также оптимизирован для эффективного локального вывода на Apple silicon. Ограничение — заявлена поддержка инференса только на Apple silicon; инструкции для запуска ориентированы на macOS и пакет mirai. Модель распространяется по лицензии Apache-2.0.

Это сжатая версия весов Qwen3.6-35B-A3B, опубликованная fraQtl для генерации текста и диалогов. Модель использует архитектуру MoE и предназначена для инференса, в том числе при длинном контексте; в метаданных указан размер 2,9 млрд параметров и нативный контекст до 262 144 токенов. README сообщает о сокращении размера весов примерно в 2,74 раза и работе с контекстом до 128K на одной A100-80GB; приведённые замеры включают сравнение с FP16, но имеют предварительный характер. Для загрузки необходим пакет fraqtl-runtime и Transformers версии не ниже 4.51; README указывает поддержку Linux x86_64 с CUDA. Репозиторий содержит сжатые веса в safetensors, а дообучение не входит в назначение артефакта. Лицензия обозначена как other, поэтому конкретные условия следует проверять в карточке модели. Заявленные показатели качества и длинного контекста основаны на односидовых проверках; многоязычная производительность после сжатия отдельно не оценивалась.

uzairkhn/Qwen3.8-27B-FP4 — дообученная и 4-битно квантованная версия causal language model Qwen/Qwen3.8-27B. Квантование FP4 выполнено с использованием библиотеки bitsandbytes разработчиком uzairkhanux; исходную модель разработала команда Qwen. Модель предназначена для генерации текста, диалогового взаимодействия, zero-shot и few-shot prompting, а также инференса в прикладных сценариях, где важны сниженные требования к видеопамяти. Это трансформерная авторегрессионная модель размером 27B параметров, доступная в формате FP4. По данным карточки, её потребление памяти снижено примерно с 54 ГБ для исходных 16-битных весов до около 14 ГБ, что позволяет запускать её на одной GPU с 16 ГБ VRAM или конфигурациях вроде двух NVIDIA T4. Модель поддерживает несколько языков, включая английский и китайский, а также другие языки, поддерживаемые базовой моделью. Для загрузки рекомендуется экосистема Hugging Face Transformers и bitsandbytes с возможностью выгрузки части весов в оперативную память. Главное преимущество модели — существенное уменьшение требований к памяти при сохранении возможностей исходной большой языковой модели. Ограничения связаны с потерями качества из-за lossy-квантования: по сравнению с исходными 16-битными или BF16-весами возможно ухудшение сложного рассуждения. Использование CPU offloading снижает скорость генерации, поэтому модель плохо подходит для чувствительных к задержкам производственных систем без оборудования с большим объёмом VRAM. Модель может наследовать предвзятости и ошибки исходных и дообучающих данных; перед применением нужны тестирование и защитные механизмы. Лицензия определяется лицензией базовой модели Qwen/Qwen3.8-27B.

ionos/Qwen3.8-27B-GPTQ-Int4 — неофициальная 4-битная GPTQ-квантизация мультимодальной модели Qwen/Qwen3.8-27B, созданная сообществом с использованием LLM Compressor. Модель предназначена для работы с текстом и изображениями: она поддерживает понимание документов, визуальное восприятие и рассуждения, математические задачи по изображениям, работу с инструментами и выполнение инструкций. В README явно приведены результаты для английского и немецкого языков; полный список поддерживаемых языков и размер контекстного окна не указан. Используется схема W4A16 с группами по 128 весов и симметричной GPTQ-квантизацией. Большинство линейных модулей языковой части модели в 64 слоях квантизированы до 4 бит, тогда как vision tower, эмбеддинги, lm_head и некоторые небольшие чувствительные компоненты сохранены в BF16. Архитектура, токенизатор, chat template и конфигурация процессора не изменены относительно базовой модели, а объём весов составляет примерно треть от версии BF16. Модель рассчитана на запуск, в частности, через vLLM; для неё требуется свежая версия transformers. По приведённым сравнениям модель в целом сохраняет качество базовой версии в задачах понимания документов, визуального рассуждения и английских знаний. Отдельно отмечено снижение результата на немецком языке примерно на 3 процентных пункта, поэтому немецкоязычные сценарии требуют собственной проверки. Результаты для tool calling и instruction following близки к базовой модели, но их абсолютные значения в тесте снижены особенностями измерения с включённым reasoning. Для табличного вывода рекомендуется использовать JSON-схему или грамматику с последующей валидацией. Модель распространяется по лицензии Apache-2.0, однако сама квантизация не является официальной и не проверялась командой Qwen или Alibaba Cloud.

AIArchiveInfo/Qwen3-Embedding-0.6B — побитовая архивная копия Qwen/Qwen3-Embedding-0.6B, разработанной командой Qwen. Это плотная модель семейства Qwen3 с 507,6 млн параметров, предназначенная для преобразования текстов в векторные представления и сравнения их семантической близости. Она подходит для поиска по тексту и коду, классификации и кластеризации текстов, поиска параллельных фрагментов на разных языках и построения семантического поиска. Модель поддерживает более 100 языков, контекст до 32 768 токенов и настраиваемую размерность эмбеддингов от 32 до 1024. Она учитывает инструкции, заданные для конкретной задачи; исходная карточка рекомендует формулировать их на английском в многоязычных сценариях. Для работы с архитектурой Qwen3 требуется Transformers версии 4.51.0 или новее. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0; согласно карточке, эта копия не обучалась и не изменялась.

Qwen-Qwen2-7B-Instruct-GGUF — набор GGUF-квантизаций модели Qwen2-7B-Instruct, разработанной Qwen и опубликованной в формате квантизированных файлов командой featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие сценарии text-generation. GGUF-формат ориентирован на локальный запуск совместимыми инструментами, а разные уровни квантизации позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством работы. В набор входят варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,9 до 7,7 ГБ. Из README известно, что это текстовая модель с примерно 7 миллиардами параметров; сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста не указаны. Более сильная квантизация обычно уменьшает требования к ресурсам, но может снижать точность по сравнению с менее квантизированными вариантами. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в материалах исходной модели Qwen2-7B-Instruct и репозитории квантизаций.

NobodyWho/Qwen_Qwen3.5-0.8B-GGUF — GGUF-квантизированная версия модели Qwen3.5-0.8B, разработанной командой Qwen компании Alibaba Group. Модель подготовлена для использования с NobodyWho, содержит встроенные рекомендованные параметры семплирования Qwen и проверена тестовым набором NobodyWho. Модель предназначена для быстрого диалогового общения и генерации текста, выполнения инструкций, нативного tool calling и локального запуска на устройствах с ограниченными ресурсами. Она поддерживает мультимодальный ввод текста и изображений через дополнительную проекционную модель mmproj-BF16.gguf, режим рассуждений, включённый по умолчанию, а также широкий набор языков. Заявлена поддержка контекста до 262 144 токенов. Модель содержит 0,8 млрд параметров и использует архитектуру qwen35. Доступны варианты BF16, Q8_0 и Q4_K_M; каждый показал результат 13 из 14 тестов tool calling, при этом сложные схемы остаются ограничением. Основные преимущества — малый размер, низкие требования к памяти, мультимодальность, длинный контекст и возможность локального использования. Для работы с изображениями требуется отдельный файл проекционной модели. Распространяется по лицензии Apache 2.0.

SImi-2B — генеративная языковая модель, разработанная Dakuwon Moody. Это публичное распространение только весов модели SImiModel без исходного кода архитектуры, обучающего кода и полного внутреннего дерева восстановления. Модель предназначена для генерации текста, следования инструкциям, агентских сценариев и использования инструментов, включая задачи с tool use и function calling. Модель представляет собой decoder-only causal language model в стиле Llama, реализованную на JAX/Flax. Она содержит примерно 2,32 млрд параметров, 30 слоёв, скрытую размерность 2560, GQA с 20 query heads и 4 KV heads, RoPE, RMSNorm и SwiGLU. Используется untied token embedding и LM head, токенизатор GPT-2 BPE с 50 257 токенами и максимальная длина последовательности 1024 токена. Вычисления и веса имеют тип bfloat16. В README указан английский язык модели. Сильными сторонами являются обучение на полноразмерных потоках данных для инструкционного, агентского и инструментального использования, а также компактный размер по сравнению с крупными языковыми моделями. Ограничения включают отсутствие поддержки hosted inference, отсутствие исходного кода и несовместимость с Transformers AutoModel.from_pretrained; для восстановления требуются JAX/Flax и специфические процедуры работы с Orbax. Модель обучалась на AMD Instinct MI300X. Распространяется по лицензии Apache-2.0.

duyntnet/SmolLM2-1.7B-imatrix-GGUF — набор GGUF-квантизаций компактной языковой модели SmolLM2-1.7B, разработанной Hugging Face. Модель предназначена для генерации текста и широкого спектра задач, включая следование инструкциям, работу со знаниями, рассуждения, математику, переписывание и суммаризацию текста, а instruct-версия также поддерживает function calling. GGUF-вариант ориентирован на локальный запуск через llama.cpp и совместимые приложения. Модель содержит 1,7 млрд параметров и работает в текстовой модальности; в карточке указан английский язык. Базовая SmolLM2-1.7B обучалась на 11 трлн токенов с использованием данных FineWeb-Edu, DCLM, The Stack, а также математических и программных наборов данных. Instruct-версия дополнительно обучалась методом supervised fine-tuning и оптимизировалась с помощью Direct Preference Optimization на базе UltraFeedback. К сильным сторонам относятся компактность, возможность запуска на устройстве и улучшения по сравнению с SmolLM1-1.7B в следовании инструкциям, знаниях, рассуждениях и математике. Размер контекста в README не указан, поэтому его характеристики и ограничения нельзя определить точнее. Для использования доступны llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. Лицензия обозначена как other, без дополнительных условий в README; точные права и ограничения следует уточнять в исходной карточке модели и лицензии базовой SmolLM2-1.7B.

Star-Command-R-Lite-32B-v1 — плотная языковая модель на 32,3 млрд параметров, полученная автором репозитория методом SLERP-слияния Star-Command-R-32B-v1 и Cohere Command R от Cohere. Она предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. Модель работает через Transformers, использует формат safetensors и поддерживает контекст до 131 072 токенов. Слияние призвано смягчить поведение Star-Command-R и сохранить больше характеристик Command R. Это позволяет использовать модель для диалогов, генерации текста и сценариев с вызовом инструментов. Карточка не сообщает лицензию и не уточняет поддерживаемые естественные языки, поэтому эти характеристики здесь не приводятся.

SuperQwen3.8-27b-abliterated-i1-GGUF — набор GGUF-квантизаций мультимодальной модели SuperQwen3.8-27b-abliterated, базовая модель которой разработана Jiunsong. Квантизации подготовлены mradermacher при поддержке nethype GmbH; отдельная благодарность указана nicoboss за вычислительные ресурсы. Модель предназначена для задач image-text-to-text, рассуждений, вызова инструментов и работы с длинным контекстом. Модель имеет около 27 миллиардов параметров, поддерживает обработку текста и изображений, а заявленный размер контекста достигает 262 тысяч токенов. В метаданных указаны английский и корейский языки. Репозиторий содержит варианты с разной степенью квантизации — от i1-Q2_K размером около 11 ГБ до i1-Q6_K размером около 22,5 ГБ, что позволяет выбирать компромисс между размером, скоростью и качеством. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Сильные стороны модели — мультимодальность, длинный контекст, поддержка reasoning и tool-calling, а также широкий выбор GGUF-вариантов для локального запуска. Ограничения включают неизбежные потери качества при низкой квантизации, необходимость совместимого программного обеспечения для GGUF и возможную потребность в дополнительных файлах для обработки изображений. Лицензия — Apache-2.0.

Jiunsong/SuperQwen3.8-27b-abliterated-NVFP4-DGX-Spark — это сжатая и оптимизированная для производительности мультимодальная модель, созданная Jiunsong на базе Qwen/Qwen3.8-27B. Она предназначена для задач image-text-to-text, рассуждений, работы с инструментами и обработки длинного контекста. Модель поддерживает английский и корейский языки, принимает текст и изображения, а также рассчитана на контекст до 262 144 токенов; в README подтверждён поиск данных в контексте длиной 262 043 токена. Модель использует квантизацию NVFP4 W4A4 с размером группы 16 для подходящих линейных весов и активаций. Vision tower, MTP, пути conv1d и lm_head защищены и сохраняются в исходной или BF16-точности; MTP-компонент используется для speculative decoding. Размер исходной модели — 27B параметров, объём квантизированного набора составляет около 19,15 GiB. В измеренном профиле применяется FP8 KV cache, а стабильная конфигурация speculative decoding использует K=5. Сильными сторонами являются высокая скорость декодирования на одном DGX Spark, сохранение мультимодальных возможностей, tool calling, длинного контекста и ограниченного режима рассуждений. Для конфигурации K=5 заявлена скорость 25,7592 токена в секунду, а проверки показали успешную работу с инструментами, изображениями и тестами на избыточное обдумывание. Ограничения включают возможное ухудшение качества на задачах, не охваченных проверками, зависимость производительности от конкретной среды DGX Spark и ограничение speculative decoding нативным окном 262 144 токена. Заявление об «abliterated» означает снижение измеренной склонности к отказам и не гарантирует универсальную безопасность или достоверность. Модель распространяется по лицензии Apache-2.0.

T145/ZEUS-8B-V12 — объединённая авторами репозитория языковая модель на архитектуре Llama 3.1 с 7,5 млрд параметров. Она создана методом DARE TIES на основе unsloth/Meta-Llama-3.1-8B-Instruct с добавлением arcee-ai/Llama-3.1-SuperNova-Lite, unsloth/Llama-3.1-Storm-8B и Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции; метаданные также отмечают интерфейс для вызова инструментов. Она принимает текст и поддерживает контекст до 131 072 токенов. Репозиторий использует Transformers и хранит веса в формате safetensors. README приводит результаты оценивания на Open LLM Leaderboard, в том числе 78,16% на IFEval и среднее значение 30,26% по указанным метрикам. В состав объединения входит модель с пометкой uncensored, поэтому при использовании стоит учитывать возможность генерации нежелательного или небезопасного текста. Условия лицензирования в предоставленных данных не приведены.

ZEUS-8B-V8 — объединённая языковая модель, опубликованная пользователем T145 и созданная с помощью mergekit. В основе объединения лежит unsloth/Meta-Llama-3.1-8B-Instruct; также использованы SicariusSicariiStuff/LLAMA-3_8B_Unaligned_BETA, arcee-ai/Llama-3.1-SuperNova-Lite и akjindal53244/Llama-3.1-Storm-8B. Применён метод DARE TIES. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и предназначена для генерации текста и диалогового взаимодействия. Заявленная длина контекста — до 131 072 токенов; поддерживаются интерфейсы чата и вызова инструментов. В карточке приведены результаты оценивания, включая IFEval и BBH. Модель принимает текст и генерирует текст. README не уточняет языковой охват и не описывает детально ограничения качества. Лицензия — llama3.1.

Карточка модели Anthropic-ai/Audiotoaudiotranslate на Hugging Face совпадает с карточкой Anthropic-ai/Aiaudiotranslate, поэтому описание составлено по ней. Anthropic-ai/Aiaudiotranslate — мультиязычная разговорная языковая модель на архитектуре Qwen3.5 с 7,2 млрд параметров. Согласно карточке, это независимый проект открытой модели, дообученной для следования инструкциям, устойчивого поведения ассистента, рассуждений, письма, суммаризации и помощи с программированием. Метаданные указывают контекст до 262 144 токенов и варианты весов Safetensors и GGUF, включая квантизированные сборки. Модель предназначена для диалога и генерации текста на разных языках; в README также заявлены задачи транскрибирования и перевода аудио, но описание репозитория сосредоточено на текстовом ассистенте и не подтверждает аудиовход. Лицензия — MIT. Карточка называет проект независимым и неофициальным; приведённые в README показатели бенчмарков описаны как основанные на Qwen3.5 9B.

Aya Expanse — открытая исследовательская мультиязычная языковая модель, разработанная Cohere For AI на основе предварительно обученных моделей семейства Command. В README указаны варианты с 8 и 32 млрд параметров. Модель предназначена для генерации текста и работы с широким кругом языковых задач в многоязычных сценариях. Модель поддерживает 23 языка и создавалась с использованием исследований в области data arbitrage, мультиязычного обучения на предпочтениях, настройки безопасности и объединения моделей. Она может применяться в локальных приложениях и инструментах, поддерживающих Cortex или Jan. Модальность — текстовая; сведения о точной архитектуре, максимальной длине контекста и перечне поддерживаемых языков в README не приведены. К сильным сторонам относятся широкий мультиязычный охват, наличие двух вариантов размера и открытые веса, что делает модель пригодной для исследовательского и локального использования. Ограничения включают отсутствие в предоставленных данных подробных характеристик качества, архитектуры, контекстного окна и требований к ресурсам. В метаданных указана лицензия CC BY-SA 4.0, а для оригинальной модели в разделе Credits приведена ссылка на C4AI CC-BY-NC License; условия следует уточнить для конкретного варианта и сценария использования.

Bonsai 2 27B 1bit CRACK GGUF — языковая и визуальная модель, разработанная командой dealignai на основе тернарно сжатой PrismML версии Qwen3.8-27B. Из модели удалены механизмы отказа на уровне весов, при этом заявлено сохранение общих возможностей, режимов рассуждения, инструментального использования и многотуровой связности. Модель предназначена для генерации текста, рассуждений, работы с инструментами и обработки изображений в совместимом окружении llama.cpp. Модель использует гибридную архитектуру Attention и SSM на базе GatedDeltaNet: 64 блока, размер скрытого состояния 5120 и отдельная vision tower. Применяется квантование PrismML PTQ1_0 с тернарными весами, группами по 128 и эффективным размером около 2,13 bpw; файл занимает примерно 5,95 ГБ. Поддерживаются режимы рассуждения off, low и xhigh, а для обработки изображений требуются совместимые mmproj-файлы. Запуск заявлен на CPU, CUDA и Metal, включая ноутбуки и системы с одной GPU. Сильной стороной является низкое потребление памяти при сохранении класса модели 27B, а также отсутствие встроенных отказов, что делает модель пригодной для исследовательских и экспериментальных сценариев, где требуется высокая исполнительность. Однако заявленная abliteration снижает защитные ограничения, поэтому модель не следует использовать без собственного контроля безопасности. Результаты MMLU показывают небольшое снижение точности относительно базовой версии, а для старых сборок была отмечена ошибка зацикливания токенов в режимах low и xhigh; рекомендуется использовать версию, выпущенную после 18 сентября 2026 года. Лицензия — Apache-2.0.

Bonsai-27b-Ternary-CRACK-GGUF — мультимодальная модель класса 27B, опубликованная dealignai. Это квантизированная GGUF-версия Bonsai 27B CRACK, созданная на базе prism-ml/Ternary-Bonsai-27B-gguf и относящаяся к семейству Qwen/Qwen3.6-27B. Модель предназначена для диалогов, рассуждений, использования инструментов, обработки текста и анализа изображений; также предусмотрена поддержка видео через отдельный Qwen3VL-проектор и совместимый клиент. Модель содержит 64 гибридных языковых блока архитектуры qwen35, а также отдельный F16-проектор Qwen3VL для мультимодальных входов. Основной языковой файл использует нативное 2-битное представление Q2_0 и занимает около 7,68 GiB, проектор — около 0,86 GiB. Заявлены английский и китайский языки. Контекст модели в README не указан. Для работы требуется форк Prism llama.cpp; обработка изображений проверена, а прямая передача видеофайлов зависит от возможностей конкретной среды выполнения. К сильным сторонам относятся низкое потребление памяти благодаря Q2_0, мультимодальность, совместимость с текстовыми и визуальными сценариями и результаты на приведённых тестах: 75,00% на фиксированной выборке MMLU-200 и 99,38% на полном HB-320. Ограничения включают необходимость специального форка Prism llama.cpp, отдельного мультимодального проектора и возможную необходимость предварительно извлекать кадры из видео. Модель распространяется по лицензии Apache-2.0.

Galactic-Qwen-14B-Exp2 — языковая модель PrithivMLmods для генерации текста, диалогов и решения задач на рассуждение. Это плотная модель семейства Qwen2, содержащая 14 млрд параметров и дообученная на базе prithivMLmods/Lacerta-Opus-14B-Elite8 с использованием модели, обученной на длинных цепочках рассуждений, и специализированных наборов данных. В метаданных указаны библиотека Transformers и формат safetensors. Модель предназначена для ответов на вопросы, логических выводов, многошагового решения задач, следования инструкциям, объяснений, суммаризации и генерации структурированного текста, включая JSON. Она поддерживает контекст до 131 072 токенов; в карточке также заявлена генерация до 8 000 токенов за один ответ и поддержка более 29 языков, включая английский, китайский и русский. Заявленные сценарии включают образовательную помощь, чат-ботов, многоязычную коммуникацию и создание длинных текстов. Карточка приводит результаты IFEval (66,20%) и BBH (59,92%), но не содержит подробностей методики оценки. Среди ограничений указаны высокие требования к памяти при работе с длинным контекстом, возможная предвзятость и ошибки, чувствительность к формулировке запроса и отсутствие доступа к актуальным событиям. Лицензия — Apache-2.0.

gghfez/gemma-3-4b-novision — текстовая версия Gemma 3 4B IT, созданная автором репозитория на основе google/gemma-3-4b-it. Из модели удалены компоненты обработки изображений, а мультимодальная архитектура преобразована в Gemma3ForCausalLM; сохранена генерация текста. Модель содержит 4 млрд параметров, использует Transformers и распространяется в формате safetensors. Модель предназначена для диалогов и генерации текста по текстовым запросам. Она наследует базовую модель Gemma 3 4B IT, а её контекст составляет до 131 072 токенов. Лицензия — Gemma. Поскольку компоненты зрения удалены, модель не принимает изображения; карточка не приводит отдельных оценок качества или дополнительных ограничений.

Gemma-4-12B-Heretic-Abliterated-GGUF — набор GGUF-квантизаций модели culturerevolt/gemma-4-12b-heretic-abliterated, созданной на основе архитектуры Google Gemma-4 12B Instruction Tuned. Репозиторий разработан culturerevolt; в README также отмечен вклад Google DeepMind в архитектуру и Philipp Emanuel Weidmann в разработку подхода Heretic abliteration. Модель предназначена для локальной генерации текста, диалогов, рассуждений, творческого письма и агентских сценариев, включая обработку структурированного вывода и JSON. Поддержка изображений заявлена через отдельный мультимодальный проектор gemma-4-12b-it-mmproj-f16.gguf. Доступны варианты Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ3_XS с разным соотношением качества, скорости и требований к памяти. Для части вариантов использована калибровка iMatrix, ориентированная на сохранение логики, синтаксиса, инструментального вызова и качества повествования при квантовании. Точный список языков и базовый размер контекстного окна в README не указаны; для IQ4_XS упоминается возможность работы с контекстом до 131 тысяч токенов в определённых конфигурациях. Сильные стороны модели — широкий выбор степеней квантования, возможность запуска на локальном оборудовании и оптимизация низкобитных вариантов с помощью importance matrix. Ограничения связаны с неизбежной потерей точности при более агрессивном квантовании, зависимостью мультимодального режима от совместимого backend и отдельного projector-файла, а также с тем, что аблитерированная версия позиционируется как decensored и может иметь меньше встроенных отказов от нежелательных запросов. Лицензия — Apache-2.0.

Hermes2pro-mistral-saul-instruct-slerp — объединённая разговорная языковая модель, созданная с помощью mergekit методом SLERP из NousResearch/Hermes-2-Pro-Mistral-7B и Equall/Saul-Instruct-v1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и генерации текста по инструкциям. Она принимает текст и выдаёт текст; нативное окно контекста составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна для использования через Transformers. Карточка не уточняет лицензию и языковой охват объединённой модели.

HyperLlama-3.1-8B — языковая модель для генерации текста и диалогов, созданная объединением моделей Replete-AI, Dampfinchen и Orenguteng с помощью mergekit. Она основана на плотной архитектуре Llama и содержит 7,5 млрд параметров; для объединения использован метод model_stock, веса представлены в формате safetensors. Модель подходит для ответов на инструкции и ведения диалога, а метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. В README приведены результаты Open LLM Leaderboard: средний балл 28,07, IFEval — 78,83 и BBH — 29,81. В состав объединения входит вариант Lexi Uncensored V2, поэтому ответы могут быть менее ограниченными по содержанию. Модель распространяется по лицензии Apache-2.0.

InternLM2.5-7B — плотная авторегрессионная языковая модель семейства InternLM2.5, разработанная командой InternLM. Она содержит 7,4 млрд параметров и предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, рассуждения и работу с длинными документами. Модель сохраняет архитектуру InternLM2 и использует синтетические данные в итеративном развитии семейства. Разработчики сообщают о повышении результатов рассуждения на 20% относительно InternLM2 и сильных результатах на MMLU, CMMLU и BBH. Метаданные указывают контекстное окно 262 144 токена; README также описывает результаты тестирования на контексте до 1 млн токенов. Модель работает с текстом и поддерживает диалог. README не перечисляет поддерживаемые естественные языки явно, хотя результаты приведены для англоязычного MMLU и китайского CMMLU. Возможны предвзятые, дискриминационные и другие вредные ответы. Код распространяется по Apache-2.0; для весов заявлен доступ для академических исследований и возможность подать заявку на бесплатное коммерческое разрешение.

InternLM3-8B-Instruct GGUF — квантизированная версия инструкционной языковой модели InternLM3-8B-Instruct, представленная в формате GGUF для запуска через llama.cpp. В предоставленных данных разработчик явно не указан. Модель предназначена для генерации текста и диалогового взаимодействия, включая решение математических задач, рассуждения и развёрнутые ответы в локальных или облачных средах на различном аппаратном обеспечении. Модель имеет размер 8 млрд параметров и относится к текстовым LLM; сведения о конкретной архитектуре и длине контекста не приведены. Репозиторий содержит варианты с разной точностью и уровнем квантизации, включая FP16, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса. В метаданных указан английский язык. Для работы требуется совместимый runtime, например llama.cpp, а доступные параметры запуска позволяют настраивать размер контекста, число GPU-слоёв и длину генерируемого ответа. Сильными сторонами модели являются возможность локального запуска, поддержка широкого спектра аппаратных платформ и наличие нескольких вариантов квантизации. Ограничения включают зависимость качества и скорости от выбранной точности и оборудования, а также отсутствие в предоставленных материалах подробных результатов тестирования, перечня поддерживаемых языков и характеристик безопасности. Модель распространяется по лицензии Apache-2.0.

Menlo/Jan-nano-gguf — это квантизированная версия языковой модели Jan Nano, разработанной в экосистеме Jan авторами Alan Dao и Bach Vu Dinh. Модель дообучена на архитектуре Qwen3 и предназначена для генерации текста, работы с инструментами и function calling, а также исследовательских задач и обработки информации. Формат GGUF ориентирован на эффективный локальный запуск, включая устройства с ограниченными ресурсами и встраиваемые среды. Ключевыми особенностями модели являются компактность, сниженные требования к VRAM, поддержка интеграции с инструментами и увеличенный контекст, однако точный размер модели, объём контекстного окна, поддерживаемые языки и перечень модальностей в предоставленных данных не указаны. Jan Nano является non-thinking model, поэтому её не следует рассматривать как модель с отдельным режимом глубокого рассуждения. Ограничения и результаты сравнительных тестов также не приведены. Модель распространяется по лицензии Apache-2.0.