II.4Отладка, тестирование и качество ПО

Qwen2-1.5B-Instruct-GPTQ-Int4 — инструкционно дообученная языковая модель из семейства Qwen2, разработанная командой Qwen. Она предназначена для диалоговых сценариев и генерации текста: ответов на вопросы, кратких объяснений, работы с естественным языком и кодом. Модель относится к классу decoder-only Transformer и содержит 1,5 млрд параметров; версия GPTQ-Int4 использует 4-битное квантование для снижения требований к памяти при инференсе. Поддерживаются текстовые входы и выходы, а контекстное окно в README не указано. В архитектуре заявлены активация SwiGLU, bias в QKV-проекциях и group query attention. Токенизатор адаптирован для нескольких естественных языков и языков программирования, однако в метаданных README явно указан английский язык. Модель предварительно обучалась на большом объёме данных, а затем дообучалась с помощью supervised fine-tuning и direct preference optimization; заявлены возможности в понимании и генерации текста, многоязычности, программировании, математике и рассуждениях. README не приводит точных результатов тестов и не описывает специфические ограничения качества квантированной версии; для запуска рекомендуются актуальные версии transformers, autogptq или vLLM. Лицензия — Apache 2.0.

ZeroXClem/Qwen3-4B-Valiant-Polaris — объединённая методом Model Stock с помощью MergeKit языковая модель на архитектуре Qwen3, разработанная ZeroXClem. В объединении использованы Qwen/Qwen3-4B, Polaris-4B-Preview, Qwen3-4B-ShiningValiant3, Qwen3-4B-Dot-Goat и Qwen3-4B-RP-V3; размер модели — около 3,7 млрд параметров, формат весов — safetensors, лицензия — Apache 2.0 с учётом лицензий базовых моделей. Модель предназначена для диалогов, рассуждений, решения математических и логических задач, научных вопросов, творческого письма и ролевых сценариев. README также заявляет поддержку агентных сценариев с инструментами; входной модальностью в каталоге указана только текстовая. Контекстное окно составляет 40 960 токенов. В метаданных указан английский язык. Возможные ограничения включают неконтролируемые или недостаточно отфильтрованные ответы, унаследованные от некоторых компонентов слияния, а также риск ошибок и предвзятости; результаты для важных решений следует проверять. Заявления README о превосходстве на бенчмарках не подтверждены приведёнными метаданными.

Qwen3.5-9B-Theseus-GGUF — это GGUF-квантизация модели Qwen3.5-9B-Theseus, выполненная mradermacher; исходная модель разработана nightmedia. Модель основана на архитектуре Qwen3.5 с примерно 9 млрд параметров и распространяется в форматах GGUF с различными уровнями квантизации, включая Q2_K–Q8_0, IQ4_XS и f16. Для некоторых конфигураций доступны мультимодальные дополнения mmproj, поэтому модель может использоваться в мультимодальных сценариях при наличии соответствующего файла. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, рассуждений, творческого и художественного письма, сторителлинга и ролевых сценариев. В README заявлена поддержка английского, китайского, японского и испанского языков, а также контекст до 256k или 1M токенов, однако точные возможности зависят от исходной модели и используемой конфигурации. К сильным сторонам относятся широкий выбор квантизаций, возможность запуска в ресурсоограниченных средах и наличие вариантов, ориентированных на скорость или качество; при этом более сильная квантизация может снижать качество, а мультимодальность требует отдельного mmproj-файла. Модель имеет экспериментальные характеристики, поэтому её качество и совместимость следует проверять для конкретных задач. Лицензия — Apache-2.0.

AtomicChat/Qwen3.6-27B-MLX-4bit — это 4-битная MLX-квантизация базовой модели Qwen/Qwen3.6-27B, выполненная командой Atomic Chat из оригинальных весов Qwen. Модель предназначена для генерации текста, программирования, агентных сценариев и работы с большими контекстами; заявлена поддержка текстовых и визуальных данных, а также офлайн-запуск на устройствах Apple Silicon через MLX и mlx-lm. Модель содержит 27,8 млрд параметров и 64 слоя, использует плотную decoder-архитектуру Qwen3_5ForConditionalGeneration с 24 attention heads и 4 KV heads. Максимальная длина контекста составляет 262 144 токена, размер словаря — 248 320 токенов. Квантизация откалибрована с помощью importance matrix, что должно помогать сохранять свойства исходной полноточной модели при уменьшенной разрядности. README не содержит точного перечня поддерживаемых языков и результатов сравнительных тестов, поэтому качество в конкретных задачах оценить нельзя. К сильным сторонам относятся большой контекст, поддержка изображений, возможности программирования и repository-level reasoning, а также локальная работа без подключения к сети. Ограничения связаны с 4-битной квантизацией и требованием совместимой MLX-инфраструктуры; практические требования к памяти и производительности в README не указаны. Модель распространяется по лицензии Apache 2.0; квантизацию выполнила Atomic Chat.

Qwen3.6-35B-A3B-Brainwaves-Nex-GGUF — GGUF-квантизированная версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex, подготовленная mradermacher. Модель предназначена для генерации текста, диалогов, инструкционного взаимодействия, рассуждений, математических и STEM-задач, программирования и многоязычных сценариев. В метаданных указаны английский, китайский, японский и испанский языки; также отмечены instruction tuning, SFT, LoRA и distillation, однако подробности обучения не приведены. Доступны варианты квантования от Q2_K до Q8_0, включая IQ4_XS, с размером файлов примерно от 13,3 до 37,9 ГБ. Для мультимодального использования предоставляются дополнительные файлы mmproj в форматах Q8_0 и F16, поэтому поддержка изображений зависит от совместимого программного обеспечения и подключения соответствующего компонента. Архитектура, точный размер активной и общей параметризации, максимальная длина контекста и перечень поддерживаемых модальностей в README явно не описаны. Сильной стороной модели является широкий выбор квантований, позволяющий выбирать между требованиями к памяти, скоростью и качеством; автор README рекомендует Q4_K_S и Q4_K_M как быстрые варианты, а Q6_K и Q8_0 отмечает как варианты высокого качества. Ограничения включают возможную потерю качества на низких уровнях квантования, экспериментальный характер исходной модели и отсутствие опубликованных оценок производительности. Распространение указано по лицензии Apache-2.0.

Карточка модели miss-t/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 на Hugging Face совпадает с карточкой lactroiii/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, поэтому описание составлено по ней. Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 — дообученная методом abliteration версия мультимодальной модели Qwen3.8-27B от Alibaba, опубликованная lactroiii. Это плотная модель на 27 млрд параметров в формате BF16 на базе архитектуры Qwen3.5; она принимает текст и изображения и генерирует текст. В README описана проверка на NVIDIA H200 через vLLM, включая работу с изображениями, режим рассуждений и вызов инструментов. Для обслуживания автор проверял контекст 16 384 токена и указывает, что базовое окно модели достигает 262 144 токенов. Модель предназначена для диалогов и инструкций, рассуждений, программирования, анализа изображений, вызова инструментов, творческого письма и исследований безопасности и выравнивания. Abliteration уменьшает склонность модели отказывать и делает ответы более прямыми; автор сообщает о сохранении связности ответов, но это не является независимой оценкой качества. Модель может выдавать опасный, незаконный или откровенный контент и не должна использоваться в сценариях высокого риска без внешних мер безопасности. Лицензия — Apache-2.0.

TeichAI/Qwen3-8B-Gemini-2.5-Flash-Distill-GGUF — языковая модель, разработанная TeichAI на базе unsloth/Qwen3-8B. Модель обучена методом дистилляции на крупном наборе данных TeichAI/gemini-2.5-flash-11000x, созданном на основе Gemini 2.5 Flash. Она предназначена для генерации текста общего назначения, включая программирование, научные задачи, юридические и исторические вопросы, а также маркетинговые сценарии. Модель содержит 8 миллиардов параметров. В README указана поддержка английского языка, однако сведения о точной архитектуре, модальностях, размере контекстного окна и дополнительных языках отсутствуют. К сильным сторонам относятся универсальная область применения и обучение на данных, связанных с Gemini 2.5 Flash; при этом качество и поведение модели могут зависеть от особенностей дистиллированного набора данных и базовой Qwen3-архитектуры. Лицензия — Apache-2.0.

Qwen3-VL-235B-A22B-Instruct — мультимодальная модель семейства Qwen3-VL от Qwen, представленная в варианте Mixture-of-Experts с инструктивной настройкой. Она принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для визуальных вопросов и ответов, распознавания текста на изображениях, понимания видео, пространственных рассуждений и взаимодействия с графическими интерфейсами. В карточке заявлены контекст длиной 256 тысяч токенов с возможностью расширения до 1 миллиона, понимание длинных документов и видео, а также OCR на 32 языках. Среди описанных возможностей — локализация событий по временным меткам, анализ объектов и их взаимного расположения, решение задач STEM и генерация кода интерфейсов по изображениям или видео. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Практическое качество может зависеть от языка, сложности изображения или видео и характера задачи; приведённый README не содержит конкретных численных результатов бенчмарков.

Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Карточка модели sabeshbesh/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Trinity Nano Preview — экспериментальная чат-модель семейства Trinity от Arcee AI, созданная дообучением Trinity-Nano-Base. В README она описана как разреженная MoE-модель с архитектурой AfmoeForCausalLM, 6 млрд параметров и примерно 1 млрд активных параметров; метаданные указывают 880,3 млн параметров. Поддерживает контекст до 131 072 токенов и работает с текстом на нескольких языках. Модель предназначена для диалогов и генерации текста. Разработчики описывают её как открытую по весам модель для предприятий и энтузиастов, обученную на 10 трлн токенов с дополнительным акцентом на математике и коде. README предупреждает, что в этой предварительной экспериментальной версии возможна нестабильность в отдельных сценариях. Указанная в README лицензия — OpenMDW-1.1; метаданные Hugging Face обозначают её как other.

Yi-1.5-9B-Chat-GGUF — это квантизированная в формате GGUF языковая модель для генерации текста и диалогового взаимодействия. Исходную модель Yi-1.5-9B-Chat разработала компания 01-ai, а квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального использования, в том числе через LM Studio, и распространяется под лицензией Apache 2.0. Модель содержит около 9 миллиардов параметров и относится к семейству Yi, построенному на архитектуре, совместимой с Llama. Она была дополнительно обучена на корпусе объёмом 500 млрд токенов и дообучена на 3 млн разнообразных примеров. Заявленные сценарии включают программирование, математику, рассуждения, выполнение инструкций, понимание языка, здравый смысл и чтение с пониманием. Для общения рекомендуется использовать шаблон ChatML. Сведения о поддерживаемых языках, размере контекста, точной архитектуре и других технических характеристиках в README не приведены. К сильным сторонам относятся универсальность, возможности диалогового режима и пригодность для запуска на локальном оборудовании благодаря квантизации. Ограничения включают отсутствие опубликованных подробных технических характеристик, а также типичные для языковых моделей риски неточных, вредных или неподходящих ответов; результат зависит от выбранного варианта квантизации и настроек запуска.

Yuan2.0-M32-HF — языковая модель семейства Yuan, разработанная командой Yuan и опубликованная в формате Hugging Face. Это разреженная архитектура Mixture of Experts с 32 экспертами, из которых для каждого токена активируются два; в README указано 40 млрд общих и 3,7 млрд активных параметров. Метаданные репозитория указывают 1,9 млрд параметров, поэтому размер конкретной HF-сборки расходится с описанием семейства в README. Модель обучена с нуля на 2000 млрд токенов и предназначена для генерации текста, в том числе написания кода, математических вычислений и рассуждений, а также ответов на вопросы общего характера. В карточке модели заявлены результаты на HumanEval, GSM8K, MMLU, Math и ARC-Challenge, а архитектура с разреженной активацией призвана снизить вычислительные затраты при работе. Метаданные указывают контекст 4096 токенов, тогда как README для Yuan2.0-M32 сообщает длину последовательности 16K; эти значения относятся к разным описаниям и не совпадают. Модель принимает текст и генерирует текст. Репозиторий использует PyTorch и лицензию Apache 2.0; README также отсылает к отдельному лицензионному соглашению Yuan2.0. Авторы предупреждают, что ответы могут быть неточными и модель может поддаваться вводящим в заблуждение инструкциям.

Это GGUF-квантизированная версия языковой модели Mistral-Small-24b-Sertraline-0304, разработанной allura-org и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций, включая общие, научные, медицинские, программные и другие текстовые задачи. В README указано, что она основана на наборах данных для instruction following, включая Tulu 3, s1K, медицинские данные, данные по программированию и научным вопросам. Модель имеет размер 24B параметров, относится к текстовым autoregressive language models и поддерживает английский и китайский языки. Доступны варианты квантизации GGUF с форматами от Q3 до Q8 и размерами примерно от 12,4 до 25,05 ГБ. Квантизации выполнены с использованием imatrix и llama.cpp, поэтому модель подходит для локального запуска через llama.cpp, LM Studio и совместимые проекты. Контекстный размер, точная архитектура базовой модели, результаты оценивания и требования к оперативной памяти в README не указаны. Сильными сторонами являются широкий набор обучающих данных, ориентация на следование инструкциям и наличие вариантов с разным балансом качества и потребления памяти. Ограничения связаны с отсутствием подробных независимых бенчмарков, сведений о мультимодальности и гарантированной точности ответов; модель следует использовать с проверкой результатов, особенно в медицинских и научных сценариях. Лицензия — Apache-2.0.

Bonsai-2-27B-CRACK-Ternary-JANG — дообученная dealign.ai версия тернарно-квантованной модели PrismML Ternary-Bonsai-2-27B на архитектуре Qwen 3.5, предназначенная для генерации текста, диалога и агентных сценариев. Модель рассчитана на запуск в vMLX на компьютерах Apple Silicon; использует формат JANG с 2-битными аффинными весами, групповой квантизацией 128 и сохранённым Hadamard-преобразованием. В карточке указаны контекст до 262 тыс. токенов, режимы рассуждения low, medium и xhigh, XML-вызовы инструментов, а также поддержка изображений и видео. Модель ориентирована на англо-китайские сценарии, включая ответы на вопросы, кодирование и работу с инструментами. По заявлению автора, поведение отказов удалено на уровне весов; приведены результаты MMLU и HarmBench на данной сборке. Для запуска требуется vMLX с JANG-Hadamard runtime: стандартный путь загрузки MLX, согласно карточке, выдаёт некорректные результаты. Лицензия — Apache 2.0.

Карточка модели Vladimirval/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Карточка модели bcoding/deepseek-R1-0528-Qwen3-8b-llvm-sft-trained-16bit-epoch-2-merged на Hugging Face совпадает с карточкой bcoding/deepseek-R1-0528-Qwen3-8b-base-16-llvm-sft-trained-16bit-epoch-2-merged, поэтому описание составлено по ней. Модель bcoding — дообученная версия unsloth/DeepSeek-R1-0528-Qwen3-8B на архитектуре Qwen3 с причинным языковым моделированием. Она предназначена для диалогов и генерации текста; каталог также указывает интерфейс вызова инструментов. Размер модели — 7,6 млрд параметров, контекст — до 131 072 токенов. В карточке указано, что обучение проводилось с Unsloth и библиотекой TRL. Модель может применяться для диалоговых ответов, рассуждений, решения задач по математике и логике, а также помощи с программированием — эти сценарии указаны для базовой модели в описании каталога. Поддерживаемый язык карточки — английский. Репозиторий распространяется в формате Safetensors по лицензии Apache 2.0.

Это конверсия модели DeepSeek-R1-Distill-Qwen-7B в формат MLX для локального запуска на графическом процессоре Apple Silicon. Конверсию подготовил SirSahOl на базе архитектуры Qwen2ForCausalLM; модель содержит 7,1 млрд параметров и распространяется в формате safetensors с 16-битными весами bfloat16. Контекст составляет до 131 072 токенов. Модель предназначена для диалогов и генерации текста, в том числе для многошаговых рассуждений, решения математических задач и помощи с программированием. Вариант 16-bit сохраняет исходную точность весов и ориентирован на оценивание, сравнение результатов и локальную работу на компьютерах Apple Silicon с достаточной объединённой памятью; для весов требуется около 15,2 ГБ, а README рекомендует не менее 24 ГБ памяти. Лицензия — MIT. Это преобразование весов в формат MLX, специализированный для Apple Silicon; README указывает, что репозиторий предназначен для GPU этих устройств. На длинных контекстах потребление памяти существенно возрастает, а скорость зависит от оборудования и длины контекста.

Falcon-H1-1.5B-Deep-Instruct — компактная инструктивно дообученная языковая модель семейства Falcon-H1 от TII, основанная на Falcon-H1-1.5B-Deep-Base. Это плотная причинная модель-декодер с гибридной архитектурой Transformers и Mamba, примерно на 1,2 млрд параметров. Она предназначена для диалоговой генерации текста, рассуждений и решения общих задач; среди сценариев применения — ответы на вопросы и помощь с написанием кода. Модель поддерживает английский и многоязычный ввод, а контекст составляет до 131 072 токенов. Для запуска подходят Transformers, vLLM и llama.cpp; в репозитории указаны веса Safetensors. В README приведено сравнение Falcon-H1 с несколькими компактными языковыми моделями на тестах рассуждений и общих задач. Лицензия — Falcon-LLM License; перед использованием следует проверить её условия.

FuseChat-7B-VaRM — диалоговая языковая модель, разработанная Fanqi Wan и коллегами из Университета Сунь Ятсена. Она объединяет знания трёх чат-моделей: NH2-Mixtral-8x7B, NH2-Solar-10.7B и OpenChat-3.5-7B. В каталоге Hugging Face указаны архитектура Mistral с плотной моделью MistralForCausalLM и 7,1 млрд параметров; для инференса используется библиотека Transformers. Модель предназначена для генерации ответов в диалоге и выполнения общих текстовых инструкций, включая написание текстов, ролевые сценарии, рассуждения, математику и программирование. В README сообщается о среднем результате 8,22 на MT-Bench. Модель принимает текст и генерирует текст; заявленный контекст — 8192 токена, язык карточки — английский. Модель опубликована в форматах PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может давать ошибочные или непроверенные ответы; в предоставленных материалах отдельные дополнительные ограничения не описаны.

GLM-4.5V-FP8 — мультимодальная vision-language модель, разработанная ZhipuAI на базе текстовой модели GLM-4.5-Air. Она предназначена для анализа изображений, видео и документов, визуального рассуждения, понимания интерфейсов и задач GUI-агента, а также точной локализации объектов на изображениях. Модель поддерживает китайский и английский языки и работает через библиотеку Transformers. Модель имеет архитектурную основу GLM-4.5-Air с 106 млрд параметров, из которых 12 млрд активны, и представлена в формате FP8. Она поддерживает режим Thinking Mode для выбора между быстрыми ответами и углублённым рассуждением, умеет выполнять анализ сцен и нескольких изображений, распознавать события в длинных видео, разбирать сложные графики и длинные документы, а также возвращать координаты ограничивающих рамок объектов в нормализованном формате. Заявлена высокая эффективность на 42 публичных vision-language бенчмарках среди моделей сопоставимого масштаба. Ограничения, включая размер контекста, перечень поддерживаемых форматов и требования к ресурсам, в README не указаны. Модель распространяется по лицензии MIT.

davidsyoung/GLM-5.3-EXL3-TR3-3.25bpw — квантизированная версия GLM-5.3 от zai-org, подготовленная в формате EXL3/TR3 с использованием смешанной точности. В основе лежит MoE-модель GLM-5.3 объёмом 755 млрд параметров с архитектурой glm_moe_dsa: 78 слоёв и 256 маршрутизируемых экспертов на слой, включая MTP. Модель предназначена для генерации текста, сложного программирования и задач с длинной цепочкой рассуждений. Заявлены английский и китайский языки, а также поддержка библиотеки Transformers на уровне метаданных модели. Маршрутизируемые эксперты в слоях 3–78 квантизированы методом EXL3 с усреднённой точностью 3,25 бит на параметр: 192 эксперта на слой используют K3, а 64 наиболее чувствительных к ошибке — K4. Внимание, эмбеддинги, нормализации, lm_head и ранние плотные MLP сохранены в BF16; shared experts хранятся в BF16 и обслуживаются с online K6. Квантизация выполнена без калибровочных данных, с использованием trellis-поиска и детерминированных параметров. По измерениям README, отклонение от BF16-учителя при FP8 KV-кэше составило KLD 0,026103 на проверочных окнах. Главное преимущество — существенное снижение требований к памяти: модель рассчитана на запуск в конфигурации TP4 на четырёх GPU с 96 ГБ памяти и FP8 KV-кэшем, что делает крупную GLM-5.3 доступнее для локального сервинга. Ограничения связаны с нестандартным форматом: требуется стек на базе exllamav3-b12x или sparkinfer-lineage, поддерживающий смешанные projection tiers, TP4, DCP4/MTP3 и FP8 KV-кэш. Стандартный загрузчик vanilla exllamav3 несовместим и может выдавать некорректный текст; README также не указывает максимальную длину контекста. Лицензия обозначена как glm-5.3; подробные условия приведены по ссылке на лицензию базовой модели.

GPT-6.1 Sol Pro — вариант GPT-6.1 Sol, который, согласно карточке модели, использует ту же базовую модель с режимом reasoning.mode=pro для более качественных ответов на сложные задачи. Это модель для диалогового взаимодействия и решения сложных задач; подробности об архитектуре, размере, модальностях и поддерживаемых языках в предоставленных данных отсутствуют. Режим Pro расходует значительно больше ресурсов, поэтому его применение может быть дороже.

unsloth/inkling-NVFP4 — вариант мультимодальной модели Inkling от Thinking Machines, опубликованный Unsloth. Модель представляет собой авторегрессионный трансформер с 66 слоями и разреженной архитектурой Mixture-of-Experts: всего 975 млрд параметров, из которых активно 41 млрд. Она принимает текст, изображения и аудио, обрабатывает их совместно и генерирует текст. В README также описана поддержка видео у семейства Inkling; для этой версии метаданные каталога подтверждают задачу image-text-to-text и возможность работы с изображениями. Модель предназначена для диалогов, следования инструкциям, анализа изображений, приложений с инструментами и агентными сценариями, помощников по программированию и систем RAG. Основной язык — английский; заявлены общие многоязычные возможности. Версия NVFP4 обозначена в названии, а в README для семейства перечислены NVFP4 и BF16. Лицензия — Apache-2.0. Модель может галлюцинировать, неточно следовать инструкциям и хуже работать в длинных многоходовых диалогах; качество может различаться по языкам и предметным областям. Для потенциально вредных запросов возможны обходы защит через ролевые и косвенные формулировки, поэтому для пользовательских продуктов нужны проверки и дополнительная модерация.

Kai-30B-Instruct — инструктивно дообученная языковая модель NoesisLab на 30B параметров, крупнейшая в семействе Kai. Она основана на архитектуре Qwen2ForCausalLM и предназначена для диалогов, рассуждений, математических задач и генерации кода. Для дообучения применён метод ADS (Adaptive Dual-Search Distillation), который меняет функцию потерь, не модифицируя архитектуру модели. Модель принимает текст и генерирует текст; заявлены контекст до 32 768 токенов и поддержка английского языка. В карточке приведены результаты нескольких тестов рассуждений и здравого смысла, но они не подтверждают качество во всех сценариях. Для запуска требуются значительные вычислительные ресурсы из-за размера модели. Лицензия — Apache-2.0.

TeichAI/LFM2.5-1.2B-Thinking-Pony-Alpha-Distill — дообученная TeichAI текстовая модель на архитектуре LFM2 с плотной причинной языковой моделью Lfm2ForCausalLM. Она основана на LiquidAI/LFM2.5-1.2B-Thinking и обучена на датасете TeichAI/Pony-Alpha-15k, сформированном на основе раннего чекпойнта Pony Alpha. Модель предназначена для генерации текста с рассуждениями и диалогов; среди заявленных сценариев — программирование, научные задачи и глубокое исследование. Поддерживает контекст до 128 000 токенов, содержит 1,5 млрд параметров и доступна в формате Safetensors. Метаданные отмечают интерфейс для вызова инструментов. Лицензия — Apache 2.0. Это компактная модель для локального развёртывания и задач, где полезны рассуждения и длинный контекст. README приводит рекомендованные параметры генерации: temperature 0,05, top_k 50 и repeat_penalty 1,05. Карточка не сообщает результаты оценивания или подробности о качестве и ограничениях модели; заявленные сценарии следует считать ориентиром, а не гарантией точности.

Soulfate24/Nanbeige4.2-3B-DSpark-ASHQ1-Remix-GGUF — это объединённая и представленная в формате GGUF версия Nanbeige4.2-3B с DSpark, подготовленная в рамках набора ASHQ1-Remix. Репозиторий предназначен для генерации текста и диалогового использования; базовая модель имеет 3,2 млрд параметров и ориентирована на рассуждения, программирование и агентные задачи с вызовом инструментов. В README описана активационно-зависимая квантизация GGUF с параметрами, основанными на измеренных экспериментах, и поддержкой линии AutoRound с ограничениями насыщения. Модель поддерживает английский и китайский языки. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит отдельные сведения о длине контекста и конкретных уровнях квантования для данного файла.

nvidia_AceInstruct-72B-GGUF — это GGUF-квантизованная версия instruct-модели AceInstruct-72B, разработанной NVIDIA и подготовленной пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста в диалоговом и инструкционном формате, включая задачи общего назначения, программирование и математику. В README указана поддержка английского языка. Модель имеет размер 72B параметров; конкретная архитектура и максимальная длина контекста не указаны. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-квантов с размером файлов примерно от 29 до 77 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше оперативной памяти; варианты Q4_K_M, Q5_K_M и Q6_K отмечены как рекомендуемые. Формат рассчитан на запуск через llama.cpp, LM Studio и другие совместимые проекты. К сильным сторонам относятся широкий выбор вариантов квантизации и возможность локального запуска, а также специализация исходной модели на инструкциях, коде и математике. Ограничениями являются высокие требования к памяти даже у компактных вариантов, снижение качества при низкой квантизации и отсутствие в предоставленных данных подробных результатов тестирования, сведений о мультимодальности и контекстном окне. Распространение указано по лицензии CC BY-NC-4.0, которая ограничивает коммерческое использование.

prithivMLmods/Olmo-3-7B-Instruct-AIO-GGUF — набор GGUF-квантизаций модели Olmo-3-7B-Instruct, разработанной Allen Institute for AI. Это авторегрессионная трансформерная языковая модель примерно на 7 миллиардов параметров, дообученная методами supervised fine-tuning и direct preference optimization на наборах данных Tulu 2 и UltraFeedback. Модель предназначена для генерации текста, ответов на вопросы, следования инструкциям, многошагового диалога и сценариев с использованием инструментов. Она поддерживает английский язык, контекст до 2048 токенов и ориентирована на создание контекстно-зависимых и безопасных ответов, включая задачи в технической, образовательной и юридической областях. Доступны варианты в форматах BF16, F16, F32 и различных уровнях квантизации, что позволяет выбирать между качеством, размером файла и требованиями к ресурсам. К сильным сторонам относятся открытость модели и обучающего кода, поддержка диалоговых и инструкционных сценариев, а также широкий выбор GGUF-вариантов для эффективного локального запуска. Ограничениями являются заявленная длина контекста 2048 токенов и поддержка только английского языка; сведения о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии Apache 2.0.

OpenHermes-2.5-Nebula-v2-7B — объединённая модель для генерации текста и диалогов, созданная на основе teknium/OpenHermes-2.5-Mistral-7B и PulsarAI/Nebula-v2-7B-Lora. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; карточка указывает поддержку общения и обучающий датасет Open-Platypus. Модель подходит для диалоговых ответов, генерации текстов и помощи с кодом на английском языке. Репозиторий содержит веса Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Опубликованные в README результаты таблицы оценки не заполнены.