II.4Отладка, тестирование и качество ПО

QuantFactory/CausalLM-35b-beta-long-GGUF — квантованная версия языковой модели CausalLM/35b-beta-long, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; её карточка также указывает на обучение с учётом инструкций, математических задач, программирования и специализированных текстовых наборов данных. Модель имеет размер 35 миллиардов параметров и поддерживает контекст длиной 128K и более токенов. Заявлены языки English, Chinese, Japanese и German. Для взаимодействия используется шаблон ChatML, а токенизатор отличается от токенизатора Cohere. Формат GGUF и квантование ориентированы на запуск средствами экосистемы llama.cpp и могут снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью, однако конкретный уровень квантования в карточке не указан. Сильными сторонами модели являются очень длинный контекст, многоязычность и обучение на разнообразных инструкционных, математических, энциклопедических и диалоговых данных. Ограничения включают отсутствие подробных результатов оценивания, неуказанные характеристики квантования и аппаратные требования. Модель распространяется по лицензии GPL-3.0.

bartowski/deepcogito_cogito-v1-preview-llama-8B-GGUF — это GGUF-квантизированная версия языковой модели cogito-v1-preview-llama-8B, разработанной deepcogito. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF с вариантами точности от BF16 до различных Q- и IQ-квантизаций. Доступны файлы размером примерно от 3,8 до 16,1 ГБ; варианты Q6_K и Q6_K_L обозначены как обеспечивающие качество, близкое к исходному, а Q4_K_M рекомендован как стандартный компромисс между качеством и размером. Для работы предусмотрен формат prompt с системными и пользовательскими сообщениями в стиле Llama 3.1. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и снижение требований к памяти по сравнению с полноразмерными весами. Более компактные варианты экономят оперативную память, но могут уступать по качеству менее сжатым версиям; конкретные поддерживаемые языки, размер контекста, мультимодальные возможности и результаты бенчмарков в README не указаны. Лицензия обозначена как llama3.1.

Это GGUF-квантизированная версия языковой модели cogito-v2-preview-llama-70B, разработанной deepcogito и подготовленной пользователем bartowski. Модель предназначена для генерации текста и может использоваться в локальных приложениях на базе llama.cpp, включая LM Studio и другие совместимые проекты. В основе лежит модель класса Llama с заявленным размером 70B параметров. Доступны варианты квантования от Q8_0 до Q2_K_L и IQ3/IQ4, различающиеся размером файла, требованиями к памяти и качеством вывода. Более качественными и рекомендуемыми в README названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; модели с более низкой разрядностью экономят память, но могут заметно уступать в качестве. Формат GGUF и imatrix-квантование облегчают локальный запуск, однако даже компактные варианты требуют значительных ресурсов. В README не указаны поддерживаемые языки, размер контекстного окна, точная архитектура исходной модели, мультимодальные возможности и лицензия. Шаблон чата также не задан и может требовать проверки по карточке исходной модели; приведённый формат основан на служебных токенах Llama. Условия использования в представленном README не указаны.

DeepSeek-R1-Distill-Llama-70B-GGUF — это набор GGUF-квантизаций 70-миллиардной языковой модели DeepSeek-R1-Distill-Llama-70B, подготовленный пользователем bartowski на основе модели DeepSeek AI. Квантизация выполнена с помощью llama.cpp релиза b4514 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio, а также для инференса с использованием llama.cpp и совместимых инструментов. Модель является текстовой, однако в README не указаны точная архитектура исходной модели, размер контекстного окна и поддерживаемые языки. Доступны варианты с различной степенью квантизации: от Q8_0 размером около 75 ГБ до низкобитных IQ2 и Q2 размером около 22–27 ГБ. Более высокие уровни, включая Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, ориентированы на сохранение качества, тогда как варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. Сильной стороной набора является широкий выбор форматов для подбора компромисса между качеством, размером и требованиями к памяти; для большинства сценариев в README рекомендуются Q6_K, Q5_K и Q4_K_M. Ограничения включают очень высокие требования к оперативной или видеопамяти даже у компактных вариантов, а также возможное снижение качества при сильной квантизации. Лицензия в предоставленном README не указана.

bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF — это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Qwen-14B, разработанной DeepSeek. Квантизация выполнена bartowski с использованием llama.cpp b4514 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio, с применением формата промпта, указанного в README. Доступны варианты от полных F32 и F16 весов до квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, размером примерно от 6,66 до 59,09 ГБ. Более высокие разрядности обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M обозначен как вариант по умолчанию для большинства сценариев, а Q5 и Q6 — как рекомендуемые варианты высокого качества. Некоторые форматы оптимизированы для работы на CPU и Apple Silicon, включая online repacking для ARM и AVX. В README не указаны архитектурные детали, длина контекста, поддерживаемые языки и модальности, а также лицензия. Поэтому модель следует рассматривать как текстовую локальную модель, совместимость и фактические требования к памяти которой зависят от выбранного файла квантизации и используемого программного обеспечения.

mlx-community/DeepSeek-R1-Distill-Qwen-7B-4bit — это 4-битно квантованная версия модели DeepSeek-R1-Distill-Qwen-7B, преобразованная сообществом mlx-community в формат MLX из исходной модели deepseek-ai с использованием mlx-lm версии 0.21.1. Модель предназначена для локального запуска и генерации текста в экосистеме MLX, прежде всего на устройствах Apple, совместимых с этим фреймворком. Модель относится к семейству Qwen и имеет размер 7B параметров; доступна в 4-битном представлении, что снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность. README показывает поддержку диалогового использования через chat template и библиотеки mlx-lm. Сведения о модальностях, языках, размере контекста, специализированных сценариях, ограничениях качества и лицензии в предоставленных данных отсутствуют.

DeepSeek-V4-Flash-0731-GGUF — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной deepseek-ai и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp и Text Generation Web UI. Модель содержит 284 млрд параметров, поддерживает текстовый ввод и поставляется только в формате MXFP4. Доступен вариант размером около 156,38 ГБ, сохраняющий исходное качество квантизации. В модели предусмотрены веса MTP (Multi-Token Prediction) в виде отдельной DSpark draft-модели, которую можно использовать для speculative decoding и ускорения генерации. Языки, максимальная длина контекста и дополнительные модальности в README не указаны. К сильным сторонам относятся большой размер модели, сохранение исходного качества MXFP4 и возможность ускорения вывода с помощью DSpark. Ограничения включают очень высокие требования к дисковому пространству и аппаратным ресурсам, отсутствие imatrix-калибровки на момент публикации и неопределённость стандартного chat template, который может быть задан некорректно. Модель распространяется по лицензии MIT.

DeepSeek-V4-Flash-0731-GGUF — квантизированная версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek и опубликованной в формате GGUF организацией ggml-org. Модель предназначена для задач генерации текста и может использоваться в совместимых инструментах для локального или серверного запуска, включая llama.cpp и приложение llama.app. В README не указаны архитектура, количество параметров, поддерживаемые языки, размер контекста и точный набор модальностей; по имеющимся данным модель относится к текстовым генеративным моделям. Доступны квантизированные варианты, при этом для вариантов Q2 пока не применялась imatrix-калибровка, что может влиять на их качество. Модель автоматически конвертирована средствами проекта ggml-org/convert. Модель распространяется по лицензии MIT. Для запуска требуется совместимое программное обеспечение, поддерживающее формат GGUF.

DeepSeek-V4-Pro-Qwen3.5-9B — компактная языковая модель класса 9B, созданная Kottk14-02-09 на основе unsloth/Qwen3.5-9B. Это reasoning-ориентированная дистилляция ответов DeepSeek-V4-Pro в режиме Max Effect с дополнительной настройкой под математику и STEM-задачи. В README также указано сотрудничество с инженером по аппаратному обеспечению Kyle Hessling, который помогал с инфраструктурой, обучением и оцениванием. Модель предназначена для генерации текста, многошагового решения математических и научных задач, структурированного рассуждения, а также может применяться в программировании, tool use и function calling. Обучение включало примерно 250 000 примеров по математике и STEM; при этом заявлены небольшие улучшения в программировании и использовании инструментов даже без специализированных данных для SFT по коду. Поддерживаются английский, китайский, корейский, японский, испанский и русский языки. Модель относится к текстовым генеративным моделям; сведения о мультимодальности и размере контекста в README не указаны. К сильным сторонам относятся относительно небольшой размер, практичная развёртываемость и фокус на математическом и научном рассуждении. Для запуска и оценки упомянуты vLLM с NVFP4 и llama.cpp с MTP-Q8_0. Ограничения модели, точные результаты бенчмарков, качество по отдельным языкам и требования к аппаратному обеспечению не приведены, поэтому их следует проверять самостоятельно. Модель распространяется по лицензии Apache-2.0.

Jebadiah/dolphin-hermes-stone-l3-8b-1m — слитая разговорная языковая модель на архитектуре Llama 3, созданная с помощью mergekit из cognitivecomputations/dolphin-2.9-llama3-8b-1m и NousResearch/Hermes-2-Pro-Llama-3-8B. Модель содержит 7,5 млрд параметров и предназначена для генерации текста в диалогах и ответов на инструкции. Заявленная длина контекста — 1 048 576 токенов. Модель доступна в формате safetensors и рассчитана на использование через Transformers. Карточка не сообщает о специализированной предметной области или поддерживаемых языках. Лицензия в предоставленных данных не указана.

Dolphin X1 Trinity Nano — чат-модель общего назначения, разработанная командой Dolphin на базе Arcee AI Trinity Nano Preview. Авторы описывают её как модель, дообученную с помощью новых RL-сред для снижения отказов при сохранении следования инструкциям. Она использует разреженную MoE-архитектуру Afmoe и содержит 880,3 млн параметров; контекстное окно — до 131 072 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на запросы и выполнение инструкций. Карточка заявляет поддержку английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Для диалогов используется шаблон ChatML; модель доступна в формате safetensors и может запускаться через Transformers, vLLM и llama.cpp. Модель рассчитана на сценарии, где нужны настраиваемые системные инструкции и низкая частота отказов. Заявления авторов о качестве основаны на приведённой ими оценке; результаты не гарантируют такую же производительность на других задачах. Лицензия — Apache-2.0.

DPOpenHermes 7B v2 GGUF — квантизированная версия языковой модели Open Access AI Collective, подготовленная TheBloke в формате GGUF. Модель основана на архитектуре Mistral, содержит около 7 миллиардов параметров и предназначена для генерации текста на английском языке, включая диалоговые и инструкционные сценарии. Модель обучалась с использованием наборов данных teknium/openhermes, allenai/ultrafeedback_binarized_cleaned и Intel/orca_dpo_pairs. Для общения используется шаблон ChatML с системными и пользовательскими сообщениями. GGUF-файлы доступны в вариантах с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией, что позволяет запускать модель с разными компромиссами между качеством, скоростью и требованиями к памяти на CPU и GPU. Модель совместима с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ограничения включают поддержку только английского языка согласно карточке и отсутствие сведений о мультимодальности или размере контекстного окна. Лицензия — Apache 2.0.

Dracarys-Llama-3.1-70B-Instruct-GGUF — это квантованные версии инструкционной языковой модели Dracarys-Llama-3.1-70B-Instruct, разработанной AbacusAI. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и другие задачи, поддерживаемые текстовыми LLM. Варианты подготовлены пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix; запуск рекомендуется через LM Studio или совместимое программное обеспечение. Модель основана на архитектуре Llama 3.1 и содержит 70 миллиардов параметров. Доступны уровни квантования от Q8_0 до IQ1_M, что позволяет выбирать между качеством ответов и требованиями к оперативной памяти: наиболее качественными считаются Q6_K, Q5_K_M и ряд вариантов Q4, тогда как версии Q2 и Q3 заметно уступают по качеству, хотя некоторые из них остаются пригодными для использования. Размер файлов составляет примерно от 16,75 до 74,98 ГБ. Мультимодальность, поддерживаемые языки и размер контекстного окна в README не указаны. Основные преимущества — большой размер модели, инструкционная настройка и широкий выбор квантований для локального запуска. Ограничения связаны с высокими требованиями к памяти, особенно для качественных вариантов, а также с потерей качества при сильном квантовании. Для корректной работы следует использовать указанный формат prompt с системным, пользовательским и ассистентским сообщениями. Лицензия указана как llama3; дополнительные условия лицензии в README не приведены.

Это инструктивно настроенная причинная языковая модель для генерации текста и диалогов в формате чата. Репозиторий разработан latent-artist; модель построена на архитектуре Qwen2 и содержит 7,1 млрд параметров. Модель предназначена для ответов на запросы и ведения диалога через текстовые промпты. В метаданных также отмечен интерфейс для вызова инструментов. Она принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов, а карточка указывает английский язык. Веса доступны в формате safetensors, для загрузки рекомендуется библиотека Transformers. Лицензия — Apache-2.0. Карточка не сообщает результатов оценки качества или специальных ограничений применения.

Faro-Yi-9B-DPO-imatrix-GGUF — набор GGUF-квантизаций модели Faro-Yi-9B-DPO, опубликованный пользователем duytnet. Базовая модель разработана wenbopan как DPO-версия Faro-Yi-9B на архитектуре Yi с примерно 9 млрд параметров. Модель предназначена для генерации текста и диалоговых сценариев, использует шаблон ChatML и поддерживает работу через llama.cpp, KoboldCpp, Ollama, text-generation-webui, Jan и GPT4All. Модель ориентирована на ответы общего назначения, рассуждения, работу с вопросами и документами, включая длинный контекст. В README заявлены высокие результаты на MMLU, GSM8K, HellaSwag, TruthfulQA, AI2 ARC, Winogrande и CMMLU, а также предпочтение ответов модели в оценке MT-Bench с использованием GPT-4 Judge. Для оригинальной модели описана работа с контекстом до 32K токенов при 24 ГБ видеопамяти, до 48K при использовании FP8 KV-кэша и до 160K для 4-битной AWQ-квантизации, однако фактические возможности конкретной GGUF-квантизации зависят от файла, аппаратного обеспечения и настроек запуска. В карточке указаны английский язык и лицензия «other», но точные условия лицензии не приведены. GGUF-квантизация снижает требования к памяти и упрощает локальный запуск, однако может приводить к некоторой потере качества по сравнению с полноразмерной моделью; степень потерь зависит от выбранного варианта квантизации.

FuseO1-DeepSeekR1-Qwen2.5-Instruct-32B-Preview-GGUF — это GGUF-квантизированная версия instruct-модели FuseO1-DeepSeekR1-Qwen2.5-Instruct-32B-Preview, разработанной FuseAI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio. В основе лежит модель с 32 миллиардами параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp b4514. Более высокие форматы сохраняют лучшее качество, а варианты Q4 и Q3 требуют меньше оперативной памяти; наиболее универсальным в README назван Q4_K_M. Указан специальный шаблон промпта с ролями system, User и Assistant. Модель ориентирована на локальный инференс и сценарии, где важны автономность, выбор размера файла и баланс между качеством и требованиями к памяти. README не содержит сведений о поддерживаемых языках, длине контекста, мультимодальности, результатах бенчмарков или ограничениях качества. Лицензия в предоставленных данных не указана.

Это квантизированная версия Gemma 3 12B IT, разработанная Google и преобразованная пользователем nocturne23 в формат GGUF с помощью llama.cpp и инструмента GGUF-my-repo. Модель предназначена для запуска через llama.cpp в CLI-режиме или как сервер для генерации ответов и выполнения задач, поддерживаемых исходной инструкционной моделью. Известно, что модель основана на google/gemma-3-12b-it и имеет размер 12 миллиардов параметров. Вариант Q4_K_M использует 4-битную квантизацию, что уменьшает требования к памяти по сравнению с полной версией, но может снижать точность. В метаданных указана мультимодальная задача image-text-to-text, однако подробные сведения о поддерживаемых языках, длине контекста, архитектуре и возможностях работы с изображениями в README отсутствуют. В качестве ограничения также следует учитывать зависимость от llama.cpp и необходимость настройки под используемое оборудование. Для доступа и использования модели требуется принять лицензию Google Gemma на Hugging Face; в README лицензия обозначена как gemma. Условия коммерческого и иного применения следует проверять в исходной лицензии Google и оригинальной карточке модели.

unsloth/gemma-3-1b-it-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 1B, разработанной Google DeepMind и опубликованной в формате GGUF командой Unsloth. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и понимания изображений, поэтому подходит для локального развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре с ограниченными ресурсами. Это мультимодальная модель: она принимает текст и изображения, а генерирует текст. Для версии 1B заявлено контекстное окно до 32K токенов; максимальный объём генерируемого ответа составляет 8192 токена. Семейство Gemma 3 поддерживает более 140 языков, однако в карточке этой версии явно указан английский язык. Меньший размер упрощает локальный запуск и снижает требования к ресурсам, но по возможностям и качеству модель может уступать более крупным вариантам Gemma 3. Изображения обрабатываются после нормализации до 896×896 пикселей и кодируются в 256 токенов каждое. Модель распространяется по лицензии Gemma; применимые условия использования определяются официальными Terms of Use Google. README не содержит подробностей о конкретной квантовке GGUF, требованиях к памяти или измеренных показателях качества.

gemma-3-4b-it-GGUF — квантизированная версия мультимодальной модели Gemma 3 4B IT, разработанной Google. Файл в формате GGUF подготовлен пользователем bartowski на основе модели google/gemma-3-4b-it и предназначен для запуска через llama.cpp, в том числе локально в LM Studio. Модель подходит для генерации текста, ответов на вопросы, суммаризации, рассуждений и понимания изображений. Она поддерживает текстовый и визуальный ввод; изображения нормализуются до разрешения 896 × 896 пикселей. Заявленная длина контекста составляет до 128 000 токенов, максимальная длина вывода — 8192 токена. Другие характеристики, включая поддерживаемые языки и точную архитектуру, в README не указаны. Для работы требуется runtime llama.cpp версии 1.19.0 или более новой, причём рекомендуется актуальная beta-версия. К ограничениям относятся зависимость от совместимого runtime, возможные ошибки и неточности генерации, а также отсутствие в предоставленных данных сведений о конкретном типе квантизации и её влиянии на качество. Модель распространяется по лицензии Gemma; для доступа на Hugging Face требуется принять условия лицензии Google.

urs-rs/gemma-4-26B-A4B-it-FP8-DYNAMIC — это производственная FP8-квантизованная версия инструкционной модели google/gemma-4-26B-A4B-it, разработанная на базе Gemma 4 от Google DeepMind. Квантование выполнено с помощью llm-compressor методом oneshot() с паттерном load_context(), который корректно обрабатывает объединённую структуру MoE-экспертов Gemma 4. Модель предназначена для развёртывания через vLLM, в том числе для многоходовых диалогов и голосовых AI-сценариев. Модель имеет архитектуру Mixture-of-Experts; в идентификаторе указаны конфигурация 26B и A4B, однако подробности об архитектуре, языках, модальностях и исходном размере контекста в README не приведены. Линейные слои квантизованы в FP8 по схеме W8A8: веса используют 8-битное поканальное симметричное представление, а активации — 8-битное динамическое токен-ориентированное представление. Веса маршрутизатора, нормализационные слои и lm_head сохранены в BF16 для стабильности выбора экспертов и генерации. Размер чекпойнта составляет около 13,3 GiB, что на 47% меньше версии BF16. По заявленным результатам, потери на MMLU-Pro составляют 0,26 процентного пункта относительно BF16, а заметного ухудшения качества многоходовых диалогов не обнаружено. На H100 NVL при контексте 16K заявлена максимальная конкурентность 21,3 запроса и примерно на 80% больше параллельных вызовов при сопоставимой задержке по сравнению с BF16. Ограничения включают зависимость от совместимого окружения vLLM 0.20.2rc1+ и CUDA 12.9, а также высокие требования к оборудованию: рекомендуется NVIDIA A100 40 GB или H100 80 GB. Чекпойнт распространяется по Gemma Community License, то есть на условиях лицензии базовой модели google/gemma-4-26B-A4B-it.

OnlyTextLLMs выпустила текстовую производную Gemma 4 E4B Instruct, сохранив текстовую основу и голову языкового моделирования, а также удалив компоненты обработки изображений и аудио и мультимодальные специальные токены. Модель использует архитектуру Gemma4ForCausalLM с плотной структурой, содержит 4,7 млрд параметров по метаданным и рассчитана на контекст до 131 072 токенов. README приводит другую оценку размера — 7,52 млрд параметров, поэтому точный размер по источникам расходится. Модель предназначена для генерации текста и диалоговых сценариев через Transformers. Она наследует базу google/gemma-4-E4B-it; заявлены формат safetensors и лицензия Apache-2.0. README указывает, что модель не дообучали: из базового чекпойнта удалили мультимодальные компоненты, поэтому она работает только с текстом и не принимает изображения или аудио.

cyankiwi/GLM-4.6V-Flash-AWQ-4bit — 4-битная AWQ-квантизированная версия GLM-4.6V-Flash, разработанная Ton Cao на основе модели GLM-4.6V-Flash от Z.ai. Модель относится к семейству GLM-V и предназначена для локального развертывания и приложений с низкой задержкой. Это мультимодальная модель для задач image-text-to-text: она обрабатывает изображения и текст, поддерживает китайский и английский языки, а также сценарии визуального понимания документов, таблиц, графиков, интерфейсов и скриншотов. Семейство GLM-4.6V заявляет поддержку контекста до 128K токенов, мультимодального function calling, анализа многостраничных документов, генерации смешанного текстово-графического контента и восстановления HTML/CSS по скриншотам; README не уточняет, одинаково ли все эти возможности реализованы именно в данной AWQ-версии. Размер базовой GLM-4.6V-Flash составляет 9B параметров. Квантизация выполнена методом AWQ с точностью 4 бита и group size 32, с использованием llm-compressor и набора 5CD-AI/LLaVA-CoT-o1-Instruct. Заявленный объём памяти снижен примерно с 19,2 до 8,3 ГБ, что делает модель более подходящей для локального запуска. Для инференса рекомендуется vLLM; README не приводит подробных результатов бенчмарков или анализа возможной потери качества после квантизации. Модель распространяется по лицензии MIT. Для запуска указаны vLLM и актуальная версия Transformers.

GLM-4.6V-Flash-GGUF — это набор GGUF-сборок мультимодальной модели GLM-4.6V-Flash, разработанной zai-org и опубликованной пользователем prithivMLmods. Модель относится к классу vision-language и предназначена для локального развёртывания и приложений с низкой задержкой. Доступны варианты с разными форматами точности и квантования, включая F16, BF16, F32, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-варианты. Модель рассчитана на работу с текстом и изображениями, включая фотографии, скриншоты и страницы документов. Она предназначена для визуального понимания документов, таблиц, графиков и макетов, мультимодального function calling, взаимодействия с инструментами, генерации HTML/CSS по скриншотам интерфейсов и редактирования изображений по инструкциям на естественном языке. Заявлено контекстное окно до 128K токенов и около 9 млрд параметров; поддерживаются китайский и английский языки. К сильным сторонам относятся мультимодальное понимание текста, структуры страниц и визуальных элементов, возможность напрямую использовать изображения в сценариях с инструментами, а также широкий выбор квантованных вариантов для подбора баланса между качеством и требованиями к памяти. Ограничения зависят от выбранного уровня квантования: более компактные варианты требуют меньше ресурсов, но могут снижать точность. В README не приведены подробные результаты тестирования, системные требования и инструкции по запуску. Лицензия модели указана как MIT.

GLM-5.3-NVFP4 — квантизированная версия модели GLM-5.3 от Z.ai, опубликованная в формате NVIDIA Model Optimizer. Это текстовая генеративная модель для запуска и обслуживания задач генерации текста; README также указывает поддержку reasoning и вызова инструментов через соответствующие парсеры. Модель предназначена для работы на GPU NVIDIA Blackwell с архитектурой SM100 и новее, непосредственно через SGLang или vLLM. В модели используются веса и статические активации линейных слоёв маршрутизируемых MoE-экспертов в формате NVFP4, а KV-кэш хранится в FP8. Размер контрольной точки составляет 433 GiB. Доступна опциональная speculative decoding с draft-моделью GLM-5.3-DFlash2 и семью токенами на шаг проверки. Языки, размер контекста, точное число параметров и полный перечень модальностей в README не указаны; по имеющимся данным модель относится к текстовым, а не мультимодальным системам. К сильным сторонам относятся существенное сжатие представления вычислений, поддержка специализированного инференса на современных GPU NVIDIA и близкие к исходной FP8-версии результаты на приведённых тестах: например, 95,1 против 94,3 на AIME 2025 и 91,2 против 91,1 на GPQA Diamond. Ограничения включают требование GPU NVIDIA Blackwell, крупный объём контрольной точки и отсутствие данных о производительности на другом оборудовании. Модель распространяется по лицензии GLM-5.3 License, унаследованной от базовой модели.

granite-4.2-30b-MLX-8bit — это 8-битная квантованная версия языковой модели granite-4.2-30b, разработанной ibm-granite. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon в экосистеме MLX. Модель предназначена для генерации текста и поддерживает сценарии рассуждения, диалогового взаимодействия и вызова инструментов. В README указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель относится к семейству Granite и имеет размер исходной модели 30B параметров; сведения о точной архитектуре, размере контекста и поддерживаемых модальностях, кроме текстовой генерации, не приведены. Ключевые преимущества этой версии — снижение требований к памяти по сравнению с полной точностью и оптимизация для Apple Silicon. Ограничения включают возможную потерю качества из-за 8-битного квантования, зависимость производительности от аппаратного обеспечения Apple Silicon и отсутствие в README подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

Etherll выпустила слитую диалоговую модель на архитектуре Llama 3.1 с плотной структурой и 7,5 млрд параметров. Она создана методом TIES с помощью mergekit на основе Etherll/Herplete-LLM-Llama-3.1-8b и rombodawg/Meta-Llama-3.1-8B-reuploaded. Модель предназначена для генерации текста по инструкциям, диалогов и сценариев с вызовом инструментов. Репозиторий использует Transformers и формат safetensors; заявленная длина контекста составляет 131 072 токена. Карточка не сообщает о специализированной предметной области или отдельной языковой специализации. Условия лицензии в предоставленных данных не указаны.

InternLM2.5-20B-Chat — разговорная текстовая модель семейства InternLM, разработанная командой InternLM. Данный репозиторий содержит её квантизованные версии в формате GGUF, подготовленные Second State Inc. на основе модели internlm/internlm2_5-20b-chat и предназначенные для локального запуска средствами, совместимыми с GGUF, включая LlamaEdge. Модель предназначена для генерации текста и диалоговых сценариев; README также указывает поддержку использования инструментов через специальный шаблон prompt. Это текстовая модель без заявленной поддержки других модальностей. Она содержит 20 миллиардов параметров, использует шаблон ChatML и поддерживает контекст размером до 32 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также f16; их размер составляет примерно от 7,55 до 39,7 ГБ. Основное преимущество репозитория — выбор компромисса между размером файлов и качеством: Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более агрессивное квантование уменьшает требования к памяти, но может заметно ухудшить качество ответов. Для запуска с LlamaEdge требуется версия 0.13.0 или выше. Лицензия указана как other, без дополнительных условий в README.

InternLM-Chat-7B — диалоговая модель семейства InternLM от команды InternLM, предназначенная для практических сценариев общения и генерации текста. Это плотная авторегрессионная модель класса InternLMForCausalLM с 6,9 млрд параметров; в репозитории представлены веса PyTorch. Карточка сообщает о тренировке на триллионах высококачественных токенов и оценивает модель по языковым, предметным, знаниевым, логическим и понимательным задачам. Модель подходит для диалоговых ассистентов, ответов на вопросы, объяснений и генерации текста; также заявлены возможности вызова инструментов для построения пользовательских рабочих процессов. Метаданные указывают контекст 2048 токенов, тогда как README заявляет окно 8k, поэтому фактическую длину контекста следует сверить с используемой конфигурацией. Карточка приводит результаты OpenCompass, включая C-Eval, MMLU и AGIEval. Модель может генерировать предвзятые, дискриминационные или иные вредоносные ответы. Код распространяется по Apache-2.0; для весов указано открытое использование в академических исследованиях, а коммерческое применение требует получения бесплатного разрешения.

K2-Horizon-32B MLX 6-bit — 6-битная квантизованная версия плотной авторегрессионной языковой модели IFM/K2-Horizon-32B, подготовленная hermitdave для запуска на компьютерах Apple Silicon через MLX. Модель содержит 31,2 млрд параметров по метаданным, а README описывает исходную архитектуру как декодер с 64 слоями. Заявленная длина контекста — 524 288 токенов. Модель предназначена для генерации текста, диалогов, рассуждений и агентных задач; карточка характеризует исходную модель как reasoning-модель и приводит результаты нескольких бенчмарков. Квантование уменьшает объём весов примерно до 24 ГБ, что, согласно README, позволяет запускать модель на устройствах Apple Silicon с 64 ГБ памяти. Для использования указаны MLX и mlx-lm; README также сообщает о необходимости патча oMLX версии 0.6.4 или новее для поддержки типа модели и формата вызовов инструментов. Это чекпойнт Stage 1; автор README сообщает, что ожидается финальный чекпойнт с улучшенными результатами. Модель выпущена по лицензии Apache-2.0. Данные о поддерживаемых естественных языках в источниках не приведены.

Модель NotoriousH2/kanana-1.5-8b-instruct-2505-Safe-DPO — дообученная инструктивная языковая модель, опубликованная NotoriousH2. Она основана на архитектуре Llama и предназначена для генерации текста в диалоговом формате; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст длиной до 32 768 токенов. Карточка сообщает о дообучении с использованием Unsloth и библиотеки TRL. Для весов указана лицензия Apache-2.0.