II.8Инженерия данных и аналитика

Это конверсия в формат GGUF модели Gemma 4 26B A4B IT, квантизированной NVIDIA в NVFP4. Базовую модель разработала Google DeepMind; в репозитории указаны 25,2 млрд общих и 3,8 млрд активных параметров. Модель построена на архитектуре Transformers с чередованием локального скользящего и глобального внимания, поддерживает контекст до 256 тысяч токенов и более 140 языков. Модель принимает текст и изображения, обрабатывает видео как последовательности кадров и генерирует текст. Она предназначена для диалога, рассуждений, программирования, агентных сценариев и мультимодального понимания. GGUF-файл рассчитан на запуск через llama.cpp и совместимые движки; в карточке также приведены результаты бенчмарков базового NVFP4-чекпойнта, близкие к показателям полноточной версии. Репозиторий распространяется по лицензии Apache-2.0. Это NVFP4-квантизированная модель, поэтому для запуска и качества вывода важны поддержка формата и совместимость используемого движка; README рекомендует сборку llama.cpp с CUDA для NVFP4.

unsloth/gemma-4-E2B-it-unsloth-bnb-4bit — 4-битно квантованная версия инструкционно настроенной модели Google Gemma 4 E2B, подготовленная Unsloth. Модель предназначена для генерации текста, рассуждений, программирования, агентных сценариев и мультимодального понимания входных данных на локальных устройствах, включая ноутбуки и мобильные устройства. Модель использует плотную архитектуру Gemma 4 с 2,3 млрд эффективных параметров и 5,1 млрд параметров с учётом эмбеддингов, 35 слоями, гибридным механизмом внимания и контекстом до 128 тысяч токенов. Она принимает текст, изображения и аудио и генерирует текст; поддерживается более 140 языков. Доступны настраиваемые режимы рассуждения, нативная поддержка системных инструкций и вызова функций. Квантование BNB в формате 4-bit снижает требования к памяти и облегчает локальный запуск, однако может уменьшать точность по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache 2.0. В README не приведены подробные результаты бенчмарков, требования к аппаратному обеспечению или количественная оценка влияния квантования на качество, поэтому её производительность в конкретных задачах требует практической проверки.

GLM-4-9B-Chat imatrix GGUF — это квантизированные версии диалоговой языковой модели GLM-4-9B-Chat, разработанной Zhipu AI. Данный репозиторий содержит сборки в формате GGUF с использованием imatrix, предназначенные для локального запуска через llama.cpp и совместимые с рядом клиентских приложений, включая JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Модель предназначена для многораундовых диалогов, генерации и понимания текста, рассуждений, работы с математическими и программными задачами, а также вызова пользовательских инструментов и выполнения кода в поддерживаемых средах. GLM-4-9B-Chat имеет около 9 миллиардов параметров, поддерживает контекст до 128K токенов и многоязычность, включая английский, китайский, японский, корейский и немецкий языки; всего заявлена поддержка 26 языков. Это текстовая модель, соответствующая задаче text-generation. К сильным сторонам относятся заявленная производительность, превосходящая Llama-3-8B на ряде оценок, поддержка длинного контекста и диалоговых функций. Ограничения связаны с необходимостью использовать совместимое программное обеспечение и включить Flash Attention при запуске через llama.cpp, иначе возможен сбой. В карточке указана лицензия other; подробные условия лицензии не приведены.

GLM-5.3-Flash-FP8 — это FP8-квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанная командой GLM-5; базовая модель опубликована организацией zai-org. Модель предназначена для генерации текста, программирования, агентских сценариев, работы с инструментами и задач, требующих обработки текста и изображений. В карточке указаны поддержка английского и китайского языков, интеграция с Transformers и лицензия MIT. Модель имеет 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса. Она использует гибридную архитектуру со sparse attention и linear attention, рассчитанную на снижение стоимости обслуживания длинного контекста при сохранении точности, а также Manifold-Constrained Hyper-Connections. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. В оценках использовались контексты до 300 000 токенов, а для отдельных тестов — до 1 млн токенов; это параметры конкретных оценочных конфигураций, а не обязательно гарантированный лимит модели. К сильным сторонам относятся высокая эффективность за счёт малого числа активных параметров, мультимодальность, возможности в программировании и агентских задачах, а также поддержка локального развёртывания через SGLang, vLLM, TokenSpeed и KTransformers. Ограничения именно FP8-версии, включая требования к аппаратному обеспечению, точность чисел и возможные отличия от базовой модели, в README не описаны.

NVIDIA GLM-5.3 NVFP4 — квантизированная версия авторегрессионной языковой модели ZAI GLM-5.3, подготовленная с использованием NVIDIA Model Optimizer. Модель предназначена для рассуждений, программирования и агентских сценариев, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе ИИ. Модель построена на архитектуре Transformer с сетью GLM-5.3 (GlmMoeDsaForCausalLM) и использует разреженное внимание с индексатором IndexShare для работы с длинным контекстом. Общий объём составляет 753 млрд параметров, из которых активируется 40 млрд. Она принимает и генерирует текстовые последовательности, поддерживает контекст длиной до 1 млн токенов. Модель рассчитана на запуск на GPU NVIDIA с архитектурой Blackwell, интеграцию через SGLang и работу в Linux. К сильным сторонам относятся большой контекст, MoE-архитектура с разреженной активацией, поддержка задач рассуждения и программирования, а также предварительная квантизация NVFP4 для развёртывания на совместимом оборудовании. Ограничения включают текстовую модальность, зависимость от NVIDIA GPU архитектуры Blackwell и необходимость дополнительного тестирования на данных конкретного сценария. Обучающие данные не раскрыты; для калибровки использовались cnn_dailymail и Nemotron-Post-Training-Dataset-v2, а оценка проводилась на наборах MMLU Pro, GPQA Diamond, LiveCodeBench V6, SciCode, AIME 2025, AA-LCR и IFBench. Модель доступна для коммерческого и некоммерческого использования. Применяются NVIDIA Open Model Agreement и условия лицензии исходной модели GLM-5.3; тип лицензии указан как NVIDIA Proprietary. Модель не разработана NVIDIA: она основана на сторонней модели ZAI GLM-5.3.

GLM-5.3-W4AFP8 — квантизированная версия языковой модели GLM-5.3, разработанной организацией zai-org и опубликованной PhalaCloud. Модель предназначена для генерации текста, программирования, агентских сценариев и задач с вызовом инструментов. Она основана на checkpoint zai-org/GLM-5.3-BF16 и сохраняет архитектуру GLM-5.2, включая механизм Mixture-of-Experts (MoE), EAGLE/MTP-спекулятивное декодирование и контекст до 1 млн токенов при использовании H200-класса GPU. Эксперты модели квантизированы в INT4 с группами по 128 весов и калибровкой AWQ на трассах coding-agent, а активации и неэкспертные слои представлены в FP8. Такой формат рассчитан на запуск через SGLang с CUDA CUTLASS W4A8 grouped GEMM на GPU Hopper и обеспечивает примерно вдвое большую ёмкость KV-кэша по сравнению с FP8 checkpoint при одинаковой пропускной способности. Поддерживаются текстовая генерация, рассуждения и tool calling; точный список языков в README не указан. По приведённым оценкам модель показывает 91,9 на GPQA-Diamond, 73,0 на AA-LCR и 82,2 на 45-элементной подвыборке BFCL, а также успешно извлекает информацию из промптов размером около 930 тысяч токенов. Ограничения включают зависимость от специализированной конфигурации SGLang и GPU Hopper, необходимость tensor parallelism на 8 устройствах для полного запуска, а также отсутствие заявленной поддержки этого формата в vLLM на момент публикации. Модель распространяется по лицензии MIT.

gnani-evon-v3.3 — языковая модель Gnani.ai для диалога, следования инструкциям и рассуждений на английском и индийских языках. Это гибридная архитектура Mamba2-Transformer Nemotron Hybrid Mixture of Experts: 30 млрд параметров всего и около 3,5 млрд активных на токен. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на работу через Transformers, vLLM и SGLang. Модель предназначена для чатов и ассистентов, многоязычных RAG-систем с длинным контекстом, извлечения ответов из текста, агентных сценариев с вызовом инструментов, а также задач по коду и математике. Разработчик сообщает о дообучении на инструкциях и применении обучения с подкреплением; заявленный акцент — понимание и генерация на языках Индии. README предупреждает, что использование инструментов и многошаговые агентные возможности продолжают развиваться, а модель не рекомендуется для высокозначимых решений или юридических, медицинских и финансовых консультаций без оценки безопасности в целевой области. Лицензия — Apache-2.0.

Granite-3.0-3B-A800M-Instruct — инструктивная языковая модель семейства Granite 3.0, разработанная командой Granite в IBM. Это дообученная на инструкционных данных модель IBM Granite-3.0-3B-A800M-Base с разреженной архитектурой Transformer Mixture of Experts и декодером, содержащая 352,3 млн параметров по метаданным. Модель принимает текст и генерирует текст; её контекстное окно составляет 4096 токенов. Модель предназначена для ответов на общие инструкции и создания диалоговых помощников, в том числе для бизнес-приложений. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Диалоговый формат и интерфейс вызова инструментов подходят для построения ассистентов. Модель выпущена в октябре 2024 года и распространяется по лицензии Apache 2.0. По данным разработчика, качество на многоязычных задачах может уступать английскому; возможны неточные, предвзятые или небезопасные ответы. Для целевых сценариев рекомендуется проверка и настройка модели.

Hermes-2 Θ (Theta) 70B — языковая модель Nous Research, созданная совместно с Charles Goddard и Arcee AI. Это плотная авторегрессионная модель семейства Llama 3 с 69,5 млрд параметров, полученная слиянием Hermes 2 Pro и Llama 3 Instruct с последующим дообучением с помощью RLHF. Репозиторий содержит веса SafeTensors; лицензия — llama3. Модель предназначена для многошагового диалога в формате ChatML и поддерживает контекст до 32 768 токенов. Она обучена вызову функций, выдаче структурированных ответов по JSON-схеме и извлечению признаков из документов для RAG. В метаданных указан английский язык. Эти возможности помогают создавать чат-ассистентов, связывать модель с инструментами и получать ответы в заданном формате. В README приведены результаты нескольких бенчмарков, включая IFEval и MTBench, но они не гарантируют качество на конкретных запросах. Для вызова функций требуется внешняя логика, которая разбирает вызов, выполняет функцию и передаёт результат обратно модели. Для эксплуатации нужно учитывать значительный размер модели: в README также упоминается вариант инференса в 4-битном режиме.

K-EXAONE-2.0-750B-A37B-DSpark — мультиязычная языковая модель общего назначения от LG AI Research. Это модель с архитектурой Mixture of Experts семейства EXAONE, предназначенная для генерации текста и диалогового взаимодействия. По метаданным, модель содержит 34,1 млрд параметров и поддерживает контекст до 262 144 токенов. Модель рассчитана на рассуждения, агентные сценарии, работу с кодом и поиск информации в длинном контексте. Она поддерживает корейский, английский, испанский, немецкий, японский, вьетнамский, французский, итальянский, польский и португальский языки. Для ускорения генерации README описывает speculative decoding методами MTP и DSpark; заявлено ускорение примерно в 3–5 раз. Для запуска приведены конфигурации SGLang и vLLM на двух узлах с 16 GPU NVIDIA H200, поэтому использование требует значительных вычислительных ресурсов. Модель выпущена под лицензией Apache 2.0. Она может выдавать ошибочные, устаревшие, предвзятые или неподходящие ответы; актуальность сведений не гарантируется. README также отмечает проблему генерации на NVIDIA B200 с рекомендацией отключить prefill CUDA graph до исправления.

Mistral Small 3 Instruct 2501 — плотная причинная языковая модель Mistral AI Team с 23,4 млрд параметров, представленная в формате safetensors и предназначенная для генерации текста по инструкциям. Она подходит для диалоговых агентов, рассуждений, вызова функций, формирования JSON и локального инференса; в README также отмечены сценарии тонкой настройки под предметные области и обработка чувствительных данных на локальной инфраструктуре. Модель поддерживает контекст до 32 768 токенов и, согласно карточке, десятки языков, включая английский, французский, немецкий, испанский, китайский и японский. В README заявлены следование системным инструкциям и агентные возможности. Для работы с GPU карточка указывает потребность более чем в 60 ГБ видеопамяти; локальный запуск на меньшем объёме памяти возможен после квантизации. Модель выпущена под лицензией Apache 2.0, допускающей коммерческое и некоммерческое использование.

Mistral-Small-24B-Instruct-2501-unsloth-bnb-4bit — это 4-битная квантованная версия Mistral Small 3 (2501), подготовленная Unsloth на базе Mistral-Small-24B-Instruct-2501 от команды Mistral AI. Модель содержит 24 млрд параметров и предназначена для локального запуска, диалоговых приложений и задач, требующих высокой качества ответов при ограниченных ресурсах. После квантования заявлена возможность размещения на одной видеокарте RTX 4090 или MacBook с 32 ГБ оперативной памяти. Модель ориентирована на быстрых разговорных агентов, вызов функций, генерацию JSON, предметных помощников после дообучения и локальную обработку чувствительных данных. Она поддерживает десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Доступно контекстное окно 32K токенов, а также поддержка системных инструкций. Используется токенизатор Tekken со словарём размером 131 тысяча токенов. К сильным сторонам относятся агентские возможности, встроенный вызов функций, структурированный вывод, мультиязычность, развитые диалоговые и рассуждательные способности, а также снижение требований к памяти благодаря 4-битному представлению. Ограничениями являются зависимость качества и скорости от аппаратной конфигурации и возможные потери точности, связанные с квантованием; конкретные показатели для данной квантованной сборки в README не приведены. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию.

Qwen2.5-32B-Instruct-GGUF — квантованная в формате GGUF версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантование подготовлено bartowski на основе llama.cpp, а распространение модели осуществляется в рамках Community Model Program LM Studio. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, работу со структурированными данными и создание структурированного контента. Она поддерживает более 29 языков, среди которых английский, китайский, французский, испанский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Заявлена поддержка контекста до 128 000 токенов с использованием настроек YaRN RoPE и генерацией до 8 000 токенов. Ключевые характеристики включают размер 32B параметров, текстовую модальность и обучение на наборе данных объёмом 18 триллионов токенов. Формат GGUF и совместимость с llama.cpp делают модель подходящей для локального запуска в поддерживаемых приложениях, однако требования к вычислительным ресурсам зависят от конкретного уровня квантования. Модель может генерировать неточные, вредные или непреднамеренные ответы. Лицензия — Apache 2.0.

Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

cyankiwi/Qwen3.6-35B-A3B-AWQ-4bit — квантованная 4-битная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель распространяется в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. В карточке указано, что квантование выполнено с калибровкой на данных для STEM-задач и агентных сценариев. Это каузальная языковая модель с визуальным энкодером, предназначенная для работы с текстом и изображениями, включая программирование, фронтенд-разработку, рассуждения на уровне репозиториев и агентные рабочие процессы. Она поддерживает английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Заявлена длина контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура основана на Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Модель содержит 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общего активируемого эксперта; в архитектуре используются Gated DeltaNet и Gated Attention. Размер файлов модели составляет около 24,97 ГБ. Потенциальные сильные стороны — высокая эффективность за счёт разреженной активации экспертов, большой контекст, мультимодальность и ориентация на кодинг и агентные задачи. Ограничения и точные требования к аппаратному обеспечению в README не указаны; результаты приведённых бенчмарков также представлены неполностью. Лицензия — Apache-2.0.

abhishekchohan/Qwen3.8-27B-AWQ-INT4-FP8KV — квантизированная версия Qwen/Qwen3.8-27B, опубликованная abhishekchohan. Модель предназначена для диалогов, следования инструкциям, математических и научных задач, агентного программирования, многоязычных сценариев и работы с очень длинным контекстом. В карточке указано image-text-to-text позиционирование, однако подробности о поддерживаемых изображениях не приведены. Модель использует AWQ-квантизацию весов INT4 с защищёнными компонентами BF16 и FP8 E4M3 KV-кэшем с калиброванными послойными масштабами. Архитектура Qwen3.8-27B содержит 16 глобальных attention-слоёв, накапливающих KV-кэш, и 48 слоёв DeltaNet с рекуррентным состоянием. Поддерживается контекст до 262 144 токенов; заявлена возможность расширения до 524 288 токенов через YaRN, но результаты за пределами 262 144 токенов не проверялись. Заявленная оценка требований для полного контекста — около 33,5 ГБ VRAM, включая примерно 20 ГБ на веса и 8,5 ГБ на KV-кэш. Ключевое преимущество — примерно двукратное снижение памяти KV-кэша по сравнению с BF16 при сохранении качества: тесты показывают близкие результаты к AWQ-INT4 с BF16 KV, а retrieval-тест на контекстах 32 768, 131 072 и 262 144 токена дал 9/9 успешных результатов. Ограничения включают возможные небольшие колебания качества на отдельных бенчмарках, неподтверждённую работу за пределами 262 144 токенов и несовместимость MTP speculative decoding с FP8 KV в текущем JIT-пути FlashInfer на системах Blackwell. Для запуска рекомендуется vLLM с включённым FP8-кэшем; модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-heretic-ara-Q4_K_M-MTP-GGUF — квантизированная GGUF-версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, подготовленная cygnal. Модель основана на Qwen3.8-27B и распространяется с сохранёнными тензорами MTP (Multi-Token Prediction) для ускоренного декодирования, а также с отдельным vision-проектором mmproj для обработки изображений. В карточке заявлены поддержка английского и китайского языков и мультимодальный сценарий image-text-to-text. Модель предназначена для диалогов, генерации и анализа текста, программирования, технических задач, извлечения структурированных данных и понимания изображений. Основной файл Q4_K_M имеет размер около 16 ГБ и использует квантизацию с 4,83 битами на вес. Для запуска рекомендован llama.cpp; заявлена поддержка контекста до 32768 токенов в типовой конфигурации. MTP может заметно повысить скорость генерации, особенно на совместимом оборудовании AMD Strix Halo, однако для запросов с изображениями в ROCmFPX его необходимо отключать из-за ограничений реализации. Сильными сторонами являются сочетание текстовых и визуальных возможностей, наличие MTP, поддержка OpenAI-совместимого API и несколько вариантов запуска для стандартного llama.cpp и ROCmFPX. Ограничения включают высокие требования к памяти, зависимость производительности от оборудования и backend, а также необходимость отдельного mmproj-файла для изображений. Исходная модель описана как uncensored-версия с изменённым поведением отказов, поэтому её ответы требуют дополнительной проверки и настройки мер безопасности. Лицензия — Apache-2.0.

ddalcu/Qwen3.8-27B-MLX-Serve-4bit — 4-битная MLX-квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная ddalcu на основе Qwen/Qwen3.8-27B. Модель предназначена для локального запуска через mlx-serve на компьютерах Mac с Apple Silicon и поддерживает работу с текстом, изображениями, инструментами и режимом рассуждений. Она может использоваться для диалога, генерации и анализа текста и кода, обработки изображений, вызова инструментов и интеграции с клиентами через OpenAI- и Anthropic-совместимые API. Модель имеет 27 млрд параметров, занимает около 18,2 ГБ на диске и рассчитана на размещение в памяти Mac с 32 ГБ. Нативное контекстное окно составляет 262 144 токена, однако фактический размер зависит от доступной памяти устройства. В сборку включена нативная MTP-голова для multi-token prediction, ускоряющая декодирование, особенно при генерации кода. Также поддерживаются vision-language сценарии, XML-формат вызова инструментов Qwen3.8 и управление глубиной рассуждений. Главное преимущество сборки — возможность запустить крупную мультимодальную модель локально на 32-гигабайтном Mac без облака и Python-окружения. Компромисс — повышенный шум 4-битной квантизации: заявленная оценка составляет 9,25% против 0,71% у 8-битной версии, поэтому 8-битная сборка предпочтительнее при наличии достаточного объёма памяти. Указанные скорости зависят от оборудования и режима: на M4 Max с 128 ГБ заявлены до 75,3 токена в секунду для кода и 39,7 токена в секунду для пояснительного текста при включённом MTP. Модель распространяется по лицензии Apache-2.0.

Карточка модели Pound1320/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ4e-DFlash2 — мультимодальная версия модели GLM-5.3-Flash, разработанная на основе архитектуры Zhipu AI / ZAI; некensored-веса предоставлены dealignai, а смешанная квантализация oQ4e и MLX-сборка — Solstice-AI. Модель предназначена для генерации и анализа текста, программирования, математического рассуждения, работы с изображениями и видео, а также сценариев с длинным контекстом. Заявлены поддержка английского и китайского языков, native-контекст до 1 048 576 токенов и работа на Apple Silicon через библиотеку MLX. Модель имеет 320 млрд общих параметров в разреженной MoE-архитектуре с 288 экспертами и примерно 18 млрд активных параметров на токен. Квантализация использует 4-битное аффинное представление с целевой плотностью около 4,6 bpw; критические компоненты, включая маршрутизаторы MoE, lm_head и мультимодальные слои, частично или полностью сохраняются в более высокой точности. В комплект входит DFlash2 для speculative decoding, заявленный для ускорения генерации до трёх раз. Потенциальные сильные стороны — большой контекст, мультимодальность, поддержка видео, эффективность разреженной архитектуры и оптимизация для чипов Apple. Ограничения включают высокие требования к памяти и совместимому Apple Silicon-окружению, а также возможные потери качества из-за квантализации; приведённые в README результаты тестов не являются независимой верификацией. Указана лицензия MIT.

dealignai/GLM-5.3-UNCENSORED-FP8 — многоязычная текстовая генеративная модель, разработанная dealignai на основе JANGQ-AI/GLM-5.3-FP8 и upstream-модели zai-org/GLM-5.3. Это версия с уменьшенным поведением отказа от ответа, полученная прямым изменением весов без дообучения, LoRA, runtime-хуков или prompt-трюков. Модель предназначена для универсальной генерации текста, рассуждений, программирования, агентских и инструментальных сценариев, включая задачи, где требуется минимизация отказов по широкому спектру тематик. Модель использует архитектуру glm_moe_dsa с 753 млрд параметров, 78 слоями и текстовой модальностью. Применяется квантизация FP8; заявлена нативная производительность tensor cores на GPU Hopper, включая H100 и H200. Поддерживаются английский, китайский, русский, сербский, хинди, французский, испанский, арабский, корейский и японский языки. Для рассуждений доступны режимы low и high, однако отключить рассуждение на этом checkpoint нельзя; при больших значениях усилия рассуждения модель может исчерпать лимит токенов внутри блока размышлений и не выдать ответ. Сильными сторонами являются сохранение общей интеллектуальной способности относительно базовой модели, широкая многоязычность, снижение отказов и исправление обнаруженной в предыдущей версии проблемы циклического рассуждения. Ограничения включают чувствительность результата к настройкам reasoning_effort и max_tokens, практические ограничения длины контекста и неполную совместимость некоторых функций ускорения с vLLM. Модель распространяется по лицензии MIT.

Calandracas/gpt-oss-120b-Derestricted-GGUF — это GGUF-квантизированная версия модели gpt-oss-120b-Derestricted, созданная Arli AI на базе открытой весовой модели openai/gpt-oss-120b от OpenAI. Модель предназначена для генерации текста, задач общего назначения, сложного рассуждения и агентских сценариев, включая вызов функций, веб-браузинг, выполнение Python-кода и структурированный вывод. Архитектура исходной модели основана на Mixture-of-Experts: заявлено около 117 млрд параметров, из которых примерно 5,1 млрд активируются при обработке запроса. Модель поддерживает настраиваемый уровень рассуждения — low, medium и high — и обучена работать в формате ответов Harmony, без которого, согласно карточке, она функционирует некорректно. В README не указаны поддерживаемые языки и точный размер контекста. GGUF-формат ориентирован на локальный запуск совместимыми средствами. Ключевая особенность версии Derestricted — удаление значительной части отказов и ограничивающего поведения при сохранении возможностей рассуждения исходной модели. Для этого Arli AI применила метод Norm-Preserving Biprojected Abliteration, направленный на сохранение норм весов и снижение деградации логики по сравнению с обычной abliteration. При этом модель может иногда сохранять склонность к отказам, а снижение встроенных ограничений повышает риски небезопасного или нежелательного использования. Для производственного запуска также требуются значительные вычислительные ресурсы; исходная модель рассчитана на размещение в одной GPU с 80 ГБ памяти. Лицензия — Apache 2.0.

manjunathshiva/gpt-oss-20b-tq3 — это 3-битная MLX-квантизация модели openai/gpt-oss-20b, созданная с помощью TurboQuant-MLX. Базовая модель представляет собой Mixture-of-Experts с 21 млрд параметров, 32 экспертами и примерно 3,6 млрд активных параметров на токен. Квантизация использует вращение Hadamard и кодовую книгу Lloyd-Max с group_size=64 и не требует калибровочных данных. Модель предназначена для генерации текста, диалогов, ответов на вопросы, творческого письма, программирования, математических задач и многошагового рассуждения. Она поддерживает контекст до 131 000 токенов. Размер файлов составляет около 9,5 ГБ, пиковое потребление связанной оперативной памяти при декодировании — около 11 ГБ. Модель рассчитана на Apple Silicon M1–M4 с unified memory объёмом от 16 ГБ; заявленная скорость генерации на чипах серии M составляет примерно 60–80 токенов в секунду. Сильные стороны модели — компактное размещение, возможность полностью держать веса в памяти Mac с 16 ГБ, высокая скорость и поддержка длинного контекста. Дополнительное сжатие KV-кэша в смешанной точности K8/V3 может уменьшить его размер примерно в четыре раза. Ограничения связаны с 3-битной квантизацией и зависимостью от платформы MLX: при более высокой температуре генерации модель может нестабильно решать математические и программные задачи, поэтому для них рекомендуется температура 0,3. Веса распространяются по лицензии Apache-2.0.

K2-Horizon-7B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-7B, разработанной IFM. Это плотная decoder-only модель примерно на 7 млрд параметров, предназначенная для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Модель поддерживает английский язык и относится к текстовым моделям без мультимодального или визуального входа. Исходная модель имеет нативное контекстное окно до 524 288 токенов (512K), что делает её подходящей для анализа больших документов и других задач с длинным контекстом. Доступны варианты квантизации Q4_0, Q4_K_M, Q4_K_M Selective, Q5_K_M, Q6_K и Q8_0 размером примерно от 5,34 до 9,57 ГБ. Вариант Selective сохраняет тензоры проекций внимания Q/K/V/O в формате Q6_K поверх базовой Q4_K_M. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, в частности форк MBZUAI-IFM до появления поддержки в upstream. Файлы содержат совместимый с llama.cpp шаблон чата; доступны форматы вызова инструментов xml, json и xml_typed. Ограничения включают зависимость от специализированного runtime, потребность в значительном объёме памяти при использовании контекста 512K и возможные потери качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

Heretic-org/LFM-2.5-2.6B-heretic — текстовая чат-модель на 2,6 млрд параметров, созданная с помощью Heretic v1.4.0 как «децензурированная» версия LiquidAI/LFM2.5-2.6B. Это плотная причинная языковая модель семейства LFM2 с 30 слоями и контекстом до 131 072 токенов; модель работает с текстом и поддерживает многоязычный ввод и генерацию, включая русский, английский, арабский, китайский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, испанский, тайский и вьетнамский. Модель предназначена для диалогов, следования инструкциям, работы с инструментами, извлечения данных, RAG и сценариев с длинным контекстом, в том числе локального и периферийного развертывания. В README приведено сравнение с исходной моделью: 4 отказа из 100 запросов против 98 у оригинала при KL-дивергенции 0,0321; это указывает на снижение склонности к отказам, но не доказывает универсальное качество или безопасность. Разработчик исходной модели — Liquid AI; эту производную модель подготовил heretic-org. Указана лицензия «other», поэтому конкретные права и ограничения следует проверять в файлах репозитория и условиях исходной модели.

unsloth/Mistral-Small-24B-Instruct-2501-GGUF — квантизированная версия 24-миллиардной Mistral Small 3 (2501), разработанной командой Mistral AI и опубликованной Unsloth в формате GGUF. Это instruction-tuned модель на базе Mistral-Small-24B-Base-2501, предназначенная для диалоговых приложений, генерации текста, локального инференса, function calling, выдачи JSON и создания специализированных предметных ассистентов после дообучения. Модель поддерживает десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Заявлены сильные conversational и reasoning-возможности, поддержка системных промптов и контекстное окно 32K токенов. Используется токенизатор Tekken со словарём размером 131K; конкретная архитектура и параметры квантизации в предоставленном README не указаны. К сильным сторонам относятся высокая плотность знаний, низкая задержка, нативные возможности для агентных сценариев и возможность локального запуска после квантизации, в том числе на RTX 4090 или MacBook с 32 ГБ оперативной памяти. Ограничения включают отсутствие подробных данных о вариантах квантизации, требованиях к оборудованию и результатах независимых оценок; заявленные преимущества основаны на материалах разработчика. Модель распространяется по лицензии Apache 2.0, допускающей использование и модификацию в коммерческих и некоммерческих целях.

AEON-7/Qwen3.6-35B-A3B-heretic-NVFP4 — мультимодальная NVFP4-квантизированная версия модели tvall43/Qwen3.6-35B-A3B-heretic, подготовленная AEON-7. Модель предназначена для диалогов, рассуждений, программирования, агентских сценариев, function calling и обработки изображений с текстовыми запросами. Заявлена поддержка английского языка, vision-language задач и контекста до 1 млн токенов. Модель использует гибридную архитектуру Qwen3_5MoeForConditionalGeneration с Mixture-of-Experts: 35 млрд параметров всего и около 3 млрд активных параметров. В составе присутствуют разреженные MoE-слои, линейное внимание Mamba/GDN, 27-блочный ViT-энкодер, сохранённый в BF16, и экспертные веса в формате NVFP4. Поддерживаются multimodal image-text-to-text, tool calling, speculative decoding, prefix caching и FP8 KV-cache при использовании совместимой конфигурации vLLM. К сильным сторонам относятся высокая плотность модели при небольшом числе активных параметров, длинный контекст, мультимодальность и стабильная работа текста в заявленном стеке vLLM. В README указана проверка обработки изображений после исправления размещения тензоров vision tower, а также масштабирование до 64 одновременных запросов и примерно 740 токенов в секунду суммарно при использовании DFlash, однако эти характеристики зависят от оборудования и конфигурации. Модель ориентирована прежде всего на DGX Spark и совместимые GPU Blackwell/GB10 с образом AEON vLLM; для других сред совместимость не гарантируется. Это abliterated/decensored-вариант с существенно сниженным уровнем отказов, поэтому стандартные ограничения безопасности могут быть ослаблены. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-NVFP4-GGUF — это квантизированная в формате GGUF версия модели на базе Qwen3.6, созданной Alibaba Group, с доработками LuffyTheFox и квантизацией NVFP4 от jan1k. Модель также включает Hermes-файнтюнинг для диалогов, генерации текста, программирования, агентских сценариев и function calling. Указана поддержка английского, китайского и других языков, а также мультимодального ввода изображений через отдельный vision-проектор. Архитектура представляет собой Mixture of Experts: около 35 млрд общих параметров и примерно 3 млрд активных параметров на токен, с восемью маршрутизируемыми экспертами и одним общим. NVFP4 — 4-битный формат с плавающей точкой, оптимизированный для GPU NVIDIA архитектур Ada Lovelace, Blackwell и Ampere. Рекомендуется использовать файл версии v4 с inline scales; он совместим с llama.cpp, LM Studio и Pelican. Для работы с изображениями требуется отдельный проектор F16 размером около 899 МБ. Размер рекомендуемого файла модели составляет около 20 ГБ. Сильными сторонами являются MoE-архитектура с относительно небольшим числом активных параметров, поддержка мультимодальных и агентских задач, function calling и формат NVFP4, снижающий требования к памяти по сравнению с полноразмерной моделью. Ограничения включают зависимость от совместимого NVIDIA-оборудования и корректно поддерживающего NVFP4 рантайма, необходимость отдельного vision-проектора для изображений и отсутствие в предоставленных данных сведений о максимальной длине контекста и результатах независимого тестирования. Модель распространяется по лицензии Apache-2.0.

Furiosa-AI Qwen3-8B-FP8 — это версия модели Qwen3-8B-FP8, подготовленная для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. Модель разработана на базе Qwen3 компании Qwen и предназначена для генерации текста, диалоговых приложений, решения задач, программирования, математического рассуждения, вызова инструментов и построения агентных систем. Доступен OpenAI-совместимый API. Модель представляет собой плотный causal transformer с grouped-query attention и примерно 8,2 млрд параметров. Она работает только с текстом на входе и выходе; в README явно указан английский язык. Qwen3-8B поддерживает гибридный режим рассуждений: по умолчанию модель может формировать рассуждение перед ответом, а для отдельных запросов рассуждения можно отключать. Также поддерживается вызов функций через parser hermes. Веса статически квантизированы в FP8 с размером блока 128, а активации динамически квантизируются в FP8 во время выполнения. К сильным сторонам относятся сочетание качества рассуждений и эффективного режима без рассуждений, поддержка инструментов и агентных сценариев, а также оптимизация для FuriosaAI RNGD. Ограничения включают зависимость от Furiosa-LLM и оборудования RNGD для описанного способа запуска, а также то, что характеристики языковой поддержки и контекстного окна в данной карточке не раскрыты. На RNGD используется tensor parallelism с размером 8 PE, соответствующий одной карте RNGD. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-VL-8B-Instruct-1M-GGUF — GGUF-версия 8-миллиардной мультимодальной instruct-модели Qwen3-VL, подготовленная Unsloth на основе Qwen/Qwen3-VL-8B-Instruct. Модель предназначена для понимания и генерации текста с учётом изображений и видео, визуального анализа, OCR, математических и STEM-задач, анализа документов, пространственного рассуждения, генерации кода и взаимодействия с графическими интерфейсами через визуального агента. Модель использует плотную архитектуру с 8B параметров и поддерживает текст, изображения и видео. Заявлено нативное контекстное окно 256K токенов с возможностью расширения до 1M, что позволяет обрабатывать книги и длительные видеоматериалы с временной привязкой событий. Среди архитектурных особенностей указаны Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и Text–Timestamp Alignment для локализации событий в видео. OCR поддерживает 32 языка. Сильные стороны модели — объединённое текстово-визуальное понимание, улучшенная работа с пространственными отношениями, длинным контекстом, видео, документами и визуальными интерфейсами. Ограничения, такие как фактическая точность на конкретных наборах данных, требования к ресурсам и поддерживаемые языки вне OCR, в README не уточняются. Репозиторий распространяется по лицензии Apache-2.0; для использования через llama.cpp рекомендуется включать параметр --jinja из-за исправлений chat template от Unsloth.