II.3Рефакторинг, миграция и модернизация

Это GGUF-квантизованная версия мультимодальной инструкционной модели google/gemma-4-26B-A4B-it, разработанной Google и подготовленной в форматах GGUF автором bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций. Базовая модель имеет размер 26B и обозначение A4B, однако README не раскрывает подробности её архитектуры. Модель предназначена для диалогового применения и обработки задач, соответствующих режиму image-text-to-text, то есть может работать с текстом и изображениями. Она подходит для локального запуска через llama.cpp, LM Studio, Jan AI, KoboldCpp, Text Generation Web UI и другие совместимые инструменты. В README приведён специальный шаблон запросов и отмечены обновления шаблона чата и исправления совместимости. Сильная сторона сборки — широкий выбор уровней квантизации, позволяющий выбирать между качеством и требованиями к памяти: наиболее качественными названы Q6_K_L, Q6_K, Q5 и Q4 варианты, а Q4_K_M рекомендован как типичный компромисс. Более компактные варианты экономят память, но могут заметно уступать по качеству. Языки, размер контекстного окна, точные характеристики мультимодальности и требования к оборудованию в README не указаны. Распространение осуществляется по лицензии Apache-2.0; для самой базовой модели также указана отдельная лицензия Gemma 4.

gaianet/gpt-oss-20b-GGUF — сборка модели openai/gpt-oss-20b, опубликованная Gaianet в формате GGUF. Это языковая модель архитектуры gpt_oss с разреженной MoE-архитектурой для генерации текста и диалогового применения. В README указан исходный репозиторий модели и раздел запуска с Gaianet. Модель принимает текстовые запросы и генерирует текст; заявленная длина контекста составляет 131072 токена. В метаданных указаны 1,6 млрд параметров, библиотека Transformers, форматы GGUF и GGUF F16, а также лицензия Apache-2.0. README не описывает специальные предметные области или конкретные языковые ограничения.

RedHatAI/granite-3.1-2b-instruct-quantized.w4a16 — квантизированная версия инструкционной языковой модели IBM Granite 3.1 2B Instruct, подготовленная разработчиками Neural Magic. Модель работает с текстом на входе и генерирует текст на выходе; заявленный язык — английский. Она предназначена для диалоговых сценариев, генерации и обработки текста, а также локального и серверного инференса. Модель использует архитектуру granite-3.1-2b-instruct и содержит около 2 миллиардов параметров. Веса и активации квантизированы до INT4; квантизация применяется к весам линейных операторов внутри трансформерных блоков. Это сокращает число битов на параметр с 16 до 4, а размер на диске и требования к GPU-памяти примерно на 75%. Для эффективного запуска рекомендуется vLLM версии 0.5.2 или новее; в приведённом примере используется максимальная длина контекста 4096 токенов. К сильным сторонам относятся существенно сниженные требования к памяти и удобство развертывания через vLLM с OpenAI-совместимым сервером. На OpenLLM Leaderboard V1 модель получила средний результат 61,54 против 61,98 у неквантизированной версии, что указывает на небольшую потерю качества после квантизации. Ограничения включают ориентацию на английский язык, необходимость совместимого инференсного стека и возможное снижение качества относительно исходной модели. Модель распространяется по лицензии Apache 2.0.

Carnice-V3-GGUF — это квантизированная GGUF-версия модели Carnice-V3, разработанной kai-os и подготовленной bartowski с использованием llama.cpp. Модель рассчитана на задачи генерации текста, агентские сценарии и взаимодействие с инструментами; в метаданных также указана поддержка image-text-to-text и тегов tool-use и agent. Модель содержит 28 млрд параметров и принимает текст, а также изображения при использовании специального mmproj-файла. Поддерживается английский язык. Доступны speculative decoding через MTP и квантизация с imatrix. Представлено множество вариантов квантизации от BF16 и Q8_0 до более компактных Q2/Q3/Q4/Q5/Q6, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Для большинства сценариев автор рекомендует Q4_K_M как сбалансированный вариант, а Q6_K и Q6_K_L — для более высокого качества. К сильным сторонам относятся большой размер, мультимодальный ввод, поддержка агентских задач и инструментов, а также широкий выбор квантизаций. Ограничениями являются значительный объём файлов, необходимость совместимого ПО на базе llama.cpp и mmproj-файла для обработки изображений; качество также зависит от выбранного уровня квантизации. Модель распространяется по лицензии Apache-2.0.

KRONOS-8B-V2 — объединённая языковая модель, созданная T145 методом TIES с помощью mergekit на базе unsloth/Meta-Llama-3.1-8B и включающая KRONOS-8B-V1-P1, KRONOS-8B-V1-P2, KRONOS-8B-V1-P3 и unsloth/Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, рассчитанная на генерацию текста и диалоговое использование; метаданные также отмечают интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов. README приводит результаты оценки на IFEval и BBH, но не описывает специализацию по предметной области или подтверждённый набор языков. Модель подходит для диалоговых приложений, генерации и продолжения текста, а также сценариев с длинным контекстом. В README указана лицензия модели Llama 3.1. Представленные результаты бенчмарков ограничены частью таблицы, поэтому по ним нельзя судить о качестве во всех задачах; сведения о языковом покрытии и ограничениях применения в карточке не приведены.

MaziyarPanahi/M7Yamshadowexperiment28_Strangemerges_32Experiment28 — объединённая текстовая модель семейства Mistral, созданная из automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_32Experiment28-7B. Она предназначена для генерации текста и диалогов по текстовым запросам. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В репозитории используются веса Safetensors. Модель распространяется по лицензии Apache-2.0.

Карточка модели PIXMELT/Mistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой Sacralet/mistral-7B, поэтому описание составлено по ней. Sacralet/mistral-7B — диалоговая instruction-модель на базе Mistral-7B, представленная как улучшенная instruct-версия Mistral-7B-Instruct-v0.1. Архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Для инструкций используется формат [INST]…[/INST], доступный также через шаблон чата Transformers. Модель предназначена для диалогов и генерации ответов на инструкции. В карточке указана лицензия Apache-2.0. README описывает её как демонстрацию возможностей дообучения базовой модели и отмечает отсутствие механизмов модерации. Языковая поддержка отдельно не перечислена.

unsloth/mistral-7b-instruct-v0.3 — версия Mistral 7B Instruct, опубликованная Unsloth. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров для генерации текста и диалогов по инструкциям; в метаданных указаны библиотека Transformers и контекст до 32 768 токенов. Модель принимает текст и выдаёт текст, поддерживает английский язык и интерфейс вызова инструментов. Модель подходит для диалоговых помощников и генерации ответов по запросу. README описывает её как основу для дообучения в разговорном формате ShareGPT/ChatML или Vicuna, а также для задач продолжения текста и DPO. Репозиторий содержит веса Safetensors; указана лицензия Apache 2.0. Это instruct-модель общего назначения, поэтому её ответы могут содержать ошибки и требуют проверки в критичных сценариях. README посвящён примерам и инструментам дообучения Unsloth и не приводит оценки качества самой модели.

Mistral-Nemo-Instruct-2407-400k_v3 — дообученная Wassimm версия unsloth/Mistral-Nemo-Instruct-2407, созданная с использованием Unsloth и библиотеки TRL от Hugging Face. Это плотная авторегрессионная модель семейства Mistral с 12,1 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена, среди языковых меток карточки указан английский. Модель подходит для диалоговых приложений и генерации текста, включая сценарии, где чат-боту требуется обращаться к инструментам. В README нет сведений о специальной предметной области или конкретных задачах дообучения. Лицензия — Apache-2.0.

Mixtral-8x7B-Instruct-v0.1-GGUF — квантизированная GGUF-версия инструкционной модели Mixtral-8x7B-Instruct-v0.1, разработанной Mistral AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и работу через LlamaEdge. Поддерживаются английский, французский, итальянский, немецкий и испанский языки; заявленный размер контекста составляет 4096 токенов. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 17,3 до 49,6 ГБ. Более компактные варианты требуют меньше ресурсов, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как сбалансированные или рекомендуемые, тогда как Q2_K и некоторые другие варианты имеют существенное снижение качества. Модель ориентирована на текстовые задачи и не поддерживает мультимодальные входы согласно представленным данным. Используется по лицензии Apache 2.0.

NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4 GGUF — это форматированный для GGUF и llama.cpp вариант модели NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4. Это не переобучение, а побитно точная конвертация исходного контрольного пункта с сохранением NVFP4-весов экспертов; модель предназначена для генерации текста и локального запуска, особенно на GPU NVIDIA Blackwell с поддержкой FP4 tensor cores. Модель использует гибридную архитектуру Mamba-2, Mixture-of-Experts и attention: всего около 30 млрд параметров, из которых примерно 3 млрд активны для каждого токена. Она содержит 52 слоя, включая 6 слоёв с полноценным attention, 128 маршрутизируемых экспертов, из которых активны 6, и одного общего эксперта. Нативная длина контекста составляет 1 048 576 токенов; благодаря фиксированному состоянию Mamba-2 и MoE полный контекст заявлен как доступный на одной видеокарте с 24 ГБ памяти. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки. Сильные стороны модели — очень длинный контекст, экономичное число активных параметров, сохранение исходных NVFP4-весов без повторного квантования и возможность использования дополнительной MTP-головы для speculative decoding. MTP-голова может повысить скорость примерно на 7% на быстрых GPU и на величину порядка десятков процентов на более медленном оборудовании, но требует дополнительной памяти и не улучшает качество вывода. Ограничения включают зависимость от совместимого оборудования и llama.cpp, а также потери запаса по контексту при использовании MTP-головы на GPU с 24 ГБ. В README приведены ориентировочные результаты: 79,2% на MMLU-Pro, 70,7% на IFBench и 26,7% на terminal-bench 2.0; авторы отмечают малые выборки и заметную вариативность результатов. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1, унаследованной от базовой модели. Материалы модели принадлежат NVIDIA Corporation и аффилированным лицам; при использовании следует указывать NVIDIA как разработчика исходной модели и NVFP4-экспорта. Репакет не аффилирован с NVIDIA и не предоставляет прав на её товарные знаки.

Это GGUF-квантизированная версия языковой модели OpenReasoning-Nemotron-7B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель относится к классу текстовых генеративных моделей и имеет размер 7B параметров. Доступны варианты от исходных BF16-весов до квантизаций Q8, Q6, Q5, Q4, Q3 и IQ-семейств; размер файлов составляет примерно от 3,55 до 15,24 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как варианты Q3 и Q2 рассчитаны на системы с ограниченным объёмом оперативной памяти. Для работы используется chat-шаблон с ролями system, user и assistant. Сильная сторона репозитория — широкий выбор вариантов GGUF для разного баланса качества, размера и производительности, включая варианты, оптимизированные для отдельных сценариев CPU и Apple Silicon. Ограничения, максимальная длина контекста, поддерживаемые языки, конкретные архитектурные особенности исходной модели и результаты бенчмарков в README не указаны. Лицензия также не указана, поэтому условия использования следует уточнять в документации исходной модели NVIDIA и соответствующего репозитория.

pankajmathur/orca_mini_v8_1_70b — диалоговая модель Pankaj Mathur, дообученная на базе meta-llama/Llama-3.3-70B-Instruct. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для генерации текста и ответов в формате диалога. В карточке приведён шаблон общения с системным, пользовательским и ассистентским сообщениями; среди датасетов указаны orca_mini_v1_dataset и orca_mini_v8_sharegpt_format. Модель работает с текстом и имеет контекстное окно до 131 072 токенов. Базовая Llama 3.3 поддерживает английский, французский, немецкий, хинди, итальянский, португальский, испанский и тайский языки; карточка Orca Mini отдельно отмечает английский. Лицензия — Llama 3.3 Community License (llama3.3). Модель может выдавать неточные, предвзятые или нежелательные ответы, поэтому её следует оценить и настроить под конкретное применение.

Mungert/Qwen2.5-14B-Instruct-1M-GGUF — это GGUF-версия инструкционной языковой модели Qwen2.5-14B от команды Qwen, подготовленная пользователем Mungert. Модель предназначена для генерации текста и диалоговых сценариев, включая работу чат-ассистента, ответы на инструкции и локальный запуск на системах с ограниченными ресурсами. В метаданных указаны английский язык и задача text-generation; название модели указывает на поддержку контекста до 1 миллиона токенов, однако подробные характеристики контекстного окна в README не приведены. Ключевая особенность сборки — ультранизкая 1–2-битная квантизация с динамическим распределением точности IQ-DynamicGate. Для разных слоёв применяются форматы IQ1 и IQ2, а критические embedding- и output-слои защищаются квантизацией Q5_K. Такой подход снижает требования к памяти и подходит для CPU, edge-устройств и GPU с ограниченным VRAM, но может уступать моделям с более высокой точностью и требует проверки качества именно на Qwen2.5-14B, поскольку приведённые в README бенчмарки выполнены на Llama-3-8B-Instruct. Размер файлов, конкретный вариант квантизации и скорость зависят от выбранного GGUF-файла. Лицензия — Apache-2.0.

Qwen3-4B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research, ориентированного на эффективное выполнение моделей на устройствах Apple Silicon. Модель предназначена для генерации текста в инструкционном формате и локального использования на совместимых компьютерах Apple Silicon. Она подходит для диалоговых приложений, обработки инструкций и других задач текстовой генерации. Модель имеет размер 4B параметров, относится к текстовым моделям и доступна в 8-битном формате MLX. Другие характеристики, включая поддерживаемые языки, длину контекста и точные параметры архитектуры, в README не указаны. Ключевое преимущество модели — сочетание компактного размера, 8-битной квантования и оптимизации под Apple Silicon, что делает её более подходящей для локального запуска с ограниченными ресурсами. Ограничения включают возможное снижение точности по сравнению с исходной моделью и типичные для языковых моделей риски генерации неточной, вредной или неподходящей информации. Модель распространяется по лицензии Apache-2.0.

trymirai/Qwen3.5-4B-M — это средний по размеру 4-битный вариант модели Qwen3.5-4B, подготовленный Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и унаследовала архитектуру, назначение, языки, модальности и другие базовые свойства оригинальной Qwen3.5-4B, однако в представленном README их подробные характеристики не указаны. Квантизация выполнена с использованием 4-битного асимметричного целочисленного представления, 4-битных zero points, масштабов bfloat16 и размера группы 32. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms; после посттренировочной квантизации использовалась дистилляция с учётом квантизации. По заявлению разработчиков, чекпойнт находится на компромиссном фронте между размером и KL-дивергенцией, то есть сочетает уменьшенный размер с сохранением качества. Основное преимущество модели — возможность более эффективного локального вывода на Apple silicon при меньших требованиях к памяти по сравнению с исходной моделью. Ограничение состоит в том, что в README заявлена поддержка только Apple silicon; характеристики производительности и качества для других платформ не приведены. Для запуска предлагается пакет mirai для macOS или сборка из исходного кода. Модель распространяется по лицензии Apache-2.0.

amd/Qwen3.8-27B-Quark-Qronos-INT4-W4A16 — это квантизированная версия базовой модели Qwen/Qwen3.8-27B, разработанная с использованием AMD Quark и алгоритма Qronos. Модель предназначена для задач генерации текста и, согласно метаданным, имеет pipeline image-text-to-text. Она рассчитана на запуск в совместимых inference-средах, включая vLLM с поддержкой схемы W4A16Int4. Модель использует INT4-квантизацию весов с group size 128, тогда как активации сохраняются в формате BF16. Квантизация выполнена методом посттренировочной оптимизации Qronos на основе Hessian, с калибровкой по 128 образцам длиной 512 токенов. Размер базовой модели — 27B параметров. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. По приведённым измерениям, качество близко к BF16-версии: на GSM8K получено 94,62% в thinking-режиме и 89,99% в non-thinking-режиме, perplexity Wikitext составила 8,6819, а точность BFCL для single_turn — 23,80%. Основное преимущество — снижение точности представления весов до INT4 при сохранении большей части качества базовой модели. Ограничения включают зависимость от Quark-совместимого runtime, необходимость поддержки W4A16Int4 и неполную сопоставимость отдельных бенчмарков с публичными рейтингами. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen/Qwen3.8-27B.

Qwen3.8-27B-Uncensored-INT8 — это модифицированная и квантованная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen компании Alibaba и опубликованная OrcaRouter. Из модели удалено направление, отвечающее за отказы, поэтому она существенно менее ограничена встроенными механизмами безопасности. Версия использует квантование INT8 W8A8: веса линейных слоёв представлены в 8-битном формате, а активации квантуются динамически по токенам. Модель предназначена для исследовательских задач, включая интерпретируемость, изучение механизмов отказа, AI safety, red-teaming, оценку устойчивости и контролируемые эксперименты. Это vision-language модель с поддержкой текста и изображений, рассуждений, управления режимом thinking, вызова инструментов и function calling. Архитектура включает 64 слоя, скрытое состояние размером 5120 и гибридное внимание: 48 слоёв Gated DeltaNet с линейным вниманием и 16 слоёв с полным вниманием. Заявлен контекст до 262 тысяч токенов; также сохранена MTP-голова для speculative decoding. В README указана поддержка английского и китайского языков. К сильным сторонам относятся сочетание мультимодальности, длинного контекста, инструментов, рассуждений и широкой совместимости INT8 с современными GPU. Основное ограничение — практически отсутствие встроенных защит: модель может выполнять вредоносные, незаконные или неэтичные запросы, которые исходная модель отклоняла. Её не рекомендуется использовать с конечными пользователями или в производственной среде без собственных механизмов модерации и защиты от злоупотреблений. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели; ответственность за использование и результаты несёт пользователь.

mlx-community/Qwen3-8B-4bit — языковая модель для генерации текста, преобразованная сообществом mlx-community из базовой модели Qwen/Qwen3-8B в формат MLX с использованием mlx-lm версии 0.24.0. Модель предназначена для запуска и генерации текста через библиотеку mlx-lm, включая диалоговые сценарии с применением chat template, если он доступен в токенизаторе. Модель имеет 8B параметров; обозначение 4bit указывает на 4-битное представление, ориентированное на более компактное хранение и эффективный запуск. В README не указаны архитектурные детали, поддерживаемые языки, контекстное окно или дополнительные модальности, поэтому эти характеристики нельзя достоверно определить. Сильной стороной является готовая конвертация в формат MLX и возможность использования через стандартный интерфейс mlx-lm; ограничениями могут быть особенности совместимости и качества, связанные с 4-битным представлением, однако конкретные показатели в README не приведены. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README содержит пример загрузки модели и генерации ответа.

RedHatAI/Qwen3-8B-NVFP4 — квантизированная версия языковой модели Qwen3-8B, разработанная RedHatAI на базе Qwen/Qwen3-8B. Модель предназначена для генерации текста и диалоговых сценариев, включая развёртывание чат-ботов и других приложений на основе больших языковых моделей. Она принимает текстовые данные и генерирует текст; заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский, однако документация отдельно ограничивает использование английским языком. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP4 с использованием LLM Compressor. Размер параметров уменьшен с 16 до 4 бит, что примерно на 75% сокращает объём хранения и требования к памяти GPU. Модель рассчитана на эффективный инференс через vLLM версии 0.9.1 и новее, включая OpenAI-совместимый режим сервинга. Для калибровки использовались образцы UltraChat; в README не указаны точный размер контекстного окна и количественные результаты бенчмарков. Ключевое преимущество модели — существенное снижение потребления дисковой и GPU-памяти при сохранении совместимости с исходной Qwen3-8B. Ограничением является возможное снижение качества из-за FP4-квантизации по сравнению с неквантизированной моделью, хотя README сообщает о проведённом сравнительном тестировании без приведения результатов. Лицензия — Apache-2.0; также указано ограничение на использование способами, нарушающими применимые законы и нормативные требования.

unsloth/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen и подготовленной для распространения Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для обработки текста и изображений, включая мультимодальные и агентские сценарии. Для запуска рекомендуется использовать llama.cpp или Unsloth Desktop; также заявлена поддержка ускорения инференса с помощью MTP. Модель имеет 125 млрд параметров, из которых 6 млрд активируются при работе, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, гибридную связку Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и 10 маршрутизируемыми плюс одним общим активным экспертом, Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 000 000 токенов. Поддерживаемые языки в README не указаны. К сильным сторонам относятся разреженное внимание на уровне блоков, рассчитанное на снижение задержки при длинном контексте, экономичное масштабирование параметров и малая доля активных параметров относительно общего размера модели. Ограничения связаны с экспериментальным статусом архитектуры, потенциально высокими требованиями к памяти и вычислительным ресурсам, а также отсутствием в предоставленном README подробных результатов бенчмарков и описания языкового покрытия. Модель распространяется по лицензии qwen-community-1.0; указанный тип лицензии — other.

Qwen3.8-Flash-Next-MXFP4-FP8 — экспериментальная квантизованная сборка модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель распространяется в формате Hugging Face Transformers и предназначена для задач генерации текста, агентских сценариев и мультимодального ввода с изображениями и видео. В README также указана поддержка вызова инструментов и рассуждений через соответствующие парсеры vLLM. Архитектура включает гибридное внимание с Gated DeltaNet и Qwen Sparse Attention, Gated Residual и N-gram Embedding; базовая модель использует Mixture-of-Experts-компоненты. В этой сборке MTP, attention, N-gram и KV-cache представлены в FP8, а experts — в MXFP4. Общий размер весов составляет около 125,8 ГБ. Конфигурация рассчитана на контекст до 524 288 токенов, поддерживает до 20 изображений и одного видео на запрос; языки и точное число параметров в README не указаны. Сильными сторонами являются экономичное хранение и вычисления за счёт квантизации, оптимизации для длинного контекста, FP8 KV-cache, prefix caching, chunked prefill и speculative decoding. Основные ограничения — запуск заявлен только на GPU AMD AI PRO R9700, требуется специализированный dev-образ vLLM и конфигурация с четырьмя GPU; модель имеет экспериментальный статус. Квантизация выполнена методом Quark RTN, поэтому точность может быть ниже, чем у будущих GPTQ/AWQ-сборок. README рекомендует использовать обновлённую GPTQ Protected Model. Лицензия указана как Apache-2.0 с license_name qwen-community-1.0.

Mungert/QwenLong-L1-32B-GGUF — это GGUF-квантизированная версия языковой модели QwenLong-L1-32B, созданная на основе DeepSeek-R1-Distill-Qwen-32B. Модель предназначена для генерации текста и задач, требующих работы с длинным контекстом и рассуждениями; в метаданных она обозначена как long-context и large-reasoning-model. При подготовке использовался llama.cpp, а среди связанных данных указан набор Tongyi-Zhiwen/DocQA-RL-1.6K. Главная особенность представленной версии — поддержка вариантов квантования с низкой разрядностью, включая 1–2-битные схемы IQ-DynamicGate. Этот подход распределяет точность по слоям модели и защищает критически важные компоненты, чтобы снизить потери качества при уменьшении размера. По приведённым тестам на Llama-3-8B DynamicGate уменьшал perplexity по сравнению со стандартным 1–2-битным квантованием, сохраняя сопоставимую скорость инференса; эти результаты не являются прямым бенчмарком данной 32B-модели. Модель подходит для развёртывания на системах с ограниченной GPU-памятью, CPU и edge-устройствах, а также для исследований ультранизкоразрядного квантования. Компромиссами являются возможное снижение точности по сравнению с полноформатными версиями и зависимость результата от выбранного варианта квантования и аппаратной поддержки. Лицензия — Apache-2.0. Точный размер модели, поддерживаемые языки и заявленное максимальное окно контекста в README не указаны.

Slush-Sunfall-Rocinante-GGLD-12B — объединённая языковая модель, созданная сообществом mergekit-community из IAmTheCollector/MN-Slush-GGLD и knifeayumu/Rocinante-12B-v1-nemo-sunfall-v0.6.1-SLERP. Модели объединены методом SLERP в формате bfloat16; конфигурация задаёт Slush-GGLD для входных и выходных слоёв и Rocinante-Sunfall для промежуточных слоёв. Модель построена на плотной архитектуре MistralForCausalLM и содержит 12,1 млрд параметров. Она предназначена для генерации текста и диалогов; карточка также отмечает интерфейс вызова инструментов. Указанное нативное контекстное окно — 1 024 000 токенов. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия в предоставленных сведениях не приведена.

Supertron2.1-0.6B — компактная инструкционно дообученная языковая модель от Surpem на базе Qwen3-0.6B. Это плотный Transformer с примерно 507,9 млн параметров; модель использует архитектуру, токенизатор и формат чата Qwen3 и предназначена для генерации текста и диалогов. Контекстное окно составляет 40 960 токенов. Модель подходит для ответов на вопросы, объяснения понятий, пошаговых рассуждений, арифметики и алгебры, написания и разбора кода, кратких пересказов и переписывания текста, а также прототипирования ассистентов и агентных сценариев. Карточка заявляет поддержку программирования на нескольких языках, но основной язык в метаданных — английский; отдельные языки программирования не считаются естественными языками. Небольшой размер позволяет запускать модель на потребительском оборудовании. При этом она может выдумывать факты, давать неверные решения задач и ошибки в коде; сложные рассуждения могут превышать её возможности, а качество зависит от настроек генерации. Результаты следует проверять, особенно в ответственных областях. Лицензия — Apache 2.0.

MaziyarPanahi/zephyr-7b-alpha-dare-0.85-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и uukuguy/zephyr-7b-alpha-dare-0.85. В README указан метод слияния slerp с выбором параметров по слоям для блоков self-attention и MLP. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации ответов на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Доступны веса в формате safetensors. Лицензия — Apache-2.0. В карточке не приведены сведения о поддерживаемых естественных языках или специальных предметных областях.

Карточка модели PS4Research/9DgDaWTmX85XRwSq на Hugging Face совпадает с карточкой PS4Research/IKn8jwlNamPNIS15, поэтому описание составлено по ней. Модель PS4Research/IKn8jwlNamPNIS15 — дообученная PS4Research языковая модель семейства Granite на базе ibm-granite/granite-4.2-30b. Она предназначена для генерации текста и диалогового взаимодействия; интерфейс также поддерживает вызов инструментов. Модель содержит 28,9 млрд параметров, использует плотную архитектуру GraniteForCausalLM и принимает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Базовая модель IBM описана как многоязычная и предназначенная для рассуждений, диалога, программирования и вызова инструментов, однако README не уточняет, какие именно навыки были предметом дообучения этой версии. Модель распространяется в формате safetensors по лицензии Apache-2.0; для ускорения обучения использовались Unsloth и библиотека TRL.

QuantFactory/ArliAI-Llama-3-8B-Dolfin-v0.3-GGUF — квантизированная версия модели OwenArli/ArliAI-Llama-3-8B-Dolfin-v0.3, созданная QuantFactory с использованием llama.cpp. Модель основана на Meta-Llama-3-8B-Instruct и дообучена на улучшенном наборе данных Dolphin и WizardLM. Модель предназначена для генерации текста, диалоговых сценариев и выполнения пользовательских инструкций. Дообучение ориентировано на более точное следование инструкциям и менее частые отказы от ответов. Поддерживается чатовый формат с системными сообщениями, пользовательскими запросами и ответами ассистента. Размер базовой модели составляет 8 млрд параметров; используется архитектура семейства Llama 3 и текстовая модальность. Обучение проводилось с длиной последовательности 2048 токенов, при этом заявлена работоспособность с контекстом до 8192 токенов. Дообучение выполнялось методом QLoRA с 4-битной загрузкой, рангом 64 и alpha 128; обучаемыми были примерно 2% параметров. Данные о поддерживаемых языках, конкретных параметрах квантизации и результатах бенчмарков не приведены. Модель может быть полезна в локальных приложениях и системах, где важны экономичное использование памяти и выполнение инструкций. Ограничения включают отсутствие опубликованных результатов OpenLLM Benchmark и неполное описание характеристик квантизированных вариантов. Использование регулируется лицензией Meta Llama 3 License, обозначенной в карточке как llama3.

QuantFactory/ArliAI-Llama-3-8B-Dolfin-v0.5-GGUF — это квантизированная в формате GGUF версия модели ArliAI-Llama-3-8B-Dolfin-v0.5, созданная с использованием llama.cpp. Исходная модель разработана на основе Meta-Llama-3-8B-Instruct и дообучена OwenArli на улучшенных наборах данных Dolphin и WizardLM. Квантизация выполнена QuantFactory. Модель предназначена для генерации текста, диалоговых приложений и выполнения инструкций. Дообучение ориентировано на более точное следование инструкциям и менее частые отказы от ответов. Модель использует архитектуру семейства Llama 3 и содержит около 8 миллиардов параметров. Поддерживается текстовая модальность; конкретные языки в README не указаны. Заявлена работа с контекстом до 8192 токенов, хотя обучение проводилось с длиной последовательности 2048 токенов. Модель обучалась с использованием QLoRA: 4-битной загрузки, rank 64 и alpha 128; обучаемыми были примерно 2% весов. Квантизированный формат рассчитан на запуск через llama.cpp и может быть удобен для локального инференса с ограниченными аппаратными ресурсами. Ограничения включают отсутствие подробных результатов OpenLLM Benchmark в представленном README и отсутствие точной информации о поддерживаемых языках, фактическом качестве на разных задачах и требованиях к аппаратному обеспечению. Модель распространяется по лицензии Meta Llama 3 License, унаследованной от базовой Meta-Llama-3-8B-Instruct. Условия этой лицензии необходимо учитывать при использовании и распространении модели.

DeepSeek-V4-Flash-MXFP4 — квантизированная версия DeepSeek-V4-Flash, разработанная Advanced Micro Devices (AMD) на базе исходной модели DeepSeek AI. Это каузальная языковая модель для генерации текста, ориентированная на запуск через Transformers и vLLM в Linux на ускорителях AMD MI355 и MI350 с архитектурой gfx950. README не указывает точный размер модели, поддерживаемые языки и длину контекста. Модель использует архитектуру DeepseekV4ForCausalLM и механизм Mixture-of-Experts (MoE). Проекции маршрутизируемых и общих MoE-экспертов квантизированы в статический OCP MXFP4 для весов и динамический OCP MXFP4 для активаций; остальные компоненты, включая attention, маршрутизатор MoE, нормализацию, embeddings, выходную голову и MTP-блок, сохранены в исходной точности. Квантизация выполнена с помощью AMD Quark 0.12.0, а рекомендуемая среда включает ROCm 7.2.0, PyTorch 2.9.1, Transformers 5.13.1 и vLLM 0.29.0. Ключевое преимущество модели — оптимизация инференса на совместимом оборудовании AMD при сохранении качества исходной модели: на GSM8K в конфигурации с 8 примерами она показала 94,92% против 95,00% у исходной версии, что соответствует восстановлению 99,9% результата. Ограничения включают зависимость от конкретных ускорителей AMD, Linux и совместимого программного стека; сведения о других бенчмарках, мультимодальности и языковом покрытии отсутствуют. Модель распространяется по лицензии MIT, как и исходная модель.