II.3Рефакторинг, миграция и модернизация

MaziyarPanahi/Qwen3-30B-A3B-GGUF — это набор файлов модели в формате GGUF для базовой модели Qwen3-30B-A3B, разработанной командой Qwen. Квантованием и публикацией файлов занимался MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и другими совместимыми решениями, что позволяет использовать модель с GPU-ускорением, локальными графическими интерфейсами или API-серверами. Архитектура, число параметров базовой модели, поддерживаемые языки, модальности и размер контекста в README не указаны. К сильным сторонам относятся широкий выбор уровней квантования и совместимость с популярной экосистемой локального инференса. Ограничения зависят от выбранного варианта квантования и конкретного средства запуска; подробности о качестве, производительности, лицензии и требованиях к оборудованию в предоставленных данных отсутствуют.

Qwen3-4B-Instruct-2507-Hi-Fi-fraQtl — это квантизированная GGUF-версия Qwen/Qwen3-4B-Instruct-2507, подготовленная fraQtl и опубликованная в сообществе Qualcomm AI Hub. Модель предназначена для генерации текста и работы в сценариях локального запуска на CPU и GPU через llama.cpp; GGUF также совместим с GenieX без изменений. Поддержка выполнения на NPU/Hexagon в README не подтверждена. Модель содержит около 4 млрд параметров и поддерживает контекст до 262 144 токенов. Доступны варианты Hi-Fi Q4_K_M-класса размером 2,50 ГБ и Q4_0 размером 2,38 ГБ. Квантизация выполнена с учётом калибровки методом fraQtl code+math imatrix; заявлены более низкое расхождение с исходными весами по сравнению с рядом других сборок Q4_K_M и успешное извлечение контрольных данных на полном контексте. Архитектура, перечень языков и поддерживаемые модальности в README отдельно не указаны. Сильными сторонами являются компактный размер, возможность локального запуска, сохранение качества после квантизации и проверенная работа с длинным контекстом. Ограничения включают отсутствие подтверждённого ускорения на Hexagon NPU, а также отсутствие подробных данных о языковых возможностях и качестве на прикладных задачах. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Qwen3.5-397B-A17B-VQ-2.2bpw — векторно-квантизированная версия модели Qwen3.5-397B-A17B, разработанная TheDrainFlorist на базе модели Qwen. Репозиторий предназначен для запуска большой MoE-модели локально на компьютерах Apple Silicon с 128 ГБ объединённой памяти, без кластера и специальных патчей, используя MLX и совместимые инструменты mlx-lm или mlx-vlm. Модель поддерживает генерацию текста, а после обновления runtime также обработку изображений через mlx-vlm. Модель имеет 397 млрд параметров и обозначение A17B, что указывает на разреженную архитектуру Mixture-of-Experts с примерно 17 млрд активных параметров на токен. Применяется vector quantization с точностью 2,2 bits per weight; размер артефакта составляет около 101,0 GiB. Заявлена поддержка английского языка, а тесты включают прозу и смешанный по языкам код. Максимальная длина контекста в README не указана. Для текста требуется mlx-lm с поддержкой ключа model_file версии 0.31.9 или совместимой, для изображений — mlx-vlm не ниже 0.6.16. Главное преимущество сборки — уменьшенный объём, позволяющий сохранить около 17 ГиБ свободной памяти на системе с 128 ГБ и использовать модель с меньшими требованиями к резидентной памяти. По опубликованным измерениям версия v2 улучшает perplexity относительно v1 и превосходит близкую 2,6-битную квантизацию на прозе, однако уступает сборке VQ-2.4bpw по качеству. Уменьшение размера не гарантирует более высокую скорость декодирования, поскольку активные эксперты на токен остаются сопоставимыми. Лицензия — Apache-2.0.

Qwen3.6-27B Q4KM dequant BF16 for vLLM — это преобразованная версия весов Qwen3.6-27B, подготовленная exolabs для запуска через vLLM. Исходные веса взяты из GGUF-файла Q4_K_M репозитория unsloth/Qwen3.6-27B-GGUF, деквантизированы и сохранены в формате BF16 в шардах safetensors; конфигурация и токенизатор взяты из Qwen/Qwen3.6-27B. Архитектура — плотная Qwen3_5ForConditionalGeneration; валидация описывает текстовую генерацию, а визуальная башня намеренно отсутствует. Модель предназначена для диалоговой генерации текста и развёртывания через vLLM. В README указаны успешная загрузка через Transformers CUDA и короткая генерация, а также проверка совместимости с интерфейсом vLLM completions. Для запуска автор рекомендует режим только языковой модели и максимальную длину контекста 4096 токенов. Хотя метаданные содержат тег image-text-to-text и возможность vision, данная сборка не включает визуальную башню и рассчитана на текстовый режим. Это конверсия и деквантизация исходного GGUF Q4_K_M в BF16, а не исходный чекпойнт BF16: точность ограничена исходными квантованными весами. Репозиторий не сообщает лицензию; условия использования следует сверить с лицензиями исходной модели и файла. Для запуска нужны совместимые версии vLLM и подходящее GPU-оборудование; проверка проводилась на H200 с vLLM 0.23.0.

Это семейство GGUF-квантизированных вариантов модели Qwen3.8-27B, опубликованное разработчиком MagicQuant и основанное на базовой модели Qwen/Qwen3.8-27B. Релиз предназначен для генерации текста и диалоговых сценариев, а также для локального запуска моделей через совместимое с GGUF программное обеспечение, включая инструменты llama.cpp. В набор входят гибридные конфигурации MagicQuant и варианты Unsloth с разными уровнями квантования — от MQ-Q6_K_1 и MQ-Q6_K_2 до MQ-IQ2_XXS_1. Размер файлов составляет примерно от 8,27 до 29,03 ГБ. README описывает сравнительное тестирование по метрике KLD и отбор конфигураций, показавших лучшие компромиссы между размером и сохранением характеристик исходной модели. Точные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях кроме текстовой генерации не указаны. Основные преимущества — широкий выбор размеров, возможность подобрать вариант под доступную память и сохранение качества при использовании более крупных квантов; однако степень потери качества зависит от выбранной конфигурации, а наиболее компактные варианты имеют существенно более высокий KLD. Условия распространения указаны как Apache-2.0.

Qwen3.8-27B-OBLITERATED-FP8 — это FP8-квантизированная версия мультимодальной модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, подготовленная MrPewpy. Модель предназначена для генерации текста, диалоговых сценариев, работы с изображениями и текстом, а также использования через vLLM и Transformers. Лицензия — Apache-2.0. Модель содержит около 27 млрд параметров и использует гибридную архитектуру с линейным вниманием Gated-DeltaNet и полным attention. Заявлена поддержка мультимодальных задач image-text-to-text, английского языка и контекста до 262 144 токенов. Квантизация выполнена в формате FP8_DYNAMIC: веса представлены в FP8, активации квантизуются динамически, а чувствительные проекции линейного внимания сохраняются в BF16. Размер модели сокращён примерно до 28 ГБ по сравнению с 51,6 ГБ у базовой BF16-версии. Сильными сторонами являются уменьшенный объём хранения, нативная поддержка vLLM, возможность запуска на GPU NVIDIA Ampere, Hopper и Blackwell, а также заявленная оптимизация базовой модели для снижения отказов. В README приведены непроверенные результаты на MMLU, ARC-Challenge, HellaSwag, WinoGrande, GSM8K и TruthfulQA; они не гарантируют аналогичную производительность в прикладных задачах. Для запуска рекомендуется vLLM, а аппаратные требования и качество могут зависеть от используемого движка, настроек и поддержки мультимодальных функций.

Qwen3.8-27B-Uncensored-Q8_0-GGUF — это GGUF-конверсия дообученной модели orcarouter/Qwen3.8-27B-Uncensored. Конверсию выполнили с помощью llama.cpp через сервис GGUF-my-repo; исходная модель основана на Qwen3.8-27B и связана с ней как fine-tune. Модель распространяется в формате GGUF и предназначена для запуска с llama.cpp на совместимом оборудовании. Заявленные сценарии включают обработку текста и изображений, reasoning, function calling, red-teaming и AI safety research. В карточке указаны английский и китайский языки, а также тег vision-language, однако подробности об архитектуре, поддерживаемых типах изображений, максимальном контексте и фактических возможностях function calling не приведены. Размер модели составляет 27B параметров, используется квантование Q8_0, что может снизить требования к памяти по сравнению с полноразмерной версией, сохраняя близкое к исходному качество, но конкретные требования к ресурсам не указаны. Модель может быть удобна для локального инференса через llama.cpp и серверного развёртывания. Ограничения включают отсутствие в README результатов тестирования, подробного описания датасета и дообучения, а также сведений о производительности и безопасности; заявленное «uncensored» позиционирование также означает необходимость самостоятельной оценки рисков и фильтрации ответов. Указана лицензия Apache-2.0.

Aldaris/Qwen3-8B-Q4_K_M-GGUF — это квантованный вариант базовой модели Qwen/Qwen3-8B, преобразованный пользователем Aldaris в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и локального запуска через llama.cpp, включая командный интерфейс и серверный режим. Модель содержит 8 миллиардов параметров и использует квантование Q4_K_M, что уменьшает требования к ресурсам по сравнению с полноразмерной версией и делает её подходящей для локального вывода на совместимом оборудовании. В README указано использование контекста размером 2048 токенов в примере запуска, однако максимальный размер контекста, архитектура, поддерживаемые языки и дополнительные модальности не описаны. К сильным сторонам относятся переносимость формата GGUF, совместимость с llama.cpp и возможность локального использования. Ограничениями являются потенциальная потеря качества из-за квантования, зависимость от llama.cpp для рекомендованного запуска и отсутствие в представленных данных подробных сведений о возможностях исходной модели. Лицензия — Apache 2.0.

nytopop/Qwen3-8B.w8a8 — это квантованная версия языковой модели Qwen3-8B, разработанная на основе Qwen/Qwen3-8B. Модель предназначена для генерации текста и может использоваться в сценариях диалоговых приложений, ассистентов и других задач, поддерживаемых causal language models. В README также указана совместимость с reasoning parser qwen3. Модель использует 8-битное квантование W8A8 с применением SmoothQuant и GPTQ; вариант оптимизирован для производительности на GPU архитектуры Ampere. При создании использовались 256 калибровочных примеров с максимальной длиной последовательности 4096 токенов, однако эти параметры не подтверждают предельный контекст исходной модели. Размер модели, архитектурные детали, поддерживаемые языки и модальности в README не указаны. Основное преимущество версии — снижение вычислительных и, вероятно, ресурсных затрат по сравнению с полноразмерной моделью при сохранении назначения исходной Qwen3-8B. Ограничения квантования и точность на конкретных задачах не описаны, поэтому качество следует оценивать отдельно. Модель распространяется по лицензии Apache-2.0.

Soomin33/Qwen3.8-Flash-Next-FP6 — общественная квантованная версия модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель создана на основе официального чекпойнта Qwen/Qwen3.8-Flash-Next-FP8, а не исходных весов BF16. Она предназначена для генерации текста и рассчитана на локальный запуск и серверное инференс-обслуживание с использованием SGLang. Модель использует архитектуру mixture-of-experts и содержит около 180 млрд параметров. Веса MoE-экспертов объёмом 123,31 млрд параметров представлены в формате FP6 e2m3 с группами по 64 значения, основные компоненты внимания и GDN хранятся в BF16, а таблица n-gram/PLE объёмом 51,2 млрд параметров — в FP8 и размещается в оперативной памяти хоста. В составе также присутствует vision encoder, однако заявленный pipeline предназначен для text-generation. Поддерживаемые языки, размер контекста и точный набор мультимодальных сценариев в карточке не указаны. Сильными сторонами являются существенное снижение размера экспертных весов при низкой относительной RMS-ошибке относительно FP8-источника, проверенная точность Triton-деквантизации и оптимизация под GPU NVIDIA Ampere. В тесте GPQA Diamond на ограниченной выборке модель показала 38 из 38 правильных ответов среди завершённых задач, а в частично выполненном полном прогоне — 66 из 71, однако эти результаты не являются полноценным бенчмарком. Ограничения включают высокие требования к ресурсам: рекомендуется две видеокарты по 64 ГБ либо не менее 110 ГБ памяти на одной GPU, около 50 ГиБ закреплённой оперативной памяти для n-gram-таблицы и примерно 147 ГиБ дискового пространства. Архитектуры GPU новее Ampere заявлены как потенциально совместимые, но не протестированы. Модель распространяется по лицензии Qwen Community License 1.0; в метаданных также указана общая категория лицензии other.

ilintar/qwen3.8-flash-next-gguf-strix-halo — это GGUF-квантизация модели Qwen3.8-Flash-Next, предназначенная для генерации текста. Базовая модель относится к семейству Qwen; в README указано 176,94 млрд параметров, формат квантования IQ4_NL и общий объём весов 93,16 GiB в девяти файлах. Модель поддерживает английский язык, рассчитана на текстовые задачи и имеет обученный контекст до 262 144 токенов. Архитектура обозначена как qwen4exp и включает рекуррентный gated delta-net, разреженное lightning-indexer attention и поуровневые embeddings. В комплект входит отдельная draft head размером 2,6 GB в формате Q8_0 для ускорения генерации. Ключевой сценарий использования — запуск на одном AMD Ryzen AI Max+ с Radeon 8060S, архитектурой gfx1151 и 128 GB unified memory. Для работы необходимы специальная ветка strix-halo проекта llama.cpp и соответствующие ROCm/HIP-ядра; upstream-версия llama.cpp не подходит. Модель демонстрирует высокую скорость предварительной обработки контекста: около 1152 токенов/с при пустом контексте и около 1060 токенов/с на глубине 40 000 токенов. Скорость генерации ниже — примерно 24 и 15 токенов/с соответственно. Решение экспериментальное, требует точной конфигурации загрузчика и практически использует значительную часть unified memory, поэтому доступный объём памяти ограничивает работу с KV-кэшем и вычислительными буферами. Качество проверялось сравнением perplexity с эталонным стеком, публичные benchmark-результаты не указаны. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-GSQ-RCO-GGUF — сторонняя community-воспроизводимая GGUF-квантизация модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Файлы созданы независимым автором с применением методов GSQ и RCO, разработанных Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Это не официальный релиз DASLab и не содержит его endorsement. Модель предназначена для локального инференса больших языковых и мультимодальных моделей в формате GGUF, включая обработку изображений через отдельный BF16 vision projector. Основные веса имеют целевой уровень 3,5 бита на параметр и занимают 47,94 ГБ; отдельно требуется один из вариантов shard с token и n-gram embeddings: BF16 на 103,68 ГБ либо более компактный вариант с Q4_0/Q8_0 на 29,49 ГБ. Vision encoder и projector занимают 0,91 ГБ. README позиционирует модель как вариант для запуска приблизительно 180B-модели на двух RTX 3090 с размещением embeddings на диске и KV-кэша в оперативной памяти. GSQ выполняет посттренировочную скалярную квантизацию с распределением точности по координатам и группам, а RCO назначает тип квантизации отдельным тензорам в рамках точного ограничения размера. В предоставленных тестах на MMLU-Pro при контексте 2 048 токенов квантизированная версия получила 58,25% против 55,40% у BF16 reference; perplexity составила 3,1058 против 3,0533. На IFEval результат составил 13/16 по строгому критерию, на GSM8K — 8/8. Ограничения включают очень высокие требования к дисковому пространству и памяти, необходимость совместимого runtime llama.cpp с поддержкой Qwen4Exp и Q2_0, а также небольшое ухудшение perplexity относительно BF16 reference. Языки и максимальная длина контекста в README не указаны. Лицензия обозначена как Qwen Community 1.0; точные условия следует проверять в файле LICENSE.

Replete-LLM-Qwen2-7b-GGUF — набор GGUF-квантизаций модели Replete-LLM-Qwen2-7b, опубликованный и подготовленный квантизатором bartowski. Базовая модель разработана Replete-AI; в README указано, что квантизация выполнена с помощью llama.cpp release b3509 и метода imatrix. Модель предназначена для генерации текста и использования в локальных средах, включая LM Studio, с применением указанного шаблона prompt format. Это текстовая авторегрессионная модель семейства Qwen2 с заявленным размером 7 млрд параметров и поддержкой английского языка. Доступны варианты от F32 размером 30,47 ГБ до сильно сжатых IQ2_M размером 2,78 ГБ, включая форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как компактные варианты рассчитаны на системы с ограниченным объёмом оперативной памяти. Для некоторых вариантов embeddings и output weights сохранены в Q8_0, что может повышать качество, но эффект зависит от сценария. Сильные стороны набора — широкий выбор размера файлов и компромисса между качеством и требованиями к памяти, а также совместимость с llama.cpp и LM Studio. Ограничения включают потенциальное снижение качества в низкобитных вариантах и отсутствие в README подробных данных о контекстном окне, точной архитектуре, мультимодальности и результатах бенчмарков. Лицензия — Apache-2.0; в метаданных также указано, что модель связана с датасетом Replete-AI/Everything_Instruct_8k_context_filtered.

MindLink-32B-0801-GGUF — это GGUF-квантизованная версия языковой модели MindLink-32B-0801, разработанной Skywork и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска в llama.cpp, LM Studio и других совместимых проектах на базе llama.cpp. Модель имеет размер 32B параметров и поставляется в вариантах от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные форматы. Размер файлов составляет примерно от 13,7 до 65,5 ГБ в зависимости от варианта. Квантизация выполнена с использованием imatrix на базе llama.cpp release b6014; старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее уступают в качестве. Поддерживаемые языки, размер контекстного окна, точная архитектура, мультимодальность и специализация исходной модели в README не указаны. Сильная сторона модели — широкий выбор квантизаций для локального запуска и возможность подобрать баланс между качеством, потреблением памяти и скоростью. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q5 и Q6. Ограничением является отсутствие указанного chat template: в README отмечено, что используется шаблон по умолчанию, который может быть некорректным, поэтому его следует сверять с карточкой исходной модели. Лицензия в предоставленных данных не указана.

Starling-LM-11B-alpha-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и Delcos/Starling-LM-11B-alpha методом SLERP с помощью mergekit. Модель построена на архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоге и ответов на инструкции. Её можно применять для чат-ботов и интерактивных текстовых помощников. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Метаданные указывают на поддержку чата, но языки в предоставленных данных не перечислены.

NidAll/supergemma4-e4b-abliterated-Q4_K_M-GGUF — это версия модели supergemma4-e4b-abliterated, разработанной Jiunsong и преобразованной пользователем или организацией NidAll в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и работы с инструкциями; в метаданных также заявлена поддержка вызова инструментов и структурированного вывода. Модель рассчитана на запуск через llama.cpp, включая режим командной строки и серверный режим, что позволяет использовать её локально на совместимом оборудовании. Доступен файл с квантизацией Q4_K_M, поэтому вариант ориентирован на более экономичное использование памяти по сравнению с полноточными версиями. В README не указаны точный размер модели, архитектура, поддерживаемые языки, модальности и максимальная длина контекста; значение 2048 приведено только как пример параметра запуска. Сильными сторонами являются компактный GGUF-формат, совместимость с llama.cpp и заявленные возможности instruction tuning, tool calling и structured output. Ограничения и качество исходной модели в этой карточке подробно не описаны, поэтому для оценки производительности следует обращаться к карточке базовой модели Jiunsong/supergemma4-e4b-abliterated. Указана лицензия gemma.

SuperQwen3.8-abliterated-Venice-GGUF — это квантованные GGUF-версии мультимодальной модели SuperQwen3.8-abliterated-100-fp8 от Jiunsong, подготовленные и опубликованные mradermacher. Модель предназначена для генерации текста, рассуждений, обработки изображений вместе с текстом и вызова инструментов. Заявлена поддержка английского и корейского языков, а также сценариев с длинным контекстом. Техническая основа включает Transformers и архитектуру Qwen3.8/Qwen3.5; точный размер исходной модели и длина контекста в README не указаны. Набор содержит варианты квантования Q2_K–Q8_0 и IQ4_XS размером примерно от 11 до 29,1 ГБ. Для мультимодальной работы доступны отдельные компоненты mmproj в форматах Q8_0 и f16. В README отмечены версии Q4_K_S и Q4_K_M как быстрые и рекомендуемые, Q6_K как обеспечивающая очень хорошее качество, а Q8_0 — как быстрая и наиболее качественная; варианты с меньшим размером могут снижать качество. Модель позиционируется как uncensored и abliterated, однако подробности применённых изменений и результаты оценки не приведены. Распространяется по лицензии Apache-2.0. README не содержит точных требований к оборудованию, производительности и безопасному применению; указана совместимость с экосистемой vLLM и ускорителями H100/H200.

Swift-Qwen3.8-27B-NVFP4-GGUF — это GGUF-версия модели Swift-Qwen3.8-27B-NVFP4, подготовленная для запуска в llama.cpp. Модель разработана UkisAI на основе Qwen3.8-27B от команды Qwen; Swift-Qwen3.8-27B представляет собой дообученную модель с эффективным рассуждением. Данный файл переносит калиброванные веса NVFP4 в формат GGUF без повторного квантования весов NVFP4. Модель предназначена для генерации текста и работы с изображениями при использовании отдельного мультимодального проектора. Она поддерживает контекст до 262 144 токенов, включает голову MTP для speculative decoding и рассчитана прежде всего на NVIDIA Blackwell, где NVFP4 выполняется нативно. Архитектура сочетает NVFP4-квантованные MLP-слои и часть attention-слоёв с компонентами Q8_0 и F32; размер опубликованного файла составляет 19,72 ГБ. Доступны режимы reasoning_effort xhigh, medium и low. Сильная сторона модели — сохранение исходных NVFP4-весов и возможность эффективного запуска через llama.cpp с поддержкой MTP. Для других GPU требуется сборка llama.cpp с fallback-поддержкой NVFP4, а для vision-сценариев необходим отдельный mmproj-файл. Качество именно этого GGUF-файла ещё не измерялось; заявленные результаты относятся к исходному NVFP4-чекпойнту. Модель распространяется по лицензии Swift Open License v1.0: коммерческое использование разрешено физическим и юридическим лицам с годовой регулярной выручкой до 1 млн долларов США; при превышении лимита требуется Swift Enterprise License от UkisAI.

TheDrummer_Gemma-3-R1-12B-v1-GGUF — это набор квантизированных версий модели Gemma-3-R1-12B-v1, разработанной TheDrummer и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения на базе llama.cpp. Доступны варианты от BF16 до низкобитных квантизаций размером примерно от 5,21 до 23,54 ГБ, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью работы. К сильным сторонам относятся широкий выбор вариантов сжатия и применение imatrix-калибровки, призванной сохранить качество при квантизации. Рекомендуемыми обозначены, в частности, Q4_K_M, Q5_K_M, Q6_K и другие варианты Q4–Q6; низкобитные версии рассчитаны на системы с ограниченным объёмом RAM, но могут заметно уступать по качеству. В README не указаны контекстное окно, языки, поддерживаемые модальности, точная архитектура исходной модели и лицензия. Формат промпта также не приведён, поэтому его следует уточнять на странице исходной модели TheDrummer/Gemma-3-R1-12B-v1.

TheTop-7B-DPO-S2-v0.2 — объединённая Maziyar Panahi языковая модель на 7,1 млрд параметров, созданная методом SLERP из нескольких моделей класса 7B. Она использует архитектуру MistralForCausalLM и предназначена для генерации текста по текстовому запросу; заявленный контекст составляет 32 768 токенов. Модель подходит для диалогов, ответов на вопросы и других сценариев генерации текста. Веса опубликованы в формате Safetensors для Transformers. Лицензия — Apache 2.0.

YamWizard28-7B — слитая языковая модель на архитектуре Mistral, опубликованная пользователем v000000. Она предназначена для генерации текста и диалогов в формате Alpaca. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса объединены методом SLERP с помощью mergekit из automerger/YamshadowExperiment28-7B и fearlessdots/WizardLM-2-7B-abliterated. Доступны файлы Safetensors; в README также упомянуты варианты GGUF и GGUF imatrix, включая Q8_0. Лицензия в предоставленных данных не указана.

GLM-5.1-GGUF — набор квантизированных версий языковой модели GLM-5.1, разработанной zai-org и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Поддерживаются английский и китайский языки. Модель поставляется в формате GGUF с вариантами квантизации от Q8_0 до Q2_K и IQ-серии. Размер файлов составляет примерно от 226,60 до 801,34 ГБ; некоторые варианты разделены на несколько частей. Версии с более высокой разрядностью обычно обеспечивают лучшее качество, но требуют значительно больше памяти, тогда как низкоразрядные варианты экономичнее, но заметно уступают по качеству. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q4_K_L, Q5_K_M, Q5_K_S и Q6_K. Это текстовая модель без заявленной поддержки изображений или других модальностей. Архитектура, число параметров и размер контекста в README не указаны. Квантизация выполнена с использованием imatrix и llama.cpp; для недавно поддерживаемых моделей может потребоваться обновление используемого приложения. Модель распространяется по лицензии MIT.

Это вариант Zephyr-7B-Beta, опубликованный arnavgrg: модель MistralForCausalLM с плотной архитектурой и примерно 7,1 млрд параметров. Это разговорная модель для генерации текста, которую можно загружать через Transformers в формате fp16; заявленная длина контекста — 32 768 токенов. Модель создана из HuggingFaceH4/zephyr-7b-beta: исходные веса линейных слоёв были квантованы до NF4 с помощью bitsandbytes, после чего слои Linear4bit были преобразованы обратно в fp16. Такой вариант рассчитан на инференс без затрат на квантование и обратное преобразование при каждом проходе. Квантование с потерями ухудшает качество относительно официальной базовой модели. Репозиторий распространяется по лицензии Apache-2.0.

Qwen2.5-14B-Instruct-AWQ — инструкционная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для диалоговых систем, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, а также создания структурированных ответов, включая JSON. Модель содержит около 14,7 млрд параметров, из них 13,1 млрд без учёта эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-проекциях внимания; применяется GQA с 40 головами для Q и 8 для KV. Это AWQ-квантизированная версия с точностью 4 бит, предназначенная для более экономичного развёртывания. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Полная заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. В текущей конфигурации доступно 32 768 токенов; для более длинных входов требуется настройка YaRN, причём статическое масштабирование может ухудшать качество или производительность на коротких текстах. Сильные стороны модели — улучшенное следование инструкциям, работа с длинными текстами, структурированными данными, программированием и математикой. Ограничения включают возможные потери качества из-за 4-битной квантизации и повышенные требования к настройке при использовании длинного контекста. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-14B-Instruct-GPTQ-Int8 — инструкцияно дообученная каузальная языковая модель из серии Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых приложений, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также формирования структурированных ответов, включая JSON. Поддерживает более 29 языков, среди которых английский, китайский, русский, французский, немецкий, испанский, японский, корейский и арабский. Модель содержит около 14,7 млрд параметров, из которых 13,1 млрд приходятся на параметры без учёта эмбеддингов, и включает 48 слоёв. Архитектура основана на transformers и использует RoPE, SwiGLU, RMSNorm и смещения в Attention QKV; применяется GQA с 40 головами для Q и 8 для KV. Это GPTQ-квантизированная 8-битная версия, что может снизить требования к памяти по сравнению с полноразмерной моделью. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN, которая может ухудшать производительность на коротких текстах. Модель подходит для локального или серверного развёртывания через Transformers и совместимые инструменты, включая vLLM. Для работы рекомендуется актуальная версия Transformers. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-FP8 — крупная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантованный вариант базовой модели Qwen3-235B-A22B, предназначенный для генерации текста, диалогов, следования инструкциям, сложного логического рассуждения, математики, программирования, творческого письма, перевода и агентских сценариев с интеграцией внешних инструментов. Модель использует архитектуру Mixture of Experts (MoE): 235 млрд параметров всего, из которых 22 млрд активируются при обработке каждого запроса; заявлены 94 слоя, 128 экспертов, 8 активируемых экспертов и Grouped Query Attention с 64 головами для Q и 4 для KV. Нативный контекст составляет 32 768 токенов, а с YaRN — до 131 072 токенов. Поддерживаются более 100 языков и диалектов. Модель умеет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрых универсальных ответов. К сильным сторонам относятся развитые способности к рассуждению, многоязычность, следование инструкциям, многошаговый диалог и работа с инструментами. FP8-квантизация с блочным размером 128 может повысить эффективность инференса, однако модель остаётся очень ресурсоёмкой. Для распределённого инференса в transformers указаны известные проблемы с fine-grained FP8; при использовании нескольких устройств может потребоваться CUDA_LAUNCH_BLOCKING=1. Модель распространяется по лицензии Apache-2.0.

Qwen3-8B-AWQ — квантизированная 4-битная версия причинной языковой модели Qwen3-8B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевого взаимодействия, перевода и задач с использованием внешних инструментов. Она поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding, имеет 36 слоёв и архитектуру GQA с 32 головами внимания для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3-8B-AWQ поддерживает переключение между режимом рассуждения и обычным режимом генерации в рамках одной модели: первый ориентирован на сложные задачи, второй — на более быстрые универсальные ответы. К сильным сторонам относятся рассуждение, следование инструкциям, многоязычность и интеграция с инструментами; к ограничениям — возможное увеличение времени и ресурсов генерации в режиме рассуждения, а также потенциальное снижение качества при использовании жадного декодирования в этом режиме. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется актуальная версия библиотеки transformers; README также указывает совместимость с SGLang и vLLM для развёртывания и создания OpenAI-совместимого API.

Gemma 4 E2B — мультимодальная плотная модель с открытыми весами от Google DeepMind, принадлежащая семейству Gemma 4. Она принимает текст и изображения, а также аудио; генерирует текст. Семейство использует гибридное внимание с локальными скользящими окнами и глобальным вниманием. Для малых моделей, включая E2B, заявлено контекстное окно до 128 тысяч токенов. Модель предназначена для диалогов, рассуждений, генерации и исправления кода, суммаризации, понимания изображений и аудио, распознавания речи и перевода речи в текст. Она рассчитана на локальный запуск на мобильных устройствах и ноутбуках; семейство поддерживает многоязычные сценарии, включая более 35 языков в готовом виде. Модельные карточка описывает возможности семейства, поэтому отдельные характеристики E2B следует трактовать в его контексте. Репозиторий распространяется по лицензии Apache 2.0. Возможности включают OCR, разбор документов, анализ видео и вызов функций; описание аудиоподдержки для E2B подтверждает обработку аудио, а не генерацию речи. Качество ответов может зависеть от языка, сложности задачи и доступных вычислительных ресурсов; для критически важных сценариев результаты следует проверять.

Qwen2.5-7B-Instruct-GPTQ-Int4 — квантизированная 4-битная instruction-tuned языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых приложений, генерации текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский, корейский и арабский. Модель является causal language model на архитектуре Transformer с RoPE, SwiGLU, RMSNorm и смещениями в QKV внимания. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами Q и 4 головами KV. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако исходная конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN, что может снижать производительность на коротких текстах. Квантизация GPTQ Int4 уменьшает требования к памяти и делает модель более подходящей для локального или эффективного GPU-развёртывания, но может влиять на качество по сравнению с исходной версией в формате bfloat16. Для использования рекомендуется актуальная версия библиотеки Transformers; для длинного контекста рекомендуется vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-GGUF — квантованная версия модели Qwen3-235B-A22B, разработанной командой Qwen. Квантование в формате GGUF выполнил bartowski на основе llama.cpp. Модель предназначена для локального текстового взаимодействия, генерации и обработки текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математики и задач, требующих рассуждений. Это MoE-модель с общим размером 235B параметров и 22B активируемых параметров; в конфигурации указаны 128 экспертов, из которых одновременно активны 8. Поддерживаются режимы с рассуждением и без него, а также отключение рассуждений с помощью параметра /no_think в конце запроса. Заявлена поддержка более 100 языков и диалектов. Контекстное окно достигает 131 072 токенов с YaRN, при этом значение по умолчанию составляет 32 000 токенов. Сильные стороны модели — улучшенное рассуждение, широкий языковой охват, развитые агентские возможности и универсальность в диалоговых, творческих и технических задачах. Ограничения включают зависимость характеристик от конкретного варианта квантования и конфигурации запуска, а также возможность неточных, вредных или неподходящих ответов. Модель распространяется по лицензии Apache 2.0.