II.1Анализ требований и архитектура ПО

openbuddy-llama3.3-70b-v24.1-131k-GGUF — это квантизированная GGUF-версия языковой модели OpenBuddy, разработанной OpenBuddy и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в LM Studio и других средах, совместимых с llama.cpp. В README указан специальный формат промптов с ролями system, user и assistant. В основе лежит OpenBuddy/openbuddy-llama3.3-70b-v24.1-131k — модель семейства Llama 3.3 с 70 млрд параметров и заявленным в идентификаторе контекстом 131k токенов. Поддерживаются китайский, английский, французский, немецкий, японский, корейский, итальянский и финский языки. Модель представлена в нескольких вариантах квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти; рекомендуемыми названы, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Основные ограничения связаны с квантизацией: более компактные варианты могут заметно уступать по качеству, а файлы требуют значительного объёма памяти — примерно от 29 до 75 ГБ в зависимости от варианта. Некоторые сборки оптимизированы для ARM или AVX и имеют специальные требования к поддержке инструкций; отдельные варианты не рекомендуется использовать на Mac или с GPU. Лицензия указана как llama3.3.

RedHatAI/Phi-3-medium-128k-instruct-quantized.w4a16 — это квантизированная версия инструкционной языковой модели Phi-3-medium-128k-instruct, разработанная Neural Magic на базе модели Microsoft. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычных ассистентских диалогов, чат-ботов и задач генерации ответов, а также для коммерческого и исследовательского использования. Модель использует архитектуру Phi-3 и поддерживает контекст размером до 128 тысяч токенов. Веса линейных операторов в трансформерных блоках квантизированы в формат INT4 по схеме W4A16 с симметричной групповой квантизацией и размером группы 128; для квантизации применён GPTQ через библиотеку llm-compressor. Оптимизация сокращает объём хранения и требования к GPU-памяти примерно на 25% по сравнению с 16-битной версией. Указанный результат на OpenLLM Leaderboard v1 составляет 72,38 против 74,46 у неквантизированной модели. К сильным сторонам относятся большой контекст и сниженные требования к памяти, что упрощает эффективное развёртывание через vLLM или Transformers. Ограничения включают специализацию на английском языке, возможное снижение качества из-за квантизации и недопустимость использования в языках, отличных от английского, согласно README. В README указана лицензия MIT, однако в метаданных также присутствует обозначение llama2; перед использованием следует проверить применимые лицензионные условия.

SirSahOl преобразовал Phi-4-mini-instruct от Microsoft в формат MLX с 16-битными весами для запуска на компьютерах Apple Silicon. Это плотная авторегрессионная языковая модель семейства Phi-4 с 3,8 млрд параметров, рассчитанная на диалоговую генерацию текста. Модель подходит для ответов на вопросы, написания и редактирования текстов, генерации кода и рассуждений в приложениях с ограниченными ресурсами. Репозиторий содержит веса в формате safetensors и использует библиотеку MLX. В метаданных указан контекст 4096 токенов; автор README предупреждает о возможном ухудшении качества при очень длинном контексте и указывает, что для запуска с MLX требуется Apple Silicon M1 или новее. Бенчмарки для этой версии пока не приведены. Лицензия — MIT.

CultriX/Qwen2.5-14B-Wernicke-DPO — дообученная компанией CultriX разговорная модель семейства Qwen2 на 14 млрд параметров. Она предназначена для генерации текста в диалоге; при обучении использовались Unsloth и библиотека TRL. Модель принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка указывает базовую модель CultriX/Qwen2.5-14B-Wernicke и сообщает о дообучении с помощью DPO, однако не приводит результатов оценки качества или подробностей о данных обучения.

bunnycore/Qwen2.5-3B-Smart — объединённая языковая модель, созданная автором с помощью mergekit методом passthrough из bunnycore/Qwen2.5-3B-RP-Mix и bunnycore/Qwen2.5-3b-Smart-lora_model. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров; она предназначена для генерации текста и диалогового использования, включая следование инструкциям и интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, работает через Transformers и распространяется в формате safetensors; нативный контекст — 32 768 токенов. Карточка не описывает отдельные специализированные области или конкретные языки. Условия лицензии в предоставленных данных не приведены. Качество, безопасность и фактическая совместимость вызова инструментов не оценены в карточке.

Qwen-2.5-7b-TitanFusion-v4 — объединённая языковая модель, созданная bunnycore с помощью mergekit и метода TIES на базе Qwen/Qwen2.5-7B. В объединение вошли TitanFusion-v3, rp-lora, Arch-Function-7B, Humanish-Qwen2.5-7B-Instruct и mergekit-ties-uqhfast. Модель построена на плотной архитектуре Qwen2ForCausalLM, содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Заявленная длина контекста — до 131 072 токенов. Репозиторий содержит веса в формате safetensors; метаданные указывают интерфейс для вызова инструментов. Модель подходит для диалоговых сценариев и генерации текста, а объединение с Arch-Function-7B предполагает поддержку сценариев с вызовом инструментов. Карточка не приводит результатов оценки качества или подробностей о языковом покрытии. Лицензия в предоставленных данных не указана.

Qwen2-72B-Instruct-IMat-GGUF — это набор GGUF-версий инструкционной языковой модели Qwen2-72B-Instruct, опубликованный legraphista и основанный на модели Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-приложениях и локальном inference через совместимые инструменты, в частности llama.cpp. В метаданных указан английский язык; сведения о поддержке других языков, мультимодальности и максимальном размере контекста не приведены. В репозитории доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий. Часть вариантов создана с использованием IMatrix-калибровки, предназначенной для более эффективного квантования, а некоторые представлены в виде разделённых файлов. Размеры файлов варьируются примерно от 29,81 до 145,42 ГБ, поэтому модель требует значительных ресурсов хранения и вычислений. Ключевая характеристика — 72 миллиарда параметров; точная архитектура и контекстное окно в README не указаны. Сильной стороной является широкий выбор уровней квантования и формат GGUF, удобный для локального запуска, а IMatrix может помогать сохранять качество при уменьшении размера модели. Ограничениями остаются высокая требовательность к памяти и производительности, а также возможная потеря качества в более агрессивных вариантах квантования. Модель распространяется по лицензии tongyi-qianwen; указана лицензия типа other со ссылкой на лицензию исходной модели Qwen2-72B-Instruct.

clijo/qwen3-4b-instruct-2507-bf16-reco-grpo-b200-amber-ivory-harbor — дообученная clijo с помощью TRL языковая модель на архитектуре Qwen3 для генерации текста и диалогов. Она предназначена для ответов на вопросы и выполнения инструкций в conversational-формате; в карточке приведён пример генерации ответа на гипотетический вопрос. Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и поддерживает контекст до 262 144 токенов. Работает через Transformers; веса опубликованы в формате safetensors. Модель дообучена на базе Qwen/Qwen3-4B-Instruct-2507 методом GRPO. Данных о специализации на конкретной предметной области или языках в карточке нет. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

Qwen3-4B-Thinking-2507-MLX-4bit — это 4-битно квантованная версия языковой модели Qwen3-4B-Thinking-2507, подготовленная для запуска на устройствах Apple Silicon. Исходную модель разработала команда Qwen, а квантование в формате MLX предоставила команда LM Studio с использованием mlx_lm. Модель предназначена для генерации текста и задач, требующих рассуждений, включая работу в локальных приложениях на базе LM Studio и других совместимых инструментов MLX. В README указано, что это модель класса text-generation с размером 4B параметров; она оптимизирована для Apple Silicon и использует 4-битное представление, что снижает требования к памяти по сравнению с полной версией. Сведения о поддерживаемых языках, максимальной длине контекста и мультимодальных возможностях не приведены, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся локальный запуск на совместимых компьютерах Apple и уменьшенное потребление памяти благодаря квантованию. Ограничения включают возможную потерю качества относительно исходной модели, зависимость производительности от оборудования и отсутствие гарантии точности, безопасности или соответствия результатов задаче. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизация модели Qwen3.5-4B-Instruct от Alibaba Cloud в формате MXFP4 — четырёхбитном формате с плавающей точкой по спецификации OCP Microscaling Formats. В репозитории есть файл весов модели и отдельный проектор зрения SigLIP в F16; для обработки изображений требуется подключить проектор. По карточке исходная модель использует гибридную архитектуру Gated DeltaNet и Gated Attention, принимает текст, изображения и видео и поддерживает 201 язык. Контекст исходной модели — 262 тысячи токенов с возможностью расширения до миллиона. Модель предназначена для генерации текста и диалогов по инструкциям; также README показывает сценарий описания изображений. По умолчанию режим рассуждений отключён, его можно включить параметром. README заявляет совместимость формата MXFP4 с CPU и GPU разных производителей, но фактическая поддержка зависит от используемого ПО. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6 27B. По данным README, разработка выполнялась в сотрудничестве автора модели с Nightmedia, TeichAI, armand0e и trohrbaugh; использовались, в частности, наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель распространяется в формате GGUF, включая обычные и MTP-варианты, и предназначена для запуска на потребительском оборудовании. Модель ориентирована на широкий спектр задач: следование инструкциям, решение задач, рассуждения, программирование, творческое письмо и ролевые сценарии. Заявлена поддержка английского и китайского языков, а также возможностей vision, однако подробности о поддерживаемых входных форматах и размере контекстного окна в README не указаны. MTP-варианты используют multi-token prediction; для них рекомендуется температура не выше 1 и отключённый repetition penalty, поскольку более высокие значения могут ухудшать производительность. Все квантизации относятся к NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности. К сильным сторонам относятся заявленные улучшения следования инструкциям, общего интеллекта, решения задач и рассуждений, а также доступность вариантов для разного объёма памяти. README утверждает, что модель превосходит базовую Qwen3.6 27B в шести из семи тестов и сопоставима с ней в седьмом, но независимые результаты и подробные методики приведены недостаточно. Ограничения включают отсутствие точных сведений о контекстном окне, архитектуре vision-компонента и требованиях к памяти; для MTP-вариантов также указано, что при низком уровне принятия токенов лучше использовать обычную квантизацию. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — модель, опубликованная phrodigy и основанная на Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP от DavidAU. Это результат многоэтапного дообучения и слияния моделей, выполненных совместно DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh с использованием наборов DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. В README также упоминаются Fable-трейсы, материалы для reasoning и данные Polaris. Модель предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, общего диалога, программирования, творческого письма, художественных текстов, ролевых сценариев и других применений. Заявлены мультимодальные возможности с поддержкой изображений; в метаданных указана задача image-text-to-text. Поддерживаются английский и китайский языки. Размер базовой модели — 27B параметров, а репозиторий содержит квантизованные GGUF-варианты, включая обычные и MTP-варианты с multi-token prediction. К ключевым особенностям относятся акцент на instruction following, общее решение задач и reasoning, режим uncensored/heretic, NEO IMATRIX-квантизация и частично сохранённая точность выходного тензора. Автор заявляет превосходство базовой Qwen3.6-27B по большинству приведённых тестов, однако эти результаты представлены создателями модели и требуют независимой проверки. Для MTP-вариантов рекомендуется температура не выше 1, поскольку более высокие значения могут ухудшать работу multi-token prediction; качество также зависит от выбранного уровня квантизации и доступного оборудования. В метаданных указана лицензия Apache-2.0. README не содержит точных сведений о размере контекстного окна. Фактическая пригодность модели для чувствительных или специализированных задач, а также заявленные характеристики производительности должны проверяться отдельно.

RodKykis/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — мультимодальная модель на базе Qwen3.6-27B, представленная в формате GGUF. Она создана как результат многоэтапного дообучения и слияния моделей при участии RodKykis, DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; при обучении использовались, в частности, наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель поддерживает английский и китайский языки, а также обработку изображений, однако точный размер контекстного окна в README не указан. Основное назначение модели — универсальная работа с инструкциями, решение задач, рассуждения, генерация кода, творческое письмо, художественная проза и roleplay. Заявлены улучшенные instruction following, общее решение задач и reasoning. Модель позиционируется как uncensored и heretic-вариант без заявленного изменения базовых возможностей Qwen; при этом README содержит маркетинговые заявления о превосходстве над рядом базовых моделей, которые не следует считать независимой проверкой качества. Репозиторий включает обычные и MTP-варианты GGUF-квантов, выполненные с использованием NEO IMATRIX; часть выходного тензора сохранена в 16-битной точности. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance советуется использовать обычные кванты. Доступны варианты для различных ограничений памяти и конфигураций AMD/Vulkan. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3.6-27B-MLX-4bit — 4-битная квантованная версия модели Qwen3.6-27B, разработанной Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на устройствах с Apple Silicon. Модель предназначена для задач генерации текста и обработки связок изображение—текст, включая сценарии локального запуска через совместимые инструменты. В карточке указана принадлежность к классу image-text-to-text, однако подробные сведения о поддерживаемых языках, размере контекстного окна и полном наборе мультимодальных возможностей не приведены. Ключевая особенность модели — 4-битное представление, снижающее требования к памяти по сравнению с полноформатной версией и подходящее для локального использования на Apple Silicon. Ограничения включают возможную потерю качества из-за квантования, а также отсутствие в предоставленных данных конкретных результатов тестирования и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

gjtgjt создал abliteration-версию Qwen/Qwen3.8-27B с помощью Heretic v1.4.0. Это доработка готовых весов, а не новое предобучение или SFT: изменена часть проекций языковых слоёв, тогда как токенизатор, шаблон чата, визуальный энкодер и блок MTP сохранены. Модель использует плотную гибридную архитектуру Qwen3.5 с 64 языковыми слоями: 48 Gated DeltaNet и 16 Gated Attention. Она принимает текст и изображения и предназначена для диалогов, анализа изображений и многошаговых запросов; описание базовой модели также указывает на поддержку видео и программирования. Языковые теги карточки — английский и китайский. Изменение направлено на снижение шаблонных отказов на английских запросах. В приведённой оценке число маркеров отказа на 100 вредоносных запросов снизилось с 98 у базовой модели до 27; KL-дивергенция на 100 безвредных запросах составила 0,0446. Это не гарантия безопасности и не подтверждение качества на других языках или модальностях. Для режима без рассуждений README рекомендует передавать enable_thinking=False. Модель распространяется по лицензии Apache-2.0.

LibertAIDAI/Qwen3.8-27B-NVFP4-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная LibertAI для запуска в llama.cpp. Модель предназначена для генерации текста, а при подключении отдельного vision-модуля — для обработки изображений и видео. Вариант MTP использует Multi-Token Prediction для speculative decoding: отдельная черновая голова предлагает несколько следующих токенов, а основная модель проверяет их одним проходом, что может повысить скорость генерации. Основная часть весов использует NVFP4 с размером группы 16 для линейных слоёв MLP; attention, vision tower, embeddings, lm_head и MTP-блок сохранены в BF16. Доступны варианты с тензорами Q4_K_M, Q8_0 или BF16, а также отдельные файлы MTP-головы и vision-модуля. Заявлена поддержка английского языка, контекст до 262144 токенов указан в тестовой конфигурации. На RTX 5090 авторы измерили прирост скорости около 22,7% при использовании MTP и конфигурации n-max=3, p-min=0.1. Сильными сторонами являются уменьшенный размер NVFP4-весов, совместимость с llama.cpp, поддержка speculative decoding и мультимодального ввода при подключении mmproj-файла. Для работы требуется Blackwell GPU с архитектурой sm_120 и llama.cpp, собранный с CUDA 12.8 или новее; MTP-голова не работает самостоятельно. Реальный прирост скорости зависит от предсказуемости текста, а мультиязычные, кодовые и визуальные сценарии отдельно полноценно не оценивались. Модель распространяется по лицензии Apache 2.0, унаследованной от Qwen/Qwen3.8-27B.

llmfan46/Qwen3.8-27B-Ultra-Uncensored-Heretic-Native-MTP-Preserved — дообученная мультимодальная модель автора llmfan46 на базе Qwen/Qwen3.8-27B. Это плотная модель класса Qwen3.5 с 27 млрд параметров, архитектурой причинного языкового моделирования и визуальным энкодером; в репозитории сохранены 15 компонентов MTP для многотокенного предсказания. Модель предназначена для диалога, ответов на запросы с изображениями и видео, а также общих задач рассуждения и генерации текста. Автор применил abliteration, чтобы снизить частоту отказов: в приведённом тесте модель отказала в 3 из 100 случаев против 91 из 100 у исходной модели. README приводит результаты MMLU для исходной Qwen3.8-27B, а не отдельную оценку этой версии. Модель поддерживает визуальное понимание изображений и видео; заявленная длина контекста — 262 144 токена с расширением до 1 000 000. В режиме thinking модель сначала формирует рассуждения, которые можно отключить настройкой запроса. Файлы представлены в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Снижение числа отказов означает, что модель может отвечать на запросы, от которых исходная версия отказалась бы; приведённые тесты не устанавливают качество и безопасность ответов в других сценариях.

DavidrPatton/Qwen3.8-27B-Uncensored-UD3-GGUF — это квантизированная GGUF-версия 27-миллиардной языковой модели Qwen3.8-27B-Uncensored, основанной на Qwen3.8-27B и адаптированной JonathanColetti. Сборка использует метод Unsloth Dynamic 3.0 (UD3) с динамическим распределением точности по слоям и предназначена для запуска через llama.cpp. Модель поддерживает текстовую генерацию и диалоговые сценарии, а заявленные языки — английский и китайский. Основное назначение модели — локальные задачи генерации текста, общения и рассуждений, включая работу с контекстом размером до 128K токенов. Сборка оптимизирована для потребительских GPU с 16 ГБ VRAM, Apple Silicon Mac и Linux-систем. Размер файла составляет около 12,1 ГБ; заявленное потребление памяти с 128K контекстом — примерно 14,2 ГБ. Для ускорения генерации предусмотрена Multi-Token Prediction (MTP) draft head в формате Q8_0, проверенная для слоя 64. Ключевая особенность — смешанная точность: критические эмбеддинги, выходные логиты и MTP-компоненты используют Q8_0 или F32, важные проекции внимания — Q4_K, отдельные матрицы внимания — Q3_K, а основные FFN/MLP-блоки — IQ2_M. Такой подход обеспечивает более высокое качество рассуждений по сравнению с обычной равномерной двухбитной квантизацией при меньшем размере, хотя качество и точность всё равно зависят от потерь квантизации. Модель позиционируется как uncensored, однако README не приводит подробного описания ограничений безопасности или результатов независимого тестирования. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next REAP-288 — экспериментальный неофициальный пакет для инференса на Apple Silicon, опубликованный 30cmtonyfaker и созданный на основе Qwen3.8-Flash-Next от Qwen. Модель адаптирована для запуска через MLX Serve и использует community REAP-288 pruning, 4-битное квантование и Native MTP для ускорения декодирования. В метаданных указаны английский и китайский языки, а также тег image-text-to-text, однако подробности о поддержке изображений в представленном README не приведены. Пакет предназначен для локального запуска языковой модели, диалогов, генерации текста, программирования, структурированных ответов и сценариев с инструментами. Заявлена поддержка контекста до 65 536 токенов в протестированной конфигурации, но качество работы на длинном контексте и полноценные возможности настольного режима отдельно не подтверждены. Исторические измерения на M4 Max с 128 ГБ unified memory показывают ускорение декодирования с MTP примерно в 1,54–2,24 раза на тестовом наборе, однако результаты относятся к изменённой версии MLX Core, ограниченному сценарию и не гарантируют аналогичную производительность в других нагрузках. Для актуальной версии исправлена ошибка заголовка тензора, а базовый запуск через официальный MLX Core 26.9.1 был проверен на M4 Max. Ограничения включают экспериментальный статус, зависимость от Apple Silicon и MLX, отсутствие подтверждения универсальной корректности MTP и различия между последовательным и MTP-выводом в тестах. Модель распространяется по qwen-community-license-1.0; лицензия обозначена как other, а полный текст доступен в файле LICENSE.

Модель thao-uyen1508/qwen3_MT_epoch1_16bit — дообученная автором thao-uyen1508 плотная языковая модель Qwen3 с 14 млрд параметров. Она предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. Модель обучалась с Unsloth и библиотекой TRL и распространяется в формате safetensors. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 40 960 токенов. Она основана на unsloth/qwen3-14b-unsloth-bnb-4bit и выпущена по лицензии Apache-2.0.

Mungert/QwenLong-L1-32B-GGUF — это GGUF-квантизированная версия языковой модели QwenLong-L1-32B, созданная на основе DeepSeek-R1-Distill-Qwen-32B. Модель предназначена для генерации текста и задач, требующих работы с длинным контекстом и рассуждениями; в метаданных она обозначена как long-context и large-reasoning-model. При подготовке использовался llama.cpp, а среди связанных данных указан набор Tongyi-Zhiwen/DocQA-RL-1.6K. Главная особенность представленной версии — поддержка вариантов квантования с низкой разрядностью, включая 1–2-битные схемы IQ-DynamicGate. Этот подход распределяет точность по слоям модели и защищает критически важные компоненты, чтобы снизить потери качества при уменьшении размера. По приведённым тестам на Llama-3-8B DynamicGate уменьшал perplexity по сравнению со стандартным 1–2-битным квантованием, сохраняя сопоставимую скорость инференса; эти результаты не являются прямым бенчмарком данной 32B-модели. Модель подходит для развёртывания на системах с ограниченной GPU-памятью, CPU и edge-устройствах, а также для исследований ультранизкоразрядного квантования. Компромиссами являются возможное снижение точности по сравнению с полноформатными версиями и зависимость результата от выбранного варианта квантования и аппаратной поддержки. Лицензия — Apache-2.0. Точный размер модели, поддерживаемые языки и заявленное максимальное окно контекста в README не указаны.

Qwen_Qwen3-30B-A3B-Instruct-2507-GGUF — это набор GGUF-квантизаций языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и подготовленной для llama.cpp пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio и совместимые проекты. Для взаимодействия используется шаблон prompt формата ChatML с ролями system, user и assistant. Модель имеет архитектуру Mixture-of-Experts с общим размером 30B параметров и 3B активных параметров, однако README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности. Доступны варианты от BF16 до низкобитных квантизаций Q8, Q6, Q5, Q4, Q3 и IQ, с размерами файлов примерно от 13 до 61 ГБ. Более качественные варианты требуют больше памяти, а малые квантизации предназначены для систем с ограниченными ресурсами и могут заметно уступать в качестве. Сильной стороной является широкий выбор квантизаций, включая варианты с imatrix, позволяющие подобрать баланс между качеством, размером и скоростью локального вывода; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как оптимальный вариант для большинства сценариев. Ограничения связаны с высокими требованиями к оперативной памяти даже у компактных вариантов и возможной потерей качества при использовании низких разрядностей. Лицензия в представленном README не указана.

Alcoft/Qwen_Qwen3-4B-Thinking-2507-GGUF — это GGUF-квантизированный вариант языковой модели Qwen3-4B-Thinking-2507, разработанной командой Qwen. Модель предназначена для генерации текста и сценариев, требующих рассуждений, включая работу с локальными приложениями и системами, поддерживающими формат GGUF. В репозитории представлены варианты квантизации от Q2_K до Q8_K с размером файлов примерно от 1,38 до 3,99 ГБ. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5_K_M, Q6_K и близкие к ним конфигурации: они обеспечивают приемлемое или высокое качество при меньших требованиях к памяти. Самые лёгкие варианты Q2 и Q3 характеризуются низким качеством и в README не рекомендуются. Некоторые варианты используют повышенную точность Q8_0 или F16 для выходных и embedding-слоёв. Модель относится к text-generation и предоставляет только текстовую модальность. Данные о точной архитектуре, размере контекста и поддерживаемых языках в представленном README не указаны. Основные ограничения связаны с потерей качества при сильной квантизации и зависимостью результата от выбранного варианта. Указана лицензия Apache-2.0.

Qwermes3.8 — это дообученная модель Qwen3.8-27B, опубликованная в формате GGUF с квантизацией NVFP4. Автор карточки описывает гибридную плотную архитектуру из 64 слоёв: 48 слоёв Gated DeltaNet с линейным вниманием и 16 слоёв полного внимания. Модель предназначена для генерации текста и диалогов; визуальная оболочка исходной модели удалена, поэтому этот вариант работает только с текстом. Репозиторий рассчитан на запуск через llama.cpp или Ollama, в том числе на рабочих станциях с GPU Blackwell. Заявлен контекст до 262 тыс. токенов, но KV-кэш требует около 117 КБ на токен: для контекста 128 тыс. токенов потребуется примерно 14,7 ГБ видеопамяти, а для 262 тыс. — около 30 ГБ. README приводит замеры скорости и perplexity, но качество проверялось лишь на небольшом наборе ручных запросов без формальной оценки. Лицензия — Apache-2.0.

Rhombus18 Rhododendron Professor 1o — дообученная языковая модель семейства Qwen3, разработанная пользователем rhombus18 на основе unsloth/qwen3-32b-bnb-4bit. Модель имеет плотную архитектуру Qwen3ForCausalLM и содержит 29,7 млрд параметров. Карточка указывает обучение с помощью Unsloth и библиотеки TRL от Hugging Face; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Она поддерживает английский язык и контекст длиной до 128 000 токенов. В README не описаны специализированные области применения или результаты оценки качества, поэтому пригодность для конкретных задач следует проверять отдельно. Лицензия — Apache 2.0.

SJT-1.5B-Alpha — компактная языковая модель Sakalti, созданная слиянием моделей семейства Qwen2.5 методом TIES. В слиянии использована Qwen/Qwen2.5-1.5B-Instruct; базовой моделью указана Qwen/Qwen2.5-1.5B. Модель имеет плотную архитектуру Qwen2ForCausalLM и 1,5 млрд параметров. Модель предназначена для генерации текста и диалоговых сценариев, включая подготовку структурированных ответов. Она работает с текстом и поддерживает контекст до 131 072 токенов. Репозиторий содержит веса Safetensors; для работы предусмотрена библиотека Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов сравнительных оценок или подробных ограничений качества; фактическую пригодность для конкретной задачи следует проверять отдельно.

Sky-T1-32B-Flash-GGUF — GGUF-квантизированная версия текстовой генеративной модели Sky-T1-32B-Flash, разработанной NovaSky-AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio. Модель имеет 32 миллиарда параметров и ориентирована на работу с английским языком. В репозитории доступны варианты от BF16 и Q8_0 до низкобитных Q2_K и IQ2_M, поэтому можно выбирать между качеством ответов, требованиями к памяти и скоростью инференса. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q5, Q6 и близкие к ним; более компактные версии подходят для систем с ограниченным объёмом RAM, но обеспечивают более низкое качество. Ключевые сведения об архитектуре, размере контекста, мультимодальности и специализированных возможностях в README не указаны. Модель является текстовой, поэтому данные о поддержке изображений или других модальностей отсутствуют. Для использования требуются совместимое ПО и значительные вычислительные ресурсы, особенно для BF16 и высококачественных квантизаций. Распространяется по лицензии Apache-2.0.

Hypnos-i1-8B-GGUF — квантизированная версия модели Hypnos-i1-8B, разработанной squ11z1 и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалогового использования, включая задачи рассуждения, математики, логики и физики, а также ролевые и conversational-сценарии. В качестве обучающих данных указаны OpenThoughts-114k, Reasoning-Base-20K, OpenMathReasoning, QwQ-LongCoT-130K и GSM8K. Заявлен английский язык; поддержка других языков не указана. Модель относится к семейству Llama 3 согласно метаданным и имеет размер 8B параметров. Доступны варианты от BF16 до низкобитных квантов GGUF, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизация выполнена с использованием imatrix в llama.cpp; модель можно запускать через llama.cpp, LM Studio и другие совместимые проекты. Рекомендуется использовать соответствующий формат ChatML из README. Контекстное окно и точные архитектурные характеристики не указаны. Более агрессивная квантизация экономит память, но может снижать качество, особенно в задачах рассуждения. Распространение заявлено по лицензии Apache-2.0.

google/t5gemma-b-b-prefixlm — предварительно обученная текстовая модель семейства T5Gemma от Google с энкодером и декодером размера B, адаптированная с использованием PrefixLM. Это модель типа encoder-decoder, созданная путём адаптации предварительно обученных моделей с декодером; веса опубликованы в формате safetensors. Модель работает с текстом на английском языке и предназначена для генерации текста, ответов на вопросы, суммаризации и рассуждений. Энкодер также можно применять для классификации и задач понимания текста. Компактный размер семейства T5Gemma упрощает развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. В карточке для этого репозитория не приведены точное число параметров и размер контекстного окна. Возможны фактические ошибки, предвзятые ответы и трудности с неоднозначными формулировками, сложными задачами и тонкими языковыми нюансами. Лицензия — Gemma; применяются условия и ограничения использования Gemma.

BoldingBuilds выпустила Ternary Bonsai 2 27B Abliterated PTQ1_0 GGUF — текстовую чат-модель на основе релиза PrismML Ternary Bonsai 2 27B в формате GGUF. Веса изменены непосредственно на троичной решётке: редактированы 98 тензоров, остальные 753, включая эмбеддинги и выходной слой, побайтно совпадают с базовой версией. Модель предназначена для генерации ответов в диалогах и заметно реже отказывает, в том числе на запросы, которые исходная модель отклоняет. В опубликованном сравнении с исходной PTQ1_0-версией доля оценённых отказов на SimpleSafetyTests снизилась с 83% до 0%, а переотказов на безопасных запросах XSTest — с 1,6% до 0%. Результаты MMLU почти не изменились; на HumanEval наблюдалось снижение на 3 процентных пункта, статистически незначимое в данном тесте. Модель принимает текст и генерирует текст; мультимодальные компоненты не включены. Для запуска требуется форк llama.cpp от PrismML: стандартный llama.cpp не загружает PTQ1_0. Лицензия — Apache-2.0.