II.3Рефакторинг, миграция и модернизация

Occiglot-7B-FR-EN-Instruct — чат-модель с открытыми весами, разработанная Occiglot Research Collective. Это инструктивно дообученная версия occiglot-7b-fr-en: плотный авторегрессионный трансформер Mistral с 7,1 млрд параметров. Модель предназначена для диалогов и выполнения инструкций на французском и английском языках; в обучении также использовались инструкции для кода. Контекст модели по метаданным составляет 32 768 токенов. Модель обучена методом полного инструктивного дообучения на данных Open-Hermes-2B и нескольких наборах французских инструкций. Она использует шаблон чата ChatML и токенизатор Mistral-7B-v0.1. Авторы называют релиз ранним этапом исследовательского проекта; опубликованные оценки предварительные, а результаты для французского получены на ограниченных наборах и требуют осторожной интерпретации. Модель не проходила выравнивание по безопасности и может выдавать проблемный контент. Лицензия — Apache 2.0.

OpenChat 3.6 8B 20240522 — языковая модель семейства OpenChat, разработанная командой OpenChat и основанная на Meta Llama 3 8B. Данный репозиторий содержит её GGUF-квантизации, предназначенные для локального запуска и эффективного развертывания. Модель работает в режиме генерации текста и диалогов, поддерживает совместимый с OpenAI ChatCompletion API сервер и может использоваться через OpenChat Web UI. Модель имеет около 8 миллиардов параметров, относится к текстовым моделям и обучалась с применением подхода C-RLFT на данных смешанного качества. README не указывает точный размер контекстного окна и перечень поддерживаемых языков. Для работы рекомендуется шаблон подсказок на основе формата Llama 3; сервер оптимизирован для высокой пропускной способности и, согласно README, может запускаться на потребительском GPU с 24 ГБ памяти. Квантизация снижает требования к ресурсам, но конкретные варианты GGUF могут различаться по размеру и качеству. Сильными сторонами заявлены производительность на уровне открытых 8B-моделей и улучшенное следование инструкциям и few-shot-шаблонам по сравнению с некоторыми альтернативами. Ограничениями являются зависимость качества и скорости от выбранного типа квантизации, а также отсутствие в предоставленных данных подробных результатов тестирования, точного контекстного окна и языкового охвата. Репозиторий распространяется по лицензии Llama 3; условия её применения следует учитывать при использовании модели.

duyntnet/Phi-3.5-mini-instruct-imatrix-GGUF — набор квантованных версий модели Phi-3.5-mini-instruct, разработанной Microsoft и опубликованной пользователем duyntnet в формате GGUF с использованием imatrix. Модель относится к семейству Phi-3 и предназначена для генерации текста и выполнения инструкций в диалоговом формате; для работы подходят llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на качественные данные для рассуждений. Она поддерживает контекст до 128 000 токенов, словарь размером до 32 064 токенов и, согласно карточке, ориентирована на английский язык. Обучение включало supervised fine-tuning, proximal policy optimization и direct preference optimization, что направлено на соблюдение инструкций и повышение безопасности ответов. К преимуществам относятся компактность исходной модели, длинный контекст, поддержка локального запуска и наличие нескольких уровней квантования, потенциально снижающих требования к ресурсам. Ограничения связаны с тем, что квантование может влиять на качество по сравнению с исходной моделью, а сведения о конкретных размерах файлов, параметрах и характеристиках отдельных вариантов в карточке не приведены. Лицензия указана как other, без подробного описания условий использования.

YOYO-AI/Qwen2.5-14B-YOYO — объединённая 14-миллиардная языковая модель на архитектуре Qwen2 для генерации текста и диалогов. Автор карточки описывает её как слияние, созданное с помощью mergekit методом DELLA на основе Qwen/Qwen2.5-14B с добавлением Qwen/Qwen2.5-14B-instruct. Модель предназначена для генерации ответов в чате и других сценариев, где требуется продолжать или создавать текст. Она поддерживает контекст до 131 072 токенов и распространяется в формате safetensors для Transformers. В метаданных также указаны интерфейсы чата и вызова инструментов. Карточка не уточняет поддерживаемые естественные языки, сравнительное качество или ограничения в конкретных сценариях. Лицензия в предоставленных данных не указана.

Qwen3-14B-MLX-4bit — это 4-битная версия языковой модели Qwen3-14B, разработанная Qwen и преобразованная сообществом lmstudio-community в формат MLX с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и запуска локальных сценариев на устройствах, совместимых с MLX, включая применение через библиотеку mlx-lm. Модель основана на Qwen/Qwen3-14B и содержит 14 миллиардов параметров. Она относится к моделям text-generation и поддерживает работу с текстовыми запросами; в README не указаны точные языки, длина контекста, дополнительные модальности или подробности архитектуры. При наличии chat template модель может использоваться в формате диалога с ролями пользователя и ассистента. Ключевые преимущества — компактное 4-битное представление, адаптация к экосистеме MLX и возможность локального запуска через стандартные инструменты mlx-lm. Ограничения связаны с потерями качества, возможными для квантизированной версии, а также с отсутствием в README подробных данных о производительности, поддерживаемых языках и требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0.

Aldaris/Qwen3-14B-Q4_K_M-GGUF — это квантизированная версия базовой модели Qwen/Qwen3-14B, преобразованная в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и запуска локально через llama.cpp, включая режим командной строки и серверный режим. Модель содержит 14 миллиардов параметров и использует квантизацию Q4_K_M, что уменьшает требования к памяти по сравнению с полной версией модели, но может снижать точность и качество генерации. В README указана текстовая модальность и поддержка запуска на Mac, Linux и оборудовании с аппаратным ускорением, включая Nvidia GPU; сведения о языках, архитектурных особенностях и максимальной длине контекста не приведены. В качестве примера запуска указан контекст размером 2048 токенов, однако это не обязательно максимальное значение модели. Модель подходит для локальных чат-сценариев, генерации текста и интеграции в приложения через llama.cpp. Лицензия указана как Apache 2.0; подробные характеристики и ограничения следует уточнять в карточке исходной модели Qwen/Qwen3-14B.

Qwen3-235B-A22B-Instruct-2507-MLX-8bit — это 8-битная квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507, подготовленная в формате MLX для эффективной работы на устройствах с Apple Silicon. Исходную модель разработала команда Qwen, а квантизацию выполнила команда LM Studio с использованием инструмента mlx_lm. Модель предназначена для генерации текста и работы с инструкциями в сценариях, поддерживаемых исходной instruct-моделью. В README указаны общий размер исходной модели — 235B параметров — и обозначение A22B, однако дополнительные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях не приведены. Формат MLX ориентирован на локальный запуск на компьютерах Apple Silicon, а 8-битное представление снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность. Модель распространяется по лицензии Apache-2.0. README не содержит подробностей о результатах тестирования, производительности, ограничениях безопасности или качестве на отдельных языках и задачах, поэтому эти характеристики требуют дополнительной проверки.

mlx-community/Qwen3-32B-4bit — это 4-битная квантизированная версия языковой модели Qwen3-32B, преобразованная сообществом mlx-community из исходной модели Qwen/Qwen3-32B в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с сообщениями через chat template. Ключевая характеристика модели — размер исходной модели 32B параметров и 4-битное представление, что снижает требования к памяти по сравнению с полноточной версией и делает модель подходящей для запуска в экосистеме MLX. В README не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура, мультимодальные возможности и результаты оценки качества. Сильными сторонами являются совместимость с MLX и более экономичное потребление памяти благодаря квантизации. Ограничения включают возможную потерю качества из-за 4-битного представления, зависимость от инструментов mlx-lm и отсутствие в предоставленных данных подробных сведений о производительности и языковой поддержке. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанная ByteShape с применением технологии ShapeLearn. Технология подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и может использоваться локально с llama.cpp и Ollama на CPU и GPU. Модель относится к текстовым генеративным моделям, имеет размер исходной версии 4B параметров и представлена в вариантах KQ и IQ с разной средней разрядностью — от 2,55 до 4,74 бит на вес. KQ-варианты рекомендованы для CPU благодаря эффективности ядер GGML, а IQ-варианты — для современных Nvidia GPU. Размер файлов составляет примерно от 1,29 до 2,39 ГБ. Доступны различные компромиссы между скоростью инференса, размером и качеством; заявленные нормализованные показатели качества достигают 99,80%. Сильными сторонами являются компактность, широкий выбор вариантов под разное оборудование и оптимизация квантования с использованием ShapeLearn. Ограничения связаны с потерями качества, возможными при низкой разрядности, а также с отсутствием в README сведений о языках, размере контекста, точной архитектуре и мультимодальных возможностях. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-GGUF — набор квантованных версий языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено Dhptl с использованием quant-kit в формате GGUF, предназначенном для локального запуска через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Модель относится к классу текстовых instruction-following и conversational-моделей и предназначена для диалогов, генерации текста, ответов на вопросы и других сценариев работы с текстом. Заявленный размер базовой модели — 4 млрд параметров. В карточке указано поддерживаемое язык — английский; сведения о контекстном окне, точной архитектуре и мультимодальности отсутствуют. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 1,55 до 3,99 ГБ. Версия Q4_K_M рекомендована как баланс размера и качества, Q3_K_M — для систем с ограниченной памятью, а Q8_0 — для максимально близкого к исходной модели качества. Квантование уменьшает требования к памяти и позволяет запускать модель на потребительском оборудовании, но варианты с более сильным сжатием могут заметно терять в качестве. Приведённые показатели сохранения качества около 97–99% заявлены без фактических результатов тестов в этой карточке, поэтому их следует воспринимать ориентировочно. Модель распространяется по лицензии Apache-2.0. Для практического использования необходимо выбрать конкретный GGUF-файл с учётом доступной оперативной памяти и допустимого компромисса между скоростью, размером и качеством.

TeichAI дообучила плотную языковую модель Qwen3-4B-Thinking-2507 на наборе TeichAI/gpt-5.1-codex-max-1000x. Модель содержит 3,7 млрд параметров и предназначена для генерации текста в диалогах и решения задач с рассуждением; каталог также отмечает интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает английский язык, а её контекст составляет до 262 144 токенов. В карточке указаны обучение с помощью Unsloth и библиотеки Hugging Face TRL, а также лицензия Apache-2.0. Подробных оценок качества и ограничений в карточке нет.

amd/Qwen3.5-35B-A3B-MXFP4 — квантизированная версия модели Qwen3.5-35B-A3B-FP8, разработанная Advanced Micro Devices, Inc. с использованием AMD-Quark. Модель построена на архитектуре Qwen3_5MoeForConditionalGeneration, принимает текст и генерирует текст. В README указано обозначение 35B-A3B, однако точные параметры архитектуры, число активируемых параметров, размер контекста и перечень поддерживаемых языков не приведены. Модель предназначена для задач генерации текста и инференса в средах SGLang или vLLM на Linux с оборудованием AMD MI300 и MI350/MI355, ROCm 7.0.0, PyTorch 2.9.1 и Transformers 5.3.0. Веса статически квантизированы в формат OCP MXFP4, а активации динамически квантизированы в OCP MXFP4, что ориентировано на эффективное выполнение на совместимых ускорителях. В тесте GSM8K модель получила результат 93,25 против 89,39 у исходной FP8-версии, но приведённая оценка охватывает только один бенчмарк и не характеризует все сценарии применения. Лицензия — Apache-2.0; изменения защищены авторским правом Advanced Micro Devices, Inc.

Это языковая модель семейства Qwen3.6, подготовленная пользователем Youssofal и упакованная для библиотеки MTPLX. Она предназначена для локальной генерации текста на компьютерах Apple Silicon, прежде всего для ускоренного инференса со speculative decoding и Multi-Token Prediction на моделях Mac с чипами M1–M5. Доступен OpenAI-совместимый локальный сервер через MTPLX. Модель имеет архитектуру Mixture-of-Experts и заявленный размер 35B с активной частью около 3B параметров (35B-A3B). Основное тело использует 4-битное квантование MLX affine, а плавающие тензоры BF16 преобразованы в FP16; упакованные квантованные тензоры сохранены без повторного квантования. Для ускорения применяются MTP-предсказания с рекомендуемой глубиной D1 и профилем sustained. README не указывает поддерживаемые языки, размер контекста и перечень модальностей, поэтому модель следует считать текстовой. Ключевая особенность варианта — совместимость с FP16-friendly путём на старых Apple Silicon, особенно M1 и M2, при сохранении целевого уровня скорости и качества исходного артефакта. Для M3, M4 и M5 MTPLX обычно выбирает обычную оптимизированную версию. По приведённому baseline скорость составляет 94,46 токена/с для авторегрессионного режима и 138,38 токена/с для режима D1, однако эти показатели являются данными исходного артефакта, а FP16-вариант должен быть к ним близок. Ограничения включают зависимость от MTPLX и Apple Silicon, а также отсутствие полноточного checkpoint: модель рассчитана на быстрое локальное использование, а не на работу в полном формате. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-REAM-192-heretic-APEX-GGUF — предварительная серия смешанных по точности GGUF-квантизаций модели keithnull/Qwen3.6-35B-A3B-REAM-192-heretic, основанной на архитектуре Qwen3.6 и разработанной сообществом вокруг Qwen. Модель распространяется в формате, совместимом с llama.cpp, и использует APEX (Adaptive Precision for EXpert Models) для MoE-aware квантизации экспертных слоёв. Доступны варианты размером примерно 12–19 ГБ с эффективной точностью около 3,80–5,91 BPW. Названия файлов с суффиксами Q3_K или Q5_K являются только подсказкой для каталогов и не отражают единственный тип квантизации: внутри используются комбинации K- и IQ-форматов, включая Q3_K, Q4_K, Q5_K, Q6_K, IQ2_S, IQ4_XS и Q8_0. Модель предназначена для локального текстового диалога и генерации текста, а также может использовать изображения при подключении совместимого vision-проектора mmproj-REAP-26B-F16.gguf через llama-server и OpenAI-совместимый chat-completions API. Архитектура сохраняет vision tower Qwen3.6-VL, совместимые скрытое пространство и токенизатор, однако опубликованные GGUF-файлы содержат только текстовые веса. Вариант Mini рассчитан на видеокарты с 16 ГБ VRAM, а I-Compact позиционируется как вариант для повседневного использования в классе размера стандартной Q4_K_M. Сильные стороны серии — MoE-ориентированная смешанная точность, наличие вариантов с imatrix-калибровкой и разные компромиссы между качеством, размером и скоростью декодирования. При этом релиз является preview: для этой APEX-рецептуры ещё не опубликованы измерения perplexity, KL-divergence и академических бенчмарков; проверка ограничивалась оценкой Heretic, качественной проверкой пяти промптов на BF16-весах и базовыми тестами связности генерации. Модель распространяется по лицензии Apache-2.0.

sleepy186247 конвертировал модель llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved в формат MLX с точностью fp16; README указывает версию mlx-lm 0.31.2. Это мультимодальная MoE-модель семейства Qwen3.5, предназначенная для диалогов, анализа изображений и агентного программирования. Метаданные указывают архитектуру Qwen3_5MoeForConditionalGeneration, поддержку чата и зрения, а также задачу image-text-to-text. Модификация uncensored/heretic ослабляет ограничения на ответы. Репозиторий распространяется по лицензии Apache-2.0.

TheDrainFlorist/Qwen3.6-35B-A3B-VQ-5.4bpw — векторно-квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen, адаптированная для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста, а также обработки изображений при использовании совместимого MLX-VLM. Она поддерживает загрузку через mlx-lm и mlx-vlm; для мультимодального режима требуется mlx-vlm версии 0.6.16 или новее. Размер сборки составляет 22,2 GiB, поэтому она рассчитана примерно на машины с 32 ГБ памяти. В модели используется uniform vector quantization: экспертные тензоры квантизуются с геометрией d=2, K=1024, а неэкспертные тензоры представлены в 8-битном формате. В README не указаны размер контекстного окна и полный список поддерживаемых языков; в метаданных заявлен английский язык. Для запуска требуется runtime из файла model.py и загрузчик, поддерживающий параметр model_file. По сравнению с исходной bf16-версией модель существенно экономит память, сохраняя более высокое качество, чем 4-битная сборка: расхождение по KL составляет 28,1 millinats на токен, а совпадение top-1 предсказаний с bf16-версией — 92,22%. При этом runtime-производительность на этой конкретной сборке не измерялась, а качество немного ниже bf16-оригинала. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves — экспериментальная объединённая модель от независимой лаборатории NightmediaAI. В README указано слияние нескольких моделей семейств Qwen3.6 и Qwen3.8; метаданные подтверждают архитектуру Qwen3.5/Qwen3_5ForConditionalGeneration, 27 млрд параметров в названии и поддержку изображений. Модель предназначена для диалогов, следования инструкциям, рассуждений и анализа изображений; в карточке также заявлены творческое письмо, математика, STEM и программирование. Модель опубликована в формате Safetensors и работает через Transformers. Карточка приводит результаты тестов для одного из компонентов слияния, но не даёт сопоставимой оценки итоговой модели. Метаданные указывают английский, китайский, японский и испанский языки. Лицензия — Apache-2.0.

KikoCis/Qwen3.8-27B-GGUF — набор квантованных моделей в формате GGUF на основе Qwen/Qwen3.8-27B, разработанной командой Qwen. Репозиторий предназначен для локального запуска текстовой генерации, включая агентские сценарии с многошаговым использованием инструментов, при ограниченных ресурсах. Доступны варианты квантования от 1,94 до 3,40 бит на вес и размером от 6,46 до 16,81 ГБ. Архитектура модели включает 65 блоков: 48 SSM/linear-attention, 16 полноценных attention-блоков и одну MTP-голову. Благодаря этому KV-кэш заявлен как относительно экономичный — около 64 КБ на токен против примерно 256 КБ у полностью attention-модели сопоставимого размера. Нативное контекстное окно заявлено как 262 144 токена, но в README его практическая работоспособность не подтверждена. Модель рассчитана только на текст: исходная базовая модель мультимодальна, однако в этом репозитории отсутствует mmproj, поэтому обработка изображений невозможна. Наиболее удачным вариантом для агентов авторы считают IQ2_M: в измеренном тесте он выполнил 79 из 80 задач, почти соответствуя Q3_K_M с результатом 40 из 40, при меньшем размере. IQ2_XS экономит немного места, но показал более низкий результат, а варианты IQ1 предназначены скорее для связного текста и не рекомендуются для инструментальных агентов. Сильная сторона архитектуры — экономия памяти на длинном контексте, ограничением является медленный prefill, особенно в многошаговых диалогах. Результаты зависят от backend и runtime: приведённые измерения выполнялись через Ollama и не должны напрямую переноситься на другие реализации. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Quark-AWQ-INT4-W4A16 — квантизированная версия модели Qwen/Qwen3.8-27B, разработанная с использованием AMD Quark компанией Advanced Micro Devices, Inc. Модель предназначена для задач генерации текста и, согласно метаданным карточки, относится к классу image-text-to-text. Подробные сведения о поддерживаемых языках и полном наборе модальностей не указаны. Используется 4-битное квантизирование весов по алгоритму AWQ с группой размера 128 (W4A16): веса представлены в INT4, активации сохраняются в BF16. Калибровка выполнена на 128 образцах с длиной последовательности 512 токенов. Размер базовой модели — 27B параметров. В тестах модель сохранила близкую к исходной BF16-версии производительность на GSM8K, Wikitext и однопоточных сценариях BFCL; однако результаты зависят от режима генерации и настроек оценки. Основное преимущество — снижение требований к памяти за счёт квантизации при сохранении большей части качества базовой модели. Ограничения включают возможные потери точности по сравнению с BF16-версией и необходимость совместимого inference runtime с поддержкой схемы W4A16Int4, например соответствующей конфигурации vLLM и AMD Quark. Базовая модель распространяется по лицензии Apache 2.0; для модификаций указаны авторские права Advanced Micro Devices, Inc. за 2026 год.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем azukivc и подготовленный для llama.cpp. Модель предназначена для генерации текста, включая локальный запуск и сценарии, где требуется сниженное количество отказов. Поведение отказа было существенно уменьшено, но не устранено полностью; дополнительное обучение и новые обучающие данные не использовались. Лицензия — Apache-2.0. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Указана поддержка vision, поэтому доступны варианты с обработкой изображений, если это поддерживается базовой моделью и используемым runtime. Заявлены языки English и Chinese. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, размер файлов — примерно от 10,6 до 29 ГБ. MTP-голова сохранена для speculative decoding; доступны как объединённые файлы со встроенной draft-моделью, так и отдельные target- и draft-файлы. Снижение отказов является преимуществом для менее ограниченных сценариев, однако поведение не полностью безотказное, а acceptance rate speculative decoding может немного снизиться.

KasugaiSakura/Qwen3.8-27B-Uncensored-JonathanColetti-GGUF — это набор GGUF-квантизаций модели Qwen/Qwen3.8-27B, опубликованный KasugaiSakura. Вариант модифицирован с помощью Heretic для существенного снижения отказов в ответах; дополнительное обучение и новые данные не использовались, а основные возможности, обучающие данные и архитектура унаследованы от базовой модели. Модель предназначена для генерации текста и запуска через совместимые среды, включая llama.cpp, а также поддерживает обработку изображений при использовании vision-проектора и совместимого runtime. Архитектура обозначена как Qwen3_5ForConditionalGeneration и включает 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер файлов составляет примерно от 10,6 до 29 ГБ. Сохранён MTP-head для speculative decoding, позволяющий ускорять генерацию, а опубликованные варианты включают как объединённые файлы, так и отдельные target/draft-модели. Заявлены языки English и Chinese. Сильными сторонами являются большой контекст, поддержка текста и изображений, широкий выбор уровней квантизации и возможность ускоренной генерации с MTP. Поведение отказов существенно ослаблено, но не устранено полностью; это может быть полезно для менее ограниченных сценариев, однако не означает отсутствия механизмов безопасности. Качество и требования к памяти зависят от выбранной квантизации: IQ2_M занимает меньше памяти, но показывает заметно более высокую perplexity, тогда как варианты от IQ4_XS и выше ближе к исходной точности. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Qwen3-8B-GGUF — это набор файлов модели в формате GGUF для базовой модели Qwen3-8B, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие. Известно, что модель основана на архитектуре и характеристиках Qwen3-8B, однако в README не приведены подробности о размере контекста, языках, поддерживаемых модальностях и других архитектурных параметрах. Доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на эффективный инференс, включая использование GPU-ускорения. Сильные стороны модели — разнообразие вариантов квантизации и широкая совместимость с локальными средствами запуска, включая CLI, веб-интерфейсы и OpenAI-совместимые серверы. Ограничения связаны с возможными потерями качества при низкой разрядности квантизации и зависимостью от совместимого программного обеспечения. Лицензия в README не указана.

ISTA-DASLab/Qwen3-8B-GGUF-GSQ — это квантизированная версия языковой модели Qwen3-8B, разработанной командой Qwen и доработанной ISTA-DASLab с применением метода GSQ (Gumbel-Softmax Quantization). Модель предназначена для генерации текста и запуска локальных больших языковых моделей с пониженным потреблением памяти. Модель поставляется в формате GGUF K-Quant с вариантами разной точности, включая Q2_K, Q4_K и Q6_K. Квантизация начинается с публичной инициализации Unsloth GGUF, после чего дискретные значения весов уточняются методом GSQ и упаковываются обратно в тот же формат K-Quant. Размер модели составляет 8 миллиардов параметров. Поддерживаются llama.cpp, Ollama, LM Studio и другие программы, совместимые с GGUF. Ключевое преимущество модели — улучшение качества при агрессивной низкобитной квантизации: для варианта Q2_K средний результат бенчмарков повышен с 50,03 до 56,28 относительно исходной инициализации Unsloth. При этом сохраняются стандартная структура GGUF K-Quant и совместимость с существующими инструментами. Ограничения включают возможную потерю качества по сравнению с полной точностью и отсутствие в README сведений о языках, максимальном контексте, поддерживаемых модальностях и подробных результатах по отдельным тестам. Модель распространяется по лицензии Apache-2.0.

Qwen_Qwen3-30B-A3B-Instruct-2507-GGUF — это набор GGUF-квантизаций языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и подготовленной для llama.cpp пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio и совместимые проекты. Для взаимодействия используется шаблон prompt формата ChatML с ролями system, user и assistant. Модель имеет архитектуру Mixture-of-Experts с общим размером 30B параметров и 3B активных параметров, однако README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности. Доступны варианты от BF16 до низкобитных квантизаций Q8, Q6, Q5, Q4, Q3 и IQ, с размерами файлов примерно от 13 до 61 ГБ. Более качественные варианты требуют больше памяти, а малые квантизации предназначены для систем с ограниченными ресурсами и могут заметно уступать в качестве. Сильной стороной является широкий выбор квантизаций, включая варианты с imatrix, позволяющие подобрать баланс между качеством, размером и скоростью локального вывода; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как оптимальный вариант для большинства сценариев. Ограничения связаны с высокими требованиями к оперативной памяти даже у компактных вариантов и возможной потерей качества при использовании низких разрядностей. Лицензия в представленном README не указана.

Qwen_Qwen3-4B-Thinking-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Thinking-2507, разработанной Qwen. Квантизацию выполнил bartowski с использованием llama.cpp версии b6096 и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 4B параметров и ориентирована на сценарии, требующие локального текстового вывода при ограниченных ресурсах. Доступны варианты от BF16 до Q2 и различные форматы квантизации; рекомендованными названы, в частности, Q4_K_M, Q5_K_M, Q6_K и Q6_K_L. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти, тогда как низкие уменьшают размер за счёт качества. Для работы используется шаблон промпта с секциями system, user и assistant, включающей тег <think>. Сильными сторонами являются локальный запуск, широкий выбор размеров файлов и оптимизация imatrix-квантизаций под llama.cpp. Ограничения связаны с потерей качества в более агрессивно сжатых вариантах, а также с тем, что в предоставленной карточке не указаны контекстное окно, поддерживаемые языки, точная архитектура, модальности и лицензия исходной модели или квантов. Условия распространения следует уточнять на странице оригинальной модели Qwen/Qwen3-4B-Thinking-2507.

Rombo-Org_Rombo-LLM-V3.0-Qwen-72b-GGUF — это набор GGUF-квантизаций языковой модели Rombo-LLM-V3.0-Qwen-72b, разработанной Rombo-Org и подготовленной bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В качестве исходной модели указана Rombo-Org/Rombo-LLM-V3.0-Qwen-72b; в метаданных также отмечены датасеты Rombo-Org/Optimized_Reasoning и NovaSky-AI/Sky-T1_data_17k. Размер исходной модели составляет 72 миллиарда параметров. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны. Доступны варианты квантизации от Q2 до Q8, преимущественно размером примерно от 32 до 77 ГБ. Более высокие варианты сохраняют лучшее качество, но требуют больше памяти; Q4_K_M, Q4_K_L, Q5_K_M, Q5_K_S и Q6_K отмечены как рекомендуемые, а низкоразрядные варианты предназначены для экономии оперативной памяти с возможным снижением качества. К сильным сторонам относятся широкий выбор уровней квантизации, поддержка локального запуска и использование imatrix-квантизации на базе llama.cpp. Ограничениями являются значительные требования к памяти даже у компактных вариантов, а также отсутствие в README подробных данных о результатах тестирования, языках и контекстном окне. Для использования указана лицензия Apache-2.0.

Sakura-SOLAR-Instruct-GGUF — квантизированная версия инструкционной языковой модели Sakura Solar Instruct, разработанной KyujinHan. Модель предназначена для генерации текста и диалогового взаимодействия по системным и пользовательским инструкциям; её можно запускать локально на CPU и GPU через llama.cpp и совместимые интерфейсы и библиотеки. Репозиторий содержит файлы в формате GGUF, включая варианты с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией. Архитектура модели — SOLAR, формат GGUFv2; точный размер, число параметров и максимальная длина контекста в README не указаны. Заявлен английский язык, поддерживается только текстовая модальность. Квантизация уменьшает требования к памяти и позволяет выбирать компромисс между размером, скоростью и качеством, однако более агрессивные варианты могут сильнее терять в качестве по сравнению с исходной моделью. Для работы используется шаблон запроса с секциями System, User и Assistant. Модель и её квантизированные файлы распространяются по лицензии CC BY-NC-SA 4.0.

SmolLM3-3B-Base — базовая языковая модель семейства SmolLM3, опубликованная Unsloth как дообученная версия HuggingFaceTB/SmolLM3-3B-Base. Это декодерный Transformer с архитектурой SmolLM3 и 3,1 млрд параметров; модель предназначена для генерации и продолжения текста, в том числе для задач рассуждения и работы с длинным контекстом. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Модель обучалась на веб-текстах, коде, математике и данных для рассуждений. Контекст конфигурации — 65 536 токенов; в README описана экстраполяция до 128 000 токенов с YaRN. Хорошо подходит как открытая базовая модель для экспериментов и дальнейшей настройки. Поддерживаемые языки включают английский, французский, испанский, итальянский, португальский, китайский, арабский и русский; для русского, китайского и арабского в README отмечено меньше обучающих данных, чем для основных языков. Генерация может содержать фактические ошибки, логические несоответствия и предубеждения, поэтому важные сведения следует проверять. Лицензия — Apache 2.0.

Steelskull_L3.3-Electra-R1-70b-GGUF — это квантизированная версия языковой модели L3.3-Electra-R1-70b, разработанной Steelskull и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 70 миллиардов параметров и поддерживает текстовый сценарий работы. В README приведён специальный шаблон запросов с системными и пользовательскими сообщениями, совместимый с форматом токенов модели. Доступны варианты квантизации Q2–Q8 и IQ, размером примерно от 27 до 75 ГБ; для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K. Квантизация выполнена с использованием imatrix и датасета, указанного автором сборки. Сильной стороной являются высокое качество крупных вариантов квантизации и возможность локального запуска без обращения к облачным сервисам. Ограничения включают значительные требования к оперативной памяти или видеопамяти, а также возможное снижение качества в компактных вариантах. Языки, размер контекста, точная архитектура, мультимодальные возможности и результаты оценки в README не указаны. Лицензия модели также не указана, поэтому условия использования следует уточнять в репозитории исходной модели.

ThinkingCap-Qwen3.6-27B-heretic-GGUF — набор GGUF-квантизаций модели ThinkingCap-Qwen3.6-27B-heretic, подготовленный egibson с использованием llama.cpp. Исходная модель представляет собой декензурированную версию ThinkingCap-Qwen3.6-27B от bottlecapai, созданную с помощью Heretic. Архитектура основана на Qwen3.6, размер — 27 млрд параметров; точные сведения о языках, длине контекста и поддерживаемых модальностях в README не указаны. Модель предназначена для локального запуска через совместимые среды, включая llama.cpp, с выбором между вариантами от f16 до низкобитных Q- и IQ-квантизаций. Доступны версии объёмом примерно от 10 до 50,1 ГБ; Q4_K_M рекомендована как сбалансированный вариант по качеству и размеру, а IQ-квантизации используют importance matrix, что может улучшать качество при сопоставимом размере. Более точные варианты обеспечивают максимальную близость к исходным весам, тогда как версии с меньшей разрядностью рассчитаны на оборудование с ограниченной памятью и сильнее теряют качество. В экспортированных файлах исключена MTP-head: это устраняет ошибку конвертера GGUF и не мешает обычной работе модели, но исключает возможность соответствующей оптимизации speculative decoding. Модель распространяется по лицензии Apache-2.0. README не содержит результатов тестирования, поэтому фактическое качество, скорость и пригодность для конкретных задач следует оценивать в целевой среде.