II.3Рефакторинг, миграция и модернизация

QuantFactory/Mistral-7B-Instruct-v0.1-GGUF — квантизированная версия модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI. Модель предназначена для генерации текста и ведения диалогов, включая сценарии, где требуется выполнение инструкций на естественном языке. Она распространяется в формате GGUF и создана с использованием llama.cpp. Модель основана на архитектуре Mistral с 7 миллиардами параметров и поддерживает несколько уровней квантизации: Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. README не содержит сведений о поддерживаемых языках, размере контекста, модальностях и конкретных ограничениях качества. Модель подходит для локального запуска и интеграции с инструментами на базе llama.cpp, однако конкретные требования к оборудованию зависят от выбранного уровня квантизации. Лицензия — Apache 2.0.

RedHatAI/Mistral-7B-Instruct-v0.3-FP8 — квантизированная версия текстовой instruction-модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычного ассистентского диалога, включая чат-ботов и исследовательские или коммерческие приложения. Дата выпуска — 26 июня 2024 года, версия 1.0. Модель использует архитектуру Mistral-7B-Instruct-v0.3 и квантизацию весов и активаций в формат FP8. Квантизации подвергнуты линейные операторы внутри transformer-блоков с применением симметричного масштабирования по тензору. Это примерно вдвое уменьшает число битов на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением. Модель подготовлена для инференса через vLLM версии 0.5.0 и новее; в README также указан контекст длиной 4096 токенов для процедуры оценки и примеров использования. По данным OpenLLM Leaderboard v1, средний результат FP8-версии составляет 65,85 против 66,33 у неквантизированной модели, что указывает на небольшую потерю качества при заметном снижении требований к ресурсам. Ограничения включают ориентацию на английский язык: использование на других языках указано как выходящее за заявленную область применения. Условия лицензии — Apache 2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Nemotron-3.5-Lightning-30B-A3B-Uncensored-xCloud-GGUF — языковая модель, разработанная xCloudinfo на основе NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16. Она предназначена для генерации текста и локального запуска через llama.cpp в сценариях разработки, исследований и технической валидации. Модель ориентирована на английский и китайский языки. Это гибридная архитектура Mamba-2, Mixture of Experts и Attention: общий объём составляет 30 млрд параметров, около 3 млрд активируются при обработке запроса. Поддерживаются Multi-Token Prediction и контекст до 1 млн токенов. Модель не переобучалась: из отдельных матриц Attention и MoE была удалена направленность, связанная с чрезмерными отказами, методом directional ablation с интенсивностью 0,8. Компоненты Mamba и MTP draft head сохранены. Доступны GGUF-квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ2_M; рекомендуемый вариант для развёртывания — Q4_K_M, размером около 24 ГБ. Сильной стороной модели являются гибридная архитектура, высокая вычислительная эффективность за счёт MoE и варианты квантизации для локального использования. Ограничение — отсутствие исходного безопасного поведения отказа: модель может напрямую отвечать на чувствительные и двояко применимые запросы, поэтому ответственность за законность и этичность использования лежит на пользователе. Для корректного reasoning требуется достаточный лимит токенов, а при работе рекомендуется явно указывать текущую дату в системном запросе. Модель распространяется по лицензии OpenMDW-1.1, унаследованной от базовой модели. Коммерческое использование разрешено; при распространении необходимо сохранять текст лицензии и уведомления об авторских правах. xCloudinfo не несёт ответственности за выводы модели и их дальнейшее использование.

Nous-Hermes-2-Mixtral-8x7B-DPO-GGUF — это квантизированная версия языковой модели Nous-Hermes-2-Mixtral-8x7B-DPO, разработанной NousResearch и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mixtral и дообучена с применением DPO и RLHF; в метаданных также указаны синтетические данные и дистилляция. Заявленный язык — английский. Модель предназначена для диалоговых и инструкционных сценариев: генерации ответов, общения в формате чат-бота и выполнения текстовых запросов. Она использует шаблон ChatML и поддерживает контекст размером 4096 токенов. Доступно несколько вариантов квантизации от Q2_K до Q8_0 размером от 17,3 до 49,6 ГБ. Q4_K_M рекомендуется как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. К сильным сторонам относятся архитектура Mixtral, диалоговая настройка и широкий выбор уровней квантизации для локального запуска. Более агрессивная квантизация уменьшает требования к памяти, но приводит к заметной потере качества; наиболее компактные варианты не рекомендуются для большинства задач. В README не указаны мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0. Для запуска с LlamaEdge требуется версия 0.2.8 или новее.

Это компактная языковая модель Phi-3 Mini Instruct семейства Phi-3, представленная в репозитории tuong-nguyen-prd. Модель имеет плотную архитектуру Phi3ForCausalLM и около 3,7 млрд параметров; она дообучена следовать инструкциям с помощью supervised fine-tuning и direct preference optimization. В README вариант назван 128K, однако метаданные этой копии указывают длину контекста 4096 токенов. Модель предназначена для генерации текста в диалоговом формате, включая рассуждения, математику и программирование. Её позиционируют для сценариев с ограниченными вычислительными ресурсами и требованиями к низкой задержке; карточка также описывает улучшения в следовании инструкциям, структурированном выводе и понимании длинного контекста. Основной заявленный язык — английский. Репозиторий содержит веса в формате safetensors. Модель выпущена под лицензией MIT. Как и другие языковые модели, она может выдавать неточные, ненадёжные, предвзятые или оскорбительные ответы; её качество и безопасность следует оценивать для конкретного применения, особенно в сценариях с высокими рисками.

Richard Young из DeepNeuro подготовил эту версию Microsoft Phi-3.5-mini-instruct с помощью Heretic v1.4.0: модель подвергнута абляции, направленной на снижение числа отказов. Это плотная авторегрессионная языковая модель Phi-3 с 3,7 млрд параметров, предназначенная для генерации текста, диалогов и задач с кодом. Метаданные указывают контекст 4096 токенов; модель распространяется в формате Safetensors по лицензии MIT. Модель подходит для чат-ботов, генерации текста и кода, а также для сценариев с ограничениями по памяти, вычислениям или задержке. README приводит результат оценки отказов: 12 отказов из 100 запросов против 95 у исходной модели; это указывает на заметно ослабленное поведение отказа, но не гарантирует точность или безопасность ответов. В README также приведено описание возможностей и оценок исходной Phi-3.5, поэтому их нельзя автоматически считать характеристиками этой производной версии. Проверяйте модель для конкретного применения, особенно в чувствительных сценариях.

duyntnet/Phi-3-medium-128k-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-3-Medium-128k-Instruct, разработанной Microsoft и опубликованной пользователем duyntnet. Репозиторий предназначен для локального запуска модели через совместимые инструменты, включая llama.cpp; указано, что квантизации созданы с использованием актуальной версии llama.cpp. Модель относится к классу text-generation и работает с текстом. Исходная Phi-3-Medium-128k-Instruct — инструкционная языковая модель для диалогов, ответов на вопросы, генерации текста и решения задач по пользовательским запросам. Она рассчитана на использование в chat-формате и поддерживает контекст до 128 000 токенов; размер словаря токенизатора — до 32 064 токенов. В README указан английский язык. Архитектура и точное число параметров в представленных данных не раскрыты. Сильной стороной модели является большой контекст и наличие готовых GGUF-квантизаций для более эффективного локального инференса. Ограничения включают зависимость от совместимого рантайма и конкретного варианта квантизации, а также отсутствие в README подробных характеристик качества, требований к ресурсам и данных о поддерживаемых модальностях помимо текста. Лицензия указана как other; её точные условия требуют отдельной проверки в исходном репозитории Microsoft.

Квантизированная версия инструкционной языковой модели microsoft/Phi-3-mini-4k-instruct, подготовленная пользователем legraphista в формате GGUF с использованием llama.cpp и IMatrix-калибровки. Модель предназначена для генерации текста в диалоговых сценариях, выполнения инструкций и задач, связанных с обработкой естественного языка и кодом. В README указана поддержка английского языка и контекст размером 4K токенов, что отражено в названии исходной модели. Доступны варианты с разными уровнями точности и размером файлов: от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая дополнительные IQ-варианты. Для ряда квантов применена IMatrix, призванная улучшить качество при уменьшении разрядности; исходная модель имеет тип данных BF16. Формат GGUF и совместимость с llama.cpp позволяют использовать модель локально при выборе подходящего варианта под доступную память и требования к качеству. README не содержит подробных сведений об архитектуре, количестве параметров, мультимодальности, результатах тестирования или известных ограничениях качества. Модель распространяется по лицензии MIT, унаследованной от исходной microsoft/Phi-3-mini-4k-instruct.

Qwen1.5-110B-Chat-GGUF — это квантизированная GGUF-версия диалоговой языковой модели Qwen1.5-110B-Chat, разработанной командой Qwen при Alibaba Cloud; конкретные файлы квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск совместимых чат-приложений и сценарии, где требуется крупная языковая модель с различным балансом между качеством и потреблением памяти. Модель содержит 110 млрд параметров и работает в текстовой модальности. В метаданных указано английское языковое направление, однако сведения о полном наборе поддерживаемых языков, архитектуре, максимальном контексте и результатах специализированных тестов в README отсутствуют. Доступны варианты квантизации от Q8_0 до IQ1_S с размером файлов примерно от 118,17 до 23,63 ГБ: более высокие разрядности обычно обеспечивают лучшее качество, а низкие позволяют запускать модель при меньшем объёме RAM или VRAM, но заметно снижают качество. Сильной стороной является выбор из множества вариантов квантизации, включая рекомендуемые Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS, что позволяет адаптировать модель к доступному оборудованию. Ограничения связаны с очень большим размером даже у компактных вариантов и с неизбежной потерей качества при агрессивной квантизации; варианты IQ1 и некоторые Q2/Q3 имеют низкое или крайне низкое качество. Для работы следует использовать формат GGUF и соответствующий шаблон чата с маркерами system, user и assistant. Лицензия указана как tongyi-qianwen; подробные условия доступны по ссылке на лицензию исходной модели.

bartowski/Qwen2.5-14B-Instruct-1M-GGUF — это набор GGUF-квантизированных версий языковой модели Qwen2.5-14B-Instruct-1M, разработанной командой Qwen и подготовленной bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для диалоговой генерации текста и других задач text-generation, включая локальное использование через llama.cpp и LM Studio. В README явно указан английский язык; формат взаимодействия предусматривает системные, пользовательские и ассистентские сообщения. Модель содержит 14B параметров и поддерживает контекст размером до 1M токенов согласно идентификатору и названию базовой модели. Доступны варианты от F32 и F16 до Q8_0, Q6, Q5, Q4, Q3 и Q2 с размерами файлов примерно от 6,5 до 59 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но заметно уступают по качеству; некоторые варианты используют legacy-форматы или оптимизации для CPU и Apple Silicon. Конкретные требования к оборудованию и производительность в README не указаны. Распространение выполняется по лицензии Apache 2.0. Для использования необходимо учитывать значительный объём модели и выбрать подходящий уровень квантизации в зависимости от доступной памяти и требований к качеству.

Это GGUF-квантизированная версия языковой модели Qwen2.5-72B-Instruct, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Исходную модель разработала команда Qwen; карточка указывает текстовую специализацию и поддержку английского языка. Модель предназначена для диалогов и генерации текста, включая запуск локально через llama.cpp или LM Studio, с использованием специального chat-шаблона Qwen. Модель имеет 72 млрд параметров, а репозиторий предлагает несколько вариантов квантизации GGUF — от IQ1_M и Q2 до Q8_0. Размеры файлов составляют примерно от 23,74 до 77,26 ГБ; варианты с более высокой точностью обычно требуют больше памяти, но лучше сохраняют качество исходной модели. Рекомендуемыми названы Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Для некоторых вариантов доступны раздельные файлы, а отдельные квантизации используют Q8_0 для embedding- и output-весов. Сильная сторона репозитория — широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с распространёнными локальными инструментами. Ограничения включают значительный объём памяти, необходимый для запуска 72-миллиардной модели, и снижение качества при сильной квантизации; конкретная длина контекста в README не указана. Модель распространяется по лицензии Qwen, обозначенной как other; дополнительные условия следует уточнять в файле лицензии исходной модели.

Qwen3-30B-A3B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия инструкционной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях использования, включая работу через совместимые инструменты на устройствах Apple Silicon. Она относится к семейству text-generation и использует архитектуру и характеристики исходной модели Qwen3-30B-A3B-Instruct-2507, однако README не содержит сведений о языках, длине контекста, поддерживаемых модальностях и других архитектурных деталях. Ключевое преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами благодаря 6-битному квантованию и оптимизации под MLX. Ограничения включают возможную потерю точности из-за квантования, зависимость от платформы Apple Silicon и отсутствие в README подробных данных о качестве, производительности и бенчмарках. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-30B-A3B-NVFP4 — квантизированная версия языковой модели Qwen/Qwen3-30B-A3B, разработанная RedHatAI. Модель принимает и генерирует текст и предназначена для задач генерации текста, включая диалоговые сценарии и развёртывание через vLLM с OpenAI-совместимым сервером. Модель использует архитектуру Qwen3-30B-A3B, однако в представленном README не указаны подробности о числе параметров активной части, размере контекста и точном наборе поддерживаемых языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в формат FP4; квантизация выполнена с помощью LLM Compressor, а модель подготовлена для инференса в vLLM версии 0.9.1 и выше. Переход с 16 до 4 бит на параметр уменьшает размер модели на диске и требования к памяти GPU примерно на 75%, что является её основным преимуществом. К ограничениям относятся возможная потеря качества по сравнению с неквантизированной моделью и зависимость от совместимого программного стека и аппаратной поддержки. README отдельно ограничивает использование сценариями, соответствующими применимым законам и требованиям экспортного контроля, а также указывает использование на английском языке вне заявленной области применения. Модель распространяется по лицензии Apache-2.0.

trymirai/Qwen3.6-27B-M — это 4-битная квантованная версия языковой модели Qwen3.6-27B, подготовленная Mirai Labs для эффективного локального запуска на устройствах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования большой языковой модели, включая агентские задачи, диалоги и работу с длинным контекстом; подробные сведения о возможностях и ограничениях унаследованы от исходной модели Qwen3.6-27B. Ключевая особенность модели — 4-битное асимметричное целочисленное квантование с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для снижения влияния выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms. Квантование выполнено после обучения и дополнительно улучшено дистилляцией с учётом квантования. По размеру и уровню квантования модель сопоставима с вариантом Unsloth Q4_K_M GGUF. В README не указаны точный размер контекста, поддерживаемые языки, архитектурные детали исходной модели и результаты конкретных оценок. Сильной стороной является компромисс между размером и качеством: по заявлению разработчиков, checkpoint находится на границе Парето по размеру и KL-дивергенции, а также оптимизирован для эффективного локального вывода на Apple silicon. Ограничение — заявлена поддержка инференса только на Apple silicon; инструкции для запуска ориентированы на macOS и пакет mirai. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-19B-Pruned-GGUF — набор официальных GGUF-квантований модели ewinregirgojr/Qwen3.8-19B-Pruned, опубликованный и квантованный ewinregirgojr. Модель предназначена для локальной генерации текста, диалоговых сценариев, задач рассуждения и function calling на потребительском оборудовании. Поддерживаются Ollama, LM Studio, Jan, llama.cpp, Unsloth, LocalAI и Open WebUI. Модель основана на архитектуре Qwen3.8 и использует 30% структурированной разреженности SparseGPT; заявлено около 18,9 млрд активных ненулевых параметров при сохранении 866 текстовых слоёв. Доступны варианты Q4_0, Q6_K и Q8_0 размером 17,79, 23,20 и 29,30 ГБ соответственно. Максимальная длина контекста заявлена до 262 144 токенов. Указаны английский и китайский языки, текстовая модальность и формат GGUF для локального инференса. В README приведены результаты MMLU 81,5% и GSM8K 86,9%, однако методика и воспроизводимость этих показателей требуют самостоятельной проверки. Сильные стороны — уменьшенный объём весов, возможность запуска на распространённых GPU и оптимизация для локального использования; для Q4_0 заявлена совместимость с видеокартами от 24 ГБ памяти, тогда как более точные варианты требуют больше RAM или VRAM. Ограничения связаны с компромиссом между размером, точностью и требованиями к оборудованию, а также с тем, что разреженность не обязательно ускоряется всеми программными стеками. Модель распространяется по лицензии Apache-2.0.

aquaduck/Qwen3.8-27B-GGUF — это квантизированная GGUF-версия причинной языковой модели Qwen3.8-27B, разработанной командой Qwen и Alibaba Cloud. Репозиторий Aquaduck предоставляет полную модель в формате Q4_K_M, полученную из unsloth/Qwen3.8-27B-GGUF, а также дополнительные шардированные файлы для поэтапной или многосетевой загрузки. Aquaduck отвечает за хостинг и упаковку, а не за обучение или отдельную тонкую настройку модели. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые с GGUF инструменты, такие как llama.cpp, а также использование в приложении Aquaduck. Она поддерживает мультиязычную работу в соответствии с возможностями базовой Qwen3.8-27B и рассчитана на контекст до 262 144 токенов. Архитектура включает около 27,8 млрд параметров, 64 слоя, GQA с 24 Q- и 4 KV-головами и размер скрытого состояния 5120. Ключевые преимущества — существенно меньший размер по сравнению с полноточными вариантами, совместимость с экосистемой GGUF и возможность staged loading с помощью двух шардов, разделённых после слоя 32. Полный файл подходит для обычного одноузлового запуска, тогда как отдельные шардированные файлы не являются самостоятельными моделями и предназначены только для Aquaduck Arc. Квантизация Q4_K_M может снижать качество по сравнению с версиями в более высокой точности; отдельные оценки для этого размещённого варианта не проводились, поэтому его ограничения, риски и смещения соответствуют базовой модели Qwen3.8-27B. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели. При использовании необходимо соблюдать требования лицензии и рекомендации базовой карточки модели, включая корректный chat template и режимы thinking или instruct.

Qwen3.8-27B-GPTQ-W4A8-MTP-Ampere — квантованная версия базовой модели Qwen/Qwen3.8-27B; разработчик в README явно не указан. Модель предназначена для генерации текста и инференса через vLLM, включая сценарии с OpenAI-совместимым API. Профиль запуска рассчитан на текстовые задачи; мультимодальная обработка не включена, несмотря на наличие vision tower в базовой конфигурации. Модель использует GPTQ-квантование: веса декодера представлены в INT4 с размером группы 128, language model head — в INT8, эмбеддинги упакованы в INT8, а MTP-модуль для speculative decoding — в INT4. Предусмотрены FP8 KV-кэш и генерация до трёх черновых токенов MTP за шаг. Заявленная максимальная длина контекста — до 250 000 токенов, однако фактические возможности зависят от доступной памяти и настроек запуска. Для работы требуется две видеокарты NVIDIA с 24 ГБ VRAM, например RTX 3090, Linux с совместимыми CUDA и драйверами, Python 3.11 и строго указанная версия vLLM 0.27.1. К сильным сторонам относятся снижение требований к памяти по сравнению с полноразмерной BF16-моделью и ускорение генерации благодаря speculative decoding. Ограничения включают возможное ухудшение качества из-за квантования весов и FP8 KV-кэша, необходимость специального compatibility layer и отказ от запуска с другими версиями vLLM, а также привязку тестового профиля к двум GPU. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, выпущенная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальное вступление и отсутствие отказного поведения, поэтому подходит для задач, где требуется максимально свободная генерация. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя языковой модели, скрытый размер 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, дополненный профилем ускорения HauhauCS FastMTP 32K. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки. Для изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются большой контекст, поддержка текста, рассуждений, агентских задач и мультимодального ввода, а также варианты квантизации от Q2 до Q8 для разного соотношения качества и требований к памяти. Aggressive-профиль может быть менее безопасным и менее подходящим для надёжных длинноконтекстных агентских сценариев, где рекомендуется более сбалансированная версия. Квантизация также может влиять на качество, а FastMTP и vision projector распространяются отдельными файлами. Модель и указанные компоненты распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Профиль Aggressive ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа; при этом заявлено сохранение исходных текстовых, reasoning-, agentic-, image- и video-возможностей базовой модели. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder и поддержкой языков English, Chinese и других языков за счёт мультиязычной базы. Архитектура включает 64 слоя языковой модели, hidden size 5120, FFN size 17408, словарь размером 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживается нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. В поставку входят различные GGUF-квантизации, отдельный BF16 vision projector для изображений и видео, а также профиль HauhauCS FastMTP 32K для ускорения speculative decoding; заявлено ускорение до 3,02 раза для документов и до 1,93 раза для reasoning-сценариев по сравнению с режимом без MTP. Сильные стороны модели — широкий набор модальностей, длинный контекст, сохранённые возможности Qwen3.8, выбор квантизаций от Q2 до Q8 и оптимизированные K_P-кванты, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Агрессивный профиль может быть менее подходящим для надёжно контролируемых агентских и критически важных задач, где предпочтительнее более сбалансированная настройка. Для мультимодального ввода требуется отдельный vision projector, а запуск требует значительных ресурсов: размер текстовых файлов составляет примерно от 10,32 до 31,46 ГБ в зависимости от квантизации. Модель распространяется по лицензии Apache-2.0.

Atomic-Germ/Qwen3.8-Flash-Next-APEX-GGUF — набор оптимизированных GGUF-квантизаций модели Qwen3.8-Flash-Next, разработанный Atomic-Germ на базе mudler/Qwen3.8-Flash-Next-APEX-GGUF. Модель описана как Mixture-of-Experts архитектура объёмом 125B/177B параметров с технологиями GDN и Qwen Sparse Attention. Репозиторий ориентирован на локальный запуск и совместное использование с Guanaco, включая потоковую загрузку с диска на потребительском оборудовании. Основные варианты включают Q6_K с высококачественной квантизацией весов, Q8_0 для скрытых состояний и F32 для нормализаций, а также более компактный Q4_0 с меньшими требованиями к памяти. В комплект также входит importance matrix imatrix.dat, предназначенная для настройки квантизации и оптимизации динамической выгрузки экспертов. В репозитории заявлен улучшенный шаблон чата с поддержкой многошагового диалога, строгих JSON-схем и параллельных вызовов инструментов. Для запуска через Guanaco указана возможность работы примерно в 24 ГБ памяти; конкретная скорость зависит от оборудования, типа квантизации и используемых ядер. Сильными сторонами являются высокая степень сжатия при заявленном небольшом ухудшении perplexity относительно BF16, оптимизация размещения чувствительных слоёв и поддержка потокового запуска крупных MoE-моделей на ограниченных ресурсах. Ограничения включают зависимость производительности от конкретного оборудования и режима загрузки, отсутствие измерений пропускной способности в README, а также неполную оценку на отложенных данных. Языки, точная максимальная длина контекста и полноценные мультимодальные возможности явно не указаны; в примере запуска используется контекст 128000 токенов. Лицензия — Apache-2.0.

mlx-community/Qwen3-Next-80B-A3B-Instruct-4bit — это 4-битно квантизированная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.27.1. Модель предназначена для генерации текста и выполнения задач по инструкциям в приложениях, использующих экосистему MLX, включая локальный запуск через библиотеку mlx-lm. Из README известно, что модель является текстовой и относится к pipeline text-generation. В её названии указаны размер 80B и конфигурация A3B, однако подробности архитектуры, поддерживаемые языки, длина контекста и набор модальностей не приведены. Ключевое преимущество версии — 4-битное представление, потенциально уменьшающее требования к памяти при локальном использовании, но README не содержит данных о качестве, производительности или ограничениях квантизации. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-Next-80B-A3B-Instruct-NVFP4 — квантизированная языковая модель для генерации текста и диалогового взаимодействия. Модель разработана Red Hat на основе Qwen/Qwen3-Next-80B-A3B-Instruct и использует архитектуру Qwen3NextForCausalLM. На вход принимает текст и возвращает текст; сведения о поддерживаемых языках и максимальной длине контекста в README не указаны. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP4 по схеме NVFP4, при этом отдельные компоненты, включая lm_head, некоторые gate- и attention-слои, не квантизируются. По данным README, это уменьшает число бит на параметр с 16 до 4, а также приблизительно на 75% снижает размер модели на диске и требования к памяти GPU. Модель предназначена для инференса и может запускаться через vLLM; в приведённом примере используется tensor parallelism на двух GPU. Основное преимущество — существенное сокращение потребления памяти при сохранении назначения исходной instruct-модели. Ограничения связаны с использованием низкоразрядной квантизации, которая может влиять на качество генерации, а также с требованиями к совместимому программному и аппаратному окружению; количественная оценка влияния квантизации и подробные результаты бенчмарков в доступном фрагменте README отсутствуют. Модель распространяется по лицензии Apache-2.0.

Qwen3-Swallow 32B RL v0.2 AWQ-INT4 — квантованная 4-битная версия большой языковой модели, разработанная командой Tokyo Institute of Technology под названием tokyotech-llm на основе Qwen3. Модель дообучалась с использованием непрерывного предварительного обучения, supervised fine-tuning и reinforcement learning with verifiable rewards (RLVR), включая датасеты по математике, программированию, рассуждениям и диалогам. Модель предназначена для генерации текста, общения, японско-английского перевода, решения математических задач, программирования и задач, требующих развитого рассуждения. Она оптимизирована для японского и английского языков. Размер исходной модели составляет 32 млрд параметров; архитектурные детали и токенизатор соответствуют Qwen3. Рекомендуется использовать контекст длиной не более 32 768 токенов и параметры генерации temperature 0,6, top-p 0,95 и top-k 20. К сильным сторонам относятся высокая двуязычная компетентность, улучшенные возможности рассуждения и сохранение производительности в математике и программировании. Для данной AWQ-квантизованной версии результаты оценки пока не опубликованы. Модель не обучалась специально для использования инструментов и function calling, а переключение режима рассуждений ON/OFF не поддерживается. Лицензия — Apache-2.0.

Qwopus-GLM-18B-Healed — плотная языковая модель примерно на 18 млрд параметров, собранная Kyle Hessling как 64-слойное слияние двух дообученных моделей Qwen3.5-9B от Jackrong. Первые 32 слоя взяты из Jackrong/Qwopus3.5-9B-v3.5, остальные — из Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1; границу между частями сгладили 1000 шагами QLoRA-дообучения. В репозитории размещены исходные веса BF16 в формате safetensors для дальнейшей квантизации или дообучения. Модель предназначена для генерации текста в диалоге, рассуждений, вызова инструментов и агентных сценариев. Автор сообщает о результатах на собственной серии из 44 тестов, включая проверки вызова инструментов и агентных задач; это заявление автора, а не независимая оценка. Метаданные указывают поддержку английского, китайского, корейского, японского, французского, немецкого и испанского языков. Лицензия — Apache-2.0. Для запуска и квантизации требуются подходящие вычислительные ресурсы; готовая квантизированная версия размещена отдельно.

jeiku/Zephyr_beta_32k_7B — диалоговая языковая модель, полученная автором репозитория слиянием моделей методом DARE TIES. В основе лежит mistralai/Mistral-7B-Instruct-v0.2; также в слияние включена typeof/zephyr-7b-beta-lora. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста в формате диалога и ответов на инструкции. Она принимает текст и рассчитана на контекст до 32 768 токенов. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0.

ChimeraLlama-3-8B-v2 — языковая модель на архитектуре Llama, созданная mlabonne с помощью LazyMergekit путём слияния шести моделей семейства Llama 3. Она предназначена для генерации текста и диалогового использования, включая ответы на вопросы и написание кода. Модель содержит 7,5 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 8192 токена. В состав слияния входят инструктивные и диалоговые модели, включая NousResearch/Meta-Llama-3-8B-Instruct, OrpoLlama-3-8B и Dolphin 2.9 Llama 3 8B. Карточка приводит результаты оценок Open LLM Leaderboard, в том числе IFEval и BBH. В метаданных указана лицензия other; конкретные условия использования следует сверить с лицензиями исходных моделей. Данные карточки не описывают отдельную специализацию или гарантии качества для конкретных сценариев.

Daredevil-8B — диалоговая языковая модель, созданная mlabonne как объединение нескольких моделей Llama 3 8B с помощью LazyMergekit. Репозиторий содержит плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров; модель принимает текст и генерирует текст, поддерживает контекст до 8192 токенов и предназначена для чата и генерации ответов. Автор позиционирует её как улучшенную версию Meta-Llama-3-8B-Instruct и сообщает о высоких результатах на MMLU и наборах Open LLM Leaderboard и Nous по состоянию на май 2024 года. Модель общего назначения можно применять для диалогов, ответов на вопросы, генерации текста и кода. В README она описана как цензурированная; для снятия ограничений автор указывает отдельную модель Daredevil-8B-abliterated. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в карточке модели и лицензиях компонентов объединения.

DeepSeek-V2-Lite-Chat-GGUF — это квантизированная GGUF-версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek-ai и подготовленной компанией Second State Inc. Модель предназначена для локального запуска и генерации ответов в формате чат-ассистента; в README также указана совместимость с LlamaEdge версии 0.12.3 и выше. Модель поддерживает контекст размером до 128 000 токенов и использует шаблон запросов deepseek-chat-2. В репозитории доступны варианты квантования от Q2_K до Q8_0, а также f16, с размером файлов примерно от 6,43 до 31,4 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Более сильное квантование уменьшает требования к памяти, но может заметно снижать качество ответов. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках и модальностях, поэтому эти характеристики нельзя уточнить. Модель распространяется по лицензии DeepSeek с обозначением other; ссылка на условия лицензии приведена в исходном описании.

Andycurrent/gemma-3-4b-it-uncensored-v2-GGUF — квантованные версии Gemma-3-4B-IT-Uncensored-v2, созданной на базе Gemma 3 и модели braindao/gemma-3-4b-it-uncensored-v2. Это инструкционно дообученная языковая модель примерно на 4 млрд параметров, предназначенная для локального, офлайн- и приватного развертывания. Указан английский язык; модель работает в текстовом режиме и использует формат чата Gemma с маркерами начала и конца хода диалога. Модель ориентирована на диалоги, генерацию текста, творческие задачи, рассуждения, структурированные ответы, объяснение кода, примеры и лёгкую отладку. Она делает акцент на высокой отзывчивости, следовании пользовательским инструкциям, стабильности в продолжительных диалогах и уменьшенном количестве встроенных ограничений, поэтому может применяться для персональных ассистентов, ролевых систем, prompt engineering, исследований выравнивания и экспериментов с поведением моделей. Ключевое преимущество — сочетание компактного размера и возможности запуска на потребительских GPU, CPU с квантованием и устройствах с ограниченными ресурсами. При этом точные параметры квантования, максимальная длина контекста и результаты бенчмарков не указаны. Из-за минимально ограниченного поведения модель может генерировать контент, который обычно фильтруется; пользователю необходимо самостоятельно учитывать требования законодательства, политики и этические нормы. Лицензия наследует условия оригинальной модели Gemma.

Gemma-4-12B-Heretic-Abliterated-GGUF — набор GGUF-квантизаций модели culturerevolt/gemma-4-12b-heretic-abliterated, созданной на основе архитектуры Google Gemma-4 12B Instruction Tuned. Репозиторий разработан culturerevolt; в README также отмечен вклад Google DeepMind в архитектуру и Philipp Emanuel Weidmann в разработку подхода Heretic abliteration. Модель предназначена для локальной генерации текста, диалогов, рассуждений, творческого письма и агентских сценариев, включая обработку структурированного вывода и JSON. Поддержка изображений заявлена через отдельный мультимодальный проектор gemma-4-12b-it-mmproj-f16.gguf. Доступны варианты Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ3_XS с разным соотношением качества, скорости и требований к памяти. Для части вариантов использована калибровка iMatrix, ориентированная на сохранение логики, синтаксиса, инструментального вызова и качества повествования при квантовании. Точный список языков и базовый размер контекстного окна в README не указаны; для IQ4_XS упоминается возможность работы с контекстом до 131 тысяч токенов в определённых конфигурациях. Сильные стороны модели — широкий выбор степеней квантования, возможность запуска на локальном оборудовании и оптимизация низкобитных вариантов с помощью importance matrix. Ограничения связаны с неизбежной потерей точности при более агрессивном квантовании, зависимостью мультимодального режима от совместимого backend и отдельного projector-файла, а также с тем, что аблитерированная версия позиционируется как decensored и может иметь меньше встроенных отказов от нежелательных запросов. Лицензия — Apache-2.0.