I.2Синтез, понимание и проверка знаний

palmer-002-32k — языковая модель семейства Llama от appvoid, созданная на основе palmer-002-2401 путём слияния и дообучения с TinyLlama-1.1B-32k-Instruct от Doctor-Shotgun. Модель предназначена для генерации текста и работы с длинным контекстом; заявленная длина контекста — 32 768 токенов, размер — 1 млрд параметров. В README приведено сравнение результатов zero-shot оценки на ARC-C, OBQA, HellaSwag, PIQA и Winogrande. Для длинного контекста и генерации текста модель может применяться в диалоговых сценариях и для ответов на вопросы по объёмным материалам. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Оценки в карточке ограничены указанными бенчмарками и настройкой zero-shot; README не приводит результатов отдельной оценки качества на контекстах длиной 32k.

Карточка модели google/pegasus-aeslc на Hugging Face совпадает с карточкой google/pegasus-xsum, поэтому описание составлено по ней. google/pegasus-xsum — англоязычная модель Pegasus для генерации кратких пересказов, основанная на архитектуре кодировщика-декодировщика и разработанная Jingqing Zhang, Yao Zhao, Mohammad Saleh и Peter J. Liu; карточку поддерживает @sshleifer. Модель содержит 366,8 млн параметров, принимает текст и выдаёт текст. Её основная специализация — абстрактная суммаризация, в частности создание короткого пересказа по исходному тексту; в материалах карточки приведены результаты на XSum, CNN/DailyMail и других наборах данных. При предобучении использовались C4 и HugeNews, смешанные и стохастически выбранные предложения-заполнители, а также изменённый SentencePiece-токенизатор с поддержкой символа новой строки. Заявленная длина контекста — 512 токенов. Доступны веса в форматах PyTorch, TensorFlow и Flax. Карточка не сообщает об ограничениях помимо длины контекста. Лицензия в предоставленных данных не указана.

Карточка модели google/pegasus-gigaword на Hugging Face совпадает с карточкой google/pegasus-xsum, поэтому описание составлено по ней. google/pegasus-xsum — англоязычная модель Pegasus для генерации кратких пересказов, основанная на архитектуре кодировщика-декодировщика и разработанная Jingqing Zhang, Yao Zhao, Mohammad Saleh и Peter J. Liu; карточку поддерживает @sshleifer. Модель содержит 366,8 млн параметров, принимает текст и выдаёт текст. Её основная специализация — абстрактная суммаризация, в частности создание короткого пересказа по исходному тексту; в материалах карточки приведены результаты на XSum, CNN/DailyMail и других наборах данных. При предобучении использовались C4 и HugeNews, смешанные и стохастически выбранные предложения-заполнители, а также изменённый SentencePiece-токенизатор с поддержкой символа новой строки. Заявленная длина контекста — 512 токенов. Доступны веса в форматах PyTorch, TensorFlow и Flax. Карточка не сообщает об ограничениях помимо длины контекста. Лицензия в предоставленных данных не указана.

Карточка модели google/pegasus-newsroom на Hugging Face совпадает с карточкой google/pegasus-xsum, поэтому описание составлено по ней. google/pegasus-xsum — англоязычная модель Pegasus для генерации кратких пересказов, основанная на архитектуре кодировщика-декодировщика и разработанная Jingqing Zhang, Yao Zhao, Mohammad Saleh и Peter J. Liu; карточку поддерживает @sshleifer. Модель содержит 366,8 млн параметров, принимает текст и выдаёт текст. Её основная специализация — абстрактная суммаризация, в частности создание короткого пересказа по исходному тексту; в материалах карточки приведены результаты на XSum, CNN/DailyMail и других наборах данных. При предобучении использовались C4 и HugeNews, смешанные и стохастически выбранные предложения-заполнители, а также изменённый SentencePiece-токенизатор с поддержкой символа новой строки. Заявленная длина контекста — 512 токенов. Доступны веса в форматах PyTorch, TensorFlow и Flax. Карточка не сообщает об ограничениях помимо длины контекста. Лицензия в предоставленных данных не указана.

PIT-1B-202312 — базовая предварительно обученная языковая модель семейства Point-In-Time от Diamegs. Это декодерный Transformer в стиле GPT для генерации текста; модель обучена на хронологически упорядоченных ежемесячных снимках FineWeb и отражает сведения, доступные к декабрю 2023 года. В README указано 52 слоя. Она предназначена для генерации текста и анализа, в котором важно учитывать состояние знаний на определённый момент времени. Модель можно использовать для исследования изменений в знаниях и ответов с привязкой к прошлой дате. Контекст модели составляет 2048 токенов. Веса поставляются в формате safetensors для использования с Transformers. Лицензия — Apache-2.0. Это базовая модель без RLHF и дополнительной настройки безопасности: её ответы могут отражать предубеждения обучающих данных, а знания ограничены текстами, доступными до декабря 2023 года. Для применения в критически важных сценариях требуется дополнительная проверка и настройка.

pplx-decider-v1-27b — плотная мультимодальная модель на 27 млрд параметров, разработанная Perplexity и дообученная на базе Qwen/Qwen3.8-27B для задач классификации и принятия решений. В метаданных Hugging Face для неё указан pipeline text-classification; README приводит результаты на 11 бенчмарках, включая WinoGrande, FinancialPhraseBank и RAGTruth, измеренные через Perplexity API. Модель подходит для классификации текстов, оценки утверждений и выбора между вариантами в задачах на рассуждение. README указывает на необходимость Python 3.12 или новее и CUDA GPU, способного разместить около 49 ГиБ весов вместе с рабочей памятью. Репозиторий содержит веса safetensors и inference.py. Лицензия — Apache-2.0.

QuestionGenerationComQ9 — дообученная модель семейства T5, разработанная на основе Gayathri142214002/Question_Generation_ComQ_8. Она предназначена для генерации вопросов; в README приведён результат оценки Loss 0,2350, но подробности набора данных и условий оценки отсутствуют. Модель содержит 123,8 млн параметров, принимает текстовый контекст длиной до 512 токенов и формирует текст. Распространяется в формате safetensors по лицензии Apache-2.0.

Карточка модели DdaanZzubb/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели DongfuJiang/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

jeiku/qwen2base — слитая с помощью LazyMergekit модель на архитектуре Qwen2, объединяющая maywell/Qwen2-7B-Multilingual-RP и jeiku/qwen2-1 методом slerp. Она предназначена для генерации текста и диалогового общения. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; файлы опубликованы в формате safetensors. Мультиязычный базовый компонент рассчитан на общение и генерацию текста. Карточка не уточняет поддерживаемые языки, сравнительное качество слияния или специальные предметные области. Лицензия в доступных сведениях не указана.

Qwen3-235B-A22B-Instruct-2507-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, а распространение модели представлено в рамках программы LM Studio Community Models. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска через совместимое программное обеспечение, включая LM Studio и llama.cpp. Из доступных данных известно, что исходная модель имеет размер 235B параметров, из которых 22B являются активными, однако сведения о конкретном типе квантизации, поддерживаемых языках, модальностях и размере контекста в README не указаны. К сильным сторонам относятся крупный масштаб исходной модели, инструкционная настройка и возможность использования GGUF-формата в локальной инфраструктуре. Ограничения связаны с отсутствием в предоставленной карточке подробностей о производительности, точности, аппаратных требованиях, вариантах квантизации и лицензии. Модель предоставляется третьими сторонами; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность результатов.

Exil01 представляет Qwen3.5-27B-Uncensored-YaRN-1M — GGUF-сборку плотной модели Qwen3.5 с 27 млрд параметров, основанную на HauhauCS/Qwen3.5-27B-Uncensored-HauhauCS-Aggressive. Модель предназначена для диалоговой генерации текста и работы с длинными контекстами; заявлены 262 тыс. токенов активного контекста и расширение YaRN до 1 млн токенов. Карточка также указывает поддержку изображений через файл mmproj. В репозитории указаны варианты GGUF BF16 и F16; для запуска заявлены примерно 60 ГБ видеопамяти при контексте 262 тыс. токенов и 90 ГБ при 1 млн. Максимальная длина генерации по карточке — 81 920 токенов. Модификация описана как uncensored и aggressive; качество и безопасное поведение не гарантируются. Лицензия — Apache-2.0.

insraq/Qwen3.5-2B-EmperoAI-Qwen3.8-Distill-Heretic-Abliterated — текстовая доработка модели семейства Qwen, созданная Empero и опубликованная insraq. Это полнопараметрический вариант Qwen/Qwen3.5-2B: его дообучили методом дистилляции на примерно 30 тысячах отобранных примеров рассуждений и следов инструкций, а затем применили Heretic для снижения склонности к отказам. Модель содержит около 2 млрд параметров, использует плотную архитектуру Qwen3.5 и принимает текст; нативное контекстное окно составляет 262 144 токена. Модель предназначена для диалогов, следования инструкциям, математических задач и общих рассуждений, в том числе на устройствах с ограниченными ресурсами. В README приведены результаты на GSM8K и MMLU, где вариант Qwen3.8-2B превосходит базовую Qwen3.5-2B в указанных тестах; это результаты карточки, а не гарантия качества для других сценариев. Дообучение было текстовым, поэтому унаследованные от мультимодальной основы возможности работы с изображениями не оценивались. Для генерации рекомендуются ненулевая температура и достаточно длинный лимит вывода; при жадном декодировании на длинных ответах возможны циклы повторения. Весовые файлы доступны в формате Safetensors и рассчитаны на Transformers, а также совместимые с архитектурой среды. Лицензия — Apache-2.0.

Qwen3.5-4B-AWQ — квантизированная версия мультимодальной vision-language модели Qwen3.5-4B, разработанной командой Qwen (Alibaba Group). Модель принимает текст, изображения и видео во взаимно чередующемся формате и генерирует текст; поддерживает режим рассуждений, включённый по умолчанию. Она предназначена для анализа изображений и видео, визуально-текстового диалога, описания изображений и других задач image-text-to-text, а также для текстовых запросов. Базовая модель содержит около 4 млрд параметров и использует гибридную архитектуру Hybrid Gated DeltaNet + sparse MoE с vision encoder. Нативная длина контекста составляет 262 144 токена и может быть увеличена с помощью RoPE scaling. Заявлена поддержка 201 языка и диалекта. В этой версии применена AWQ-квантизация W4A16: веса линейных слоёв языковой модели представлены в 4 битах, а активации — в 16 битах; формат — compressed-tensors pack-quantized. Vision tower, router gates и lm_head сохранены в более высокой точности, что должно способствовать сохранению качества обработки изображений. Ключевое преимущество модели — уменьшенный размер на диске и расход VRAM при сохранении мультимодальных возможностей, благодаря чему она ориентирована на запуск на одной потребительской GPU. Для работы требуются GPU с поддержкой INT4 Marlin kernels, актуальная версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration и совместимая конфигурация compressed-tensors. В README указана проверка на NVIDIA Blackwell (sm_120); конкретные показатели качества и бенчмарки не приведены. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen3.5-4B.

Qwen3.5-9B-MXFP8-FP8KV-FP8Attn-CT-AutoRound — квантизированная версия модели Qwen3.5-9B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска сценариев, требующих языкового понимания и вывода, при сниженном потреблении памяти по сравнению с полноточной версией. Квантизация выполнена в формате MXFP8 с использованием метода AutoRound. В README указано, что базовая модель имеет размер 9B параметров; сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна не приведены. Для оценки указаны результаты на GSM8K — 0,9310, HellaSwag — 0,5825, MMLU — 0,7833 и PIQA — 0,7916. Основное преимущество модели — более компактное представление, потенциально позволяющее эффективнее использовать вычислительные ресурсы. Ограничения связаны с возможными потерями качества из-за квантизации и отсутствием в README подробностей о совместимых средствах запуска, точных характеристиках производительности и областях применения. Условия лицензирования отдельно не указаны: необходимо соблюдать лицензию исходной модели Qwen/Qwen3.5-9B.

Qwen3.6-27B-NInfer — мультимодальная модель для генерации текста и обработки изображений и видео, подготовленная Neroued на основе Qwen/Qwen3.6-27B. Это не стандартный checkpoint для Transformers, Safetensors или GGUF, а артефакт в нативном формате .ninfer, предназначенный для запуска через NInfer. Модель поддерживает режимы с рассуждением и без него, текстовые, мультиизображенческие, видео- и смешанные мультимодальные сообщения. Указана архитектура Qwen3_5ForCausalLM; размер файла составляет около 16,29 ГиБ. Доступны MTP-спекулятивное декодирование, различные форматы KV-кэша, CUDA Graph, повторное использование совместимого префикса и небольшое параллельное обслуживание запросов. При запуске сервера заявлен логический предел контекста до 240 000 токенов. Поддерживаемые языки в карточке не указаны. Модель подходит для локальной генерации текста, диалоговых приложений, задач рассуждения, анализа изображений и видео, а также для развёртывания через NInfer CLI или совместимые интерфейсы OpenAI Responses, Chat Completions и Anthropic Messages. Среди ограничений — необходимость использовать NInfer, сборку из исходного кода, 64-битный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее; готового установочного пакета NInfer не предоставляется. В карточке приведены результаты на AIME 2025, AIME 2026 и GPQA-Diamond, но методика и полный набор измерений ограничены описанными условиями. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-MXFP8-CRACK-MTP — мультимодальная модель dealignai на базе Qwen/Qwen3.6-35B-A3B, подготовленная для запуска через MLX на компьютерах Apple с Apple Silicon. Это доработанная и квантованная версия с архитектурой MoE и гибридом SSM и полного внимания; в README указаны 35 млрд параметров, 40 слоёв и 10 активных экспертов. Модель принимает текст и изображения, поддерживает понимание видео и генерирует текст в диалоге; также предоставляет интерфейс вызова инструментов. По заявлению автора, CRACK удаляет поведение отказа на уровне весов, а сохранённая голова MTP позволяет ускорять генерацию спекулятивным декодированием d3 примерно в 1,5 раза в совместимой среде vMLX. Автор приводит результаты HarmBench-320 99,4% и MMLU 84,6%; это заявленные оценки, а не независимая гарантия качества. Предназначена для диалогов, анализа изображений и видео, рассуждений и исследовательских сценариев, включая авторизованное тестирование безопасности. Распространяется по лицензии Apache-2.0. Версия описана как лишённая отказов и потому может выполнять запросы из разных категорий; пользователь отвечает за применение модели. Для видео и ускорения MTP требуется совместимый рантайм, а README рекомендует vMLX.

Ex0bit/Qwen3.6-35B-A3B-PRISM-NVFP4 — мультимодальная модель для генерации текста, основанная на Qwen/Qwen3.6-35B-A3B и доработанная проектом Ex0bit с использованием настройки PRISM. PRISM направлена на смягчение чрезмерных отказов, удаление нежелательных проявлений предвзятости и пропагандистских шаблонов при сохранении или улучшении качества выполнения задач, связности ответов и мультимодальных возможностей. Модель использует разреженную архитектуру Mixture-of-Experts: общий размер составляет 35 млрд параметров, около 3 млрд параметров активируются для каждого токена, предусмотрено 256 маршрутизируемых экспертов. Веса и активации квантованы в формат NVFP4 W4A4 с использованием compressed-tensors; некоторые компоненты, включая vision encoder, lm_head, роутеры, embeddings и состояние линейно-внимательной SSM, сохранены в BF16. Доступна поддержка мультимодального ввода и MTP draft head для ускоренного спекулятивного декодирования. В README приведён режим обслуживания с ограничением контекста 32768 токенов. Ключевые преимущества модели — существенно сниженные требования к хранению, поддержка мультимодальных сценариев, MoE-эффективность и возможность спекулятивного декодирования. Основные ограничения связаны с аппаратной и программной совместимостью: модель рассчитана прежде всего на GPU NVIDIA Blackwell с архитектурами SM120/SM121 и требует версии vLLM с поддержкой NVFP4; стандартные сборки могут работать некорректно, особенно на SM121. Лицензия Apache 2.0 унаследована от базовой модели.

TheCluster/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — модель семейства Qwen3.8 с 27 млрд параметров, опубликованная TheCluster. Она преобразована в формат MLX из KridgeDookie/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS с использованием mlx-vlm 0.6.13. По метаданным модель предназначена для сценариев image-text-to-text и поддерживает работу с текстом и изображениями в совместимых фреймворках. Модель использует смешанное квантование: большинство тензоров представлены в 8-битном аффинном формате с размером группы 32, а отдельные важные тензоры сохранены в bf16. Итоговая точность составляет 9,450 бит на вес, что снижает требования к памяти по сравнению с полноразмерной моделью, но может ограничивать качество относительно исходной версии. Заявлена поддержка множества языков, включая английский, китайский, русский, испанский, французский, немецкий, японский, корейский, арабский, украинский и другие; размер контекста в README не указан. Модель ориентирована на универсальные задачи генерации и анализа с заявленным режимом без ограничений содержательного характера. По умолчанию reasoning_effort установлен в low, чтобы избегать избыточного рассуждения. Для режима рассуждений рекомендуются temperature 1.0, top_p 0.95 и top_k 20, а для instruct-режима — temperature 0.7, top_p 0.80, top_k 20 и presence_penalty 1.5. Повышение presence_penalty может уменьшать повторения, но иногда приводит к смешению языков и снижению качества. Лицензия — Apache-2.0.

Qwen3.8-27B-FP8 — квантованная версия мультимодальной модели Qwen3.8-27B, опубликованная huginnfork на базе модели Qwen/Qwen3.8-27B. Она предназначена для задач, объединяющих работу с текстом и изображениями, включая генерацию и понимание ответов по визуально-текстовым запросам. Модель поддерживает speculative decoding и multi-token prediction, однако конкретный набор языков и максимальная длина контекста в предоставленных данных не указаны. Модель имеет плотную архитектуру семейства Qwen3.5 с гибридом линейного внимания и полного self-attention, vision tower и MTP-head. Квантование выполнено по схеме FP8_DYNAMIC W8A8: веса и активации MLP-проекций квантуются в FP8 E4M3, а активации обрабатываются динамически на уровне токенов. Пути self-attention, linear attention на базе SSM, vision tower, lm_head и MTP-head сохранены в формате bf16. Размер чекпойнта составляет около 35,8 GiB в восьми файлах против 51,7 GiB у версии bf16. Выборочная квантизация MLP снижает объём хранения и, согласно приведённым измерениям, обеспечивает меньшее расхождение с исходной bf16-моделью, чем официальный FP8-релиз, при сохранении сопоставимой perplexity. Ограничения включают необходимость совместимого программного и аппаратного стека для FP8 и отсутствие в предоставленном README подробностей о фактической производительности, поддерживаемых языках и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Это мультимодальная vision-language модель Qwen3.8-27B, разработанная командой Qwen и представленная в квантованном варианте пользователем lribeiro. Модель предназначена для обработки текста, изображений и видео, включая задачи понимания визуального содержания и генерации текста по визуальному контексту. Она реализована на базе архитектуры Qwen3_5ForConditionalGeneration и поддерживает многоязычные сценарии. Языковая часть содержит около 27 млрд параметров, а vision tower — ещё около 460,7 млн. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, а также vision encoder на базе 27-слойного ViT. Контекст в указанной конфигурации составляет 8192 токена. Лингвистические слои используют FP8 E4M3 в режиме W8A8 с GPTQ-коррекцией весов, тогда как визуальный энкодер и MTP-head сохранены в BF16. Размер чекпойнта составляет 29,97 ГБ против 55,6 ГБ у BF16-базы. Сильными сторонами являются сохранённая обработка изображений и видео, уменьшенный размер, высокая скорость prefill и поддержка MTP speculative decoding; после исправления конфигурации заявлена скорость декодирования 106,9 токена в секунду против 69,4. Ограничения включают необходимость оборудования с поддержкой FP8, прежде всего NVIDIA Blackwell, Ampere или Hopper, а также зависимость от совместимой версии vLLM и FlashInfer. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Pessoa-5090 (AR11) — квантованный вариант Qwen/Qwen3.8-27B, подготовленный автором lribeiro. Это vision-language model для обработки текста и изображений, включая сценарии image-text-to-text; языковая часть поддерживает multilingual-данные. Модель предназначена для запуска через vLLM на одной видеокарте NVIDIA RTX 5090 с архитектурой Blackwell SM120 и поддерживает speculative decoding с помощью MTP. Модель содержит 27,79 млрд параметров и использует архитектуру Qwen3_5ForConditionalGeneration: 27-слойный ViT-энкодер изображений и языковую модель из 64 слоёв, объединяющую 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания. Максимальный контекст составляет 262 144 токена, словарь — 248 320 токенов. Квантование выполнено методом AutoRound 0.14.2 в формате compressed-tensors: ранние MLP-слои используют INT4, поздние — INT5, а проекции внимания — INT6; активации, KV-cache, визуальный энкодер, эмбеддинги, lm_head и MTP-head сохраняются в BF16. Главное преимущество — уменьшение размера с 55,6 до 22,59 ГБ при сохранении качества: заявлены KLD 0,00397 наты и совпадение top-1 в 97,64% случаев на тесте из 278 392 позиций. Ограничения включают зависимость от совместимого стека vLLM, FlashInfer и оборудования Blackwell, а также потенциальные потери точности из-за квантования весов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем jaromer и предназначенный для запуска через llama.cpp. Модель ориентирована на генерацию текста, диалоги и другие задачи обработки текста; доступны также варианты с поддержкой изображений, если это поддерживается базовой моделью. Уровень отказов существенно снижен с помощью метода abliteration на базе Heretic, однако полностью не устранён. Дополнительное обучение и новые обучающие данные не использовались. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, контекст до 262 144 токенов, один MTP-слой и поддержку vision. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ. Варианты с сохранённой MTP-головой поддерживают speculative decoding; также предлагаются отдельные target- и draft-файлы. Заявленные языки — английский и китайский. Сильными сторонами являются большой контекст, широкий выбор квантизаций, поддержка MTP и близкие к f16 показатели perplexity у большинства вариантов; IQ2_M заметно уступает остальным по этому измерению. Perplexity не оценивает качество рассуждений, программирования, мультиязычности или поведения отказов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, выпущенная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальное вступление и отсутствие отказного поведения, поэтому подходит для задач, где требуется максимально свободная генерация. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя языковой модели, скрытый размер 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, дополненный профилем ускорения HauhauCS FastMTP 32K. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки. Для изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются большой контекст, поддержка текста, рассуждений, агентских задач и мультимодального ввода, а также варианты квантизации от Q2 до Q8 для разного соотношения качества и требований к памяти. Aggressive-профиль может быть менее безопасным и менее подходящим для надёжных длинноконтекстных агентских сценариев, где рекомендуется более сбалансированная версия. Квантизация также может влиять на качество, а FastMTP и vision projector распространяются отдельными файлами. Модель и указанные компоненты распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это квантованная версия Qwen3.8-27B, выпущенная HauhauCS в формате GGUF. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также анализа изображений и видео при использовании отдельного vision-проектора. Вариант Aggressive настроен на прямые ответы, минимальное вступление и отсутствие стандартного поведения отказа. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder, 64 слоями, размером скрытого состояния 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются языки English, Chinese и другие языки, заявленные как multilingual. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Встроенный NextN/MTP сохранён, а FastMTP добавляет отдельный профиль ускорения для контекста 32K и заявленное ускорение генерации. Сильные стороны модели — широкий контекст, текстовые и мультимодальные возможности, несколько вариантов квантования с разным соотношением качества и размера, а также ускорение speculative decoding через MTP. Ограничения включают отсутствие защитного поведения и отказов в Aggressive-режиме, что может быть нежелательно для надёжных агентских и критически важных сценариев; для них автор рекомендует Balanced-вариант, если он доступен. Для обработки изображений и видео требуется отдельный BF16 vision projector. Модель распространяется по лицензии Apache-2.0.

bowmanslayer/Qwen3.8-27B-Uncensored-W4A16-vision-mtp — квантованная версия мультимодальной модели Qwen3.8-27B-Uncensored, разработанная bowmanslayer на базе Qwen/Qwen3.8-27B. Исходная модель была адаптирована JonathanColetti с помощью abliteration через Heretic, а в этом репозитории выполнены 4-битное квантование W4A16 и перепаковка vision tower. Модель предназначена для генерации текста, рассуждений и обработки изображений, а также может использовать видеовход через vLLM. Заявлены языки English и Chinese. Текстовая часть использует квантование с group size 128, формат GPTQ/AutoRound и kernels Marlin; vision tower сохранён в формате bf16. Размер модели составляет около 19 ГБ, включая MTP head объёмом 849 МБ. Поддерживается контекст до 256K токенов. Разработчик проверил запуск на двух NVIDIA RTX 3090 с tensor parallelism; для инференса рекомендован vLLM. Доступны reasoning и tool calling через соответствующие парсеры vLLM, а MTP head предназначен для экспериментов со speculative decoding. Сильными сторонами являются сочетание мультимодальности, большого контекстного окна и существенной экономии памяти благодаря W4A16-квантованию, при сохранении vision tower в bf16. Ограничения включают зависимость от совместимого окружения vLLM и необходимости корректно задавать параметры обработки изображений; квантование может влиять на качество относительно исходной модели. Оценки в README приведены при включённом режиме thinking и не должны напрямую сравниваться с результатами, полученными при отключённом reasoning. Лицензия — Apache 2.0.

Qwen3.8-Flash-Next-DERISKED-W4A16-AWQ — мультимодальная языковая модель для работы с изображениями и текстом, разработанная как производная от Qwen3.8-Flash-Next. Базовую модель выпустила команда Qwen, вариант DERISKED создан Blackfrost-AI, а данная версия дополнительно подвергнута квантизации AWQ авторами репозитория davetha. Модель предназначена для сценариев image-text-to-text и рассчитана на запуск крупной MoE-модели класса 80B на двух AMD MI210. Используется формат compressed-tensors W4A16: веса представлены в 4-битном виде, активации — в bfloat16, размер группы — 128. Квантизированы маршрутизируемые эксперты и полные attention-слои, тогда как ряд чувствительных компонентов, включая GDN-слои, общий эксперт, нормы, эмбеддинги, MTP-голову и PLE-таблицу, сохранены в bf16. Поддерживается контекст до 262 144 токенов, MTP speculative decoding и PLE n-gram table. На связке vLLM и двух MI210 заявлены производительность prefill около 2200 токенов в секунду и decoding около 40 токенов в секунду с MTP при трёх speculative tokens; без спекулятивного декодирования — около 10 токенов в секунду. Сильные стороны модели — длинный контекст, мультимодальность, эффективное int4-хранение и ускорение MoE-вычислений. Ограничения включают зависимость от специфической конфигурации vLLM/ROCm, медленный bandwidth-bound decoding из-за потоковой загрузки примерно 100 ГБ PLE-таблицы по PCIe и ограничение speculative decoding тремя токенами на указанном стеке. Модель является abliterated/uncensored: защитное поведение отказа удалено, поэтому ответственность за применение лежит на пользователе. Распространяется по Qwen Community License 1.0; применяются условия лицензии базовой модели.

SZYBKIMARCIN955/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision encoder, предназначенную для текстовых и визуально-текстовых задач, включая работу с длинным контекстом и агентские сценарии. Это открытая предварительная версия архитектуры, которая должна стать основой Qwen4. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention на уровне микроблоков, Mixture of Experts, Gated Residual и n-граммные embeddings. Всего заявлено 125B параметров, из которых 6B активируются при обработке, дополнительно используются 51B параметров n-граммных embeddings и 4B для multi-token prediction. Модель содержит 48 слоёв, 512 экспертов, активирует 10 маршрутизируемых и 1 общий эксперт, поддерживает контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Языки в README не указаны. Ключевые преимущества модели — высокая эффективность при длинном контексте, сниженная задержка благодаря разреженному вниманию и относительно небольшое число активируемых параметров при большом общем размере. Ограничения связаны с экспериментальным статусом архитектуры, высокими требованиями к памяти и вычислительным ресурсам, а также отсутствием в предоставленных данных подробных результатов тестирования и описания поддерживаемых языков. Для запуска рекомендуется llama.cpp или Unsloth Desktop. Модель распространяется по лицензии qwen-community-1.0; формат GGUF предназначен для локального инференса совместимыми инструментами.

taurusduan/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий также содержит материалы Unsloth для запуска и квантования. Модель предназначена для генерации текста, задач с длинным контекстом и мультимодальных сценариев, включая обработку изображений, и может использоваться через llama.cpp или Unsloth Desktop. В README не указано точное назначение данного варианта квантования или его конкретные уровни квантования. Это причинная языковая модель с vision encoder и архитектурой, включающей Hybrid Attention с Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts, Gated Residual и n-gram embedding. Всего заявлено 125 млрд параметров, из которых активируется 6 млрд, а также 51 млрд параметров n-gram embedding и 4 млрд для MTP. Модель содержит 48 слоёв, 512 экспертов, из которых активируются 10 маршрутизируемых и один общий, поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддержка языков и точные характеристики GGUF-файлов в README не указаны. К сильным сторонам относятся высокая вычислительная эффективность за счёт разреженного внимания и MoE, ориентация на длинный контекст, мультимодальность и возможность ускорения инференса с помощью MTP. Ограничения связаны с экспериментальным статусом архитектуры, отсутствием в README результатов бенчмарков и подробностей о качестве конкретной квантованной сборки. Лицензия указана как qwen-community-1.0; ссылка на текст лицензии ведёт к файлу LICENSE.

ashuaria/Qwen3.8-Flash-Next-GGUF-FineTuning — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen и опубликованной для запуска через llama.cpp или Unsloth Desktop. Модель предназначена для задач обработки текста и изображений, включая мультимодальные приложения и агентские сценарии с длинным контекстом. Это авторегрессионная языковая модель с vision encoder, построенная на гибридной архитектуре Qwen3.8-Flash-Next. Она использует Gated DeltaNet и Qwen Sparse Attention, Gated Residual, n-gram embedding и Mixture of Experts. Заявлено 125 млрд параметров, из которых активируется 6 млрд, дополнительно используются 51 млрд параметров n-gram embedding и 4 млрд для MTP. Модель содержит 48 слоёв, 512 экспертов с 10 маршрутизируемыми и одним общим активируемым экспертом, а её нативный контекст составляет 262 144 токена с возможностью расширения до 1 млн токенов. Сильными сторонами являются высокая эффективность активации параметров, поддержка длинного контекста, разреженное внимание на уровне блоков и сочетание текстовой и визуальной обработки. README не указывает точный список поддерживаемых языков, конкретные значения квантования GGUF, системные требования или результаты бенчмарков. Модель распространяется по лицензии qwen-community-1.0; указано, что это экспериментальный preview архитектуры, которая должна лечь в основу Qwen4, поэтому совместимость и стабильность следует проверять в целевом окружении.