II.2Создание и понимание программного кода

Это текстовая базовая модель семейства Mistral, опубликованная Unsloth как производная от Mistral-Small-24B-Base-2501, разработанной командой Mistral AI. Она предназначена для генерации текста, дальнейшего дообучения и создания разговорных и агентных приложений. Модель имеет плотную архитектуру MistralForCausalLM и 23,4 млрд параметров; нативное контекстное окно составляет 32 768 токенов. Карточка указывает поддержку многих языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Среди заявленных возможностей семейства — следование инструкциям, рассуждения, вызов функций и выдача JSON; этот репозиторий классифицирован для генерации текста. Веса доступны в формате safetensors, библиотека — Transformers. Лицензия Apache 2.0 разрешает использование и модификацию, в том числе в коммерческих целях. Это базовый чекпойнт, а не указанная в README instruct-версия; сведения о разговорных и агентных возможностях в карточке относятся к описываемому семейству и не гарантируют тот же уровень поведения у базовой модели без дообучения. Для запуска на GPU README указывает более 60 ГБ видеопамяти; локальный запуск на меньшем оборудовании зависит от квантизации.

Jackrong/MLX-Qwen3.5-9B-DeepSeek-V4-Flash-4bit — языковая генеративная модель, разработанная Jackrong и преобразованная в формат MLX из базовой модели Jackrong/Qwen3.5-9B-DeepSeek-V4-Flash с использованием mlx-lm 0.30.7. Модель предназначена для генерации текста и может применяться в сценариях, требующих рассуждений, дистилляции, работы с длинными цепочками рассуждений, агентных задач и эффективного инференса на совместимом оборудовании Apple MLX. Модель имеет размер 9B параметров, использует 4-битное квантование и поддерживает библиотеку MLX. Заявлена поддержка английского, китайского, корейского, японского, испанского и русского языков. Доступная модальность — текст; модель относится к классу text generation. Максимальная длина контекста и точные архитектурные характеристики в README не указаны. Для запуска требуется mlx-lm, предусмотрена работа через chat template. Модель удобна для локального и эффективного вывода в экосистеме MLX, а 4-битное представление снижает требования к памяти. Ограничения включают отсутствие данных о результатах оценки, качестве на отдельных языках, производительности и максимальном контексте. Модель распространяется по лицензии Apache-2.0; в качестве датасета указано Jackrong/DeepSeek-V4-Distill-8000x.

NousResearch_Hermes-4-70B-GGUF — это набор квантизированных версий языковой модели Hermes-4-70B, разработанной NousResearch. Квантизацию выполнил bartowski с использованием llama.cpp версии b6258 и метода imatrix. Модель предназначена для генерации текста и локального запуска через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В набор входят варианты в формате GGUF с разными уровнями квантизации: от Q8_0 размером около 75 ГБ до IQ2_S размером около 22 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K; Q3 и Q2-варианты предназначены для систем с ограниченными ресурсами и имеют более низкое качество. README не содержит сведений об архитектуре, поддерживаемых языках, размере контекста, мультимодальности, точных задачах исходной модели или лицензии. Формат prompt также не указан, поэтому его следует уточнять на странице оригинальной модели NousResearch/Hermes-4-70B.

Open-Instruct Stanford Alpaca 7B — языковая модель семейства LLaMA, разработанная Allen Institute for AI и дообученная на наборе инструкций Stanford Alpaca. Это 6,6-миллиардная плотная авторегрессионная модель для генерации текста по инструкциям и ответов на запросы; максимальный контекст составляет 2048 токенов. Для работы нужны исходные веса LLaMA в формате Hugging Face: опубликованный репозиторий содержит diff весов, а не самостоятельную полную модель. Модель предназначена для диалоговых и текстовых задач общего назначения, включая ответы на вопросы, простые рассуждения и генерацию кода. В карточке приведены результаты по MMLU, GSM, BBH, TydiQA и Codex-Eval; они показывают возможности модели, но сами по себе не гарантируют качество в конкретном применении. В метаданных указан английский язык. Использование регулируется лицензией AI model license вместе с исходной лицензией LLaMA.

TheBloke/Orca-2-13B-GGUF — это квантизированная версия языковой модели Orca 2 13B, разработанной Microsoft и преобразованной TheBloke в формат GGUF. Модель предназначена для генерации текста и диалогового взаимодействия, включая работу через llama.cpp и совместимые графические интерфейсы и библиотеки. Для форматирования запросов используется шаблон ChatML с системным сообщением, запросом пользователя и ответом ассистента. Модель относится к архитектуре Llama и содержит около 13 миллиардов параметров. Она работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. GGUF-файлы доступны с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти и качеством генерации, а также запускать её на CPU и GPU. К сильным сторонам относятся поддержка широкого набора локальных инструментов, возможность GPU-ускорения и выбор вариантов квантизации. Ограничения связаны с возможной потерей качества при низкой разрядности и с тем, что точные характеристики производительности и контекстного окна не приведены. В метаданных указана лицензия other, без уточнения конкретных условий использования.

orca_mini_v8_1_70b-GGUF — это квантизированная версия языковой модели orca_mini_v8_1_70b, разработанной pankajmathur и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и может запускаться локально, в частности через LM Studio и другие совместимые инструменты llama.cpp. Модель содержит 70 миллиардов параметров и работает с текстом на английском языке. Доступны варианты квантизации от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством вывода; наиболее качественными считаются Q8_0, Q6_K и Q5, а варианты Q3 и Q2 ориентированы на устройства с ограниченными ресурсами, но снижают качество. Для работы рекомендуется использовать указанный в README шаблон промпта с системными, пользовательскими и ассистентскими сообщениями. Сильной стороной модели является возможность локального запуска крупной 70B-модели с выбором подходящего компромисса между качеством и потреблением памяти. Ограничения включают значительные требования к оперативной или видеопамяти даже для сжатых вариантов, а также снижение качества у агрессивных квантизаций. Архитектура, размер контекстного окна и мультимодальные возможности в README не указаны. Указанная лицензия — llama3.3.

OpenVINO/Phi-3.5-mini-instruct-int4-ov — это квантизированная версия языковой модели Phi-3.5-mini-instruct, разработанной Microsoft. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF. Она предназначена для генерации текста, диалоговых сценариев и других задач, поддерживаемых исходной instruction-tuned моделью; конкретные языки, размер контекста и дополнительные модальности в карточке не указаны. Сжатие выполнено в режиме int4_asym с размером группы 128 и коэффициентом ratio 1. Модель совместима с OpenVINO версии 2024.5.0 и выше, а также с Optimum Intel версии 1.21.0 и выше, и может запускаться через OpenVINO GenAI на CPU и других поддерживаемых устройствах. Ограничения следует оценивать по исходной карточке Phi-3.5-mini-instruct; подробности о качестве после квантизации в README не приведены. Модель распространяется по лицензии MIT.

Phi-4-mini-instruct-GGUF — GGUF-квантизированная версия инструкционной модели Phi-4-mini-instruct, разработанной Microsoft. Квантизацию выполнил bartowski на базе llama.cpp версии b4792; модель распространяется в рамках программы Community Models для LM Studio. Модель предназначена для широкого круга коммерческих и исследовательских задач генерации текста, включая диалоговое взаимодействие, следование инструкциям и вызов функций. Она поддерживает контекст длиной до 128 тысяч токенов, заявлена как многоязычная и обладает улучшенными возможностями instruction following и function calling. README не содержит сведений о точном размере модели, конкретной архитектуре, перечне поддерживаемых языков и типе квантизации. Для использования в LM Studio на указанную дату требуется Beta runtime. Лицензия в предоставленных данных не указана; модель может генерировать неточный, вредный или нежелательный контент.

graelo/Qwen2.5-7B-Instruct-1M-AWQ — это 4-битная GEMM-квантизованная версия модели Qwen/Qwen2.5-7B-Instruct-1M, разработанной командой Qwen. Модель относится к классу instruction-tuned языковых моделей с примерно 7 миллиардами параметров и предназначена для выполнения инструкций и генерации текста. Из идентификатора базовой модели следует поддержка контекста до 1 миллиона токенов, однако сведения о языках, модальностях и точной архитектуре в README не приведены. Квантизация до 4 бит может снизить требования к памяти и сделать запуск модели более доступным, но потенциально сопровождается потерей качества по сравнению с исходной версией и требует совместимого программного обеспечения для формата AWQ/GEMM. README не содержит результатов тестирования, подробностей о производительности или рекомендуемых сценариях использования. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-0.6B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-0.6B, разработанная RedHat совместно с Neural Magic. Это авторегрессионная модель архитектуры Qwen3ForCausalLM для генерации текста по текстовому вводу. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания специализированных предметных экспертов посредством дообучения. Указанный размер базовой модели — 0,6 млрд параметров. Веса линейных слоёв трансформера сжаты до INT4 с использованием GPTQ, асимметричной поканальной групповой схемы с размером группы 64; параметры сохраняются в формате w4a16. Это примерно на 75% снижает размер на диске и требования к памяти GPU по сравнению с 16-битным представлением весов. В README приведены сценарии оценки с длиной контекста до 40960 токенов, однако точное максимальное контекстное окно модели отдельно не указано. Модель поддерживает только текстовые входы и выходы. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание, в частности через vLLM с OpenAI-совместимым сервером. К ограничениям относятся возможные потери качества из-за INT4-квантизации, а также отсутствие в предоставленных данных подробных результатов оценки, перечня поддерживаемых языков и гарантий качества для конкретных прикладных задач. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимые законы и нормативные требования.

OpenPipe/Qwen3-14B-Instruct — вариант Qwen3-14B, дообученный OpenPipe. Это плотная причинная языковая модель на 14,8 млрд параметров с 40 слоями и групповой многозапросной внимательностью (40 голов Q и 8 голов KV). Шаблон чата настроен так, чтобы модель по умолчанию отвечала в режиме без рассуждений и сохраняла согласованный формат сообщений при обучении и генерации. Модель предназначена для диалоговой генерации текста и дальнейшей настройки в OpenPipe и других фреймворках дообучения. Метаданные указывают контекст 40 960 токенов; в README для базовой Qwen3-14B заявлены 32 768 токенов нативно и до 131 072 с YaRN. Поддерживаются сценарии общения и генерации текста на базе Qwen3. Репозиторий распространяется по лицензии Apache-2.0. Карточка описывает совместимость шаблона и общие возможности Qwen3, но не приводит отдельной оценки качества именно этого варианта; результат зависит от запроса и последующей настройки.

Qwen3-235B-A22B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения задач по инструкциям. README не содержит подробностей о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности или специализированных сценариях применения. Известно, что квантование снижает требования к памяти по сравнению с исходной моделью, а формат MLX ориентирован на эффективное выполнение на Apple Silicon. К ограничениям относятся возможные ошибки, неточности, вредоносные или неподходящие ответы, характерные для генеративных моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии Apache-2.0. LM Studio не является создателем исходной модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

Qwen3-30B-A3B-Thinking-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm и оптимизировано для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и локального запуска в сценариях, где важны совместимость с экосистемой Apple и сниженное потребление памяти по сравнению с полноразмерной версией. Архитектура, поддерживаемые языки, размер контекстного окна, модальности и специализированные задачи в README не указаны. Известно, что модель относится к семейству Qwen3 и имеет конфигурацию 30B-A3B, а 4-битное представление обеспечивает более эффективное развертывание, потенциально с компромиссом между требованиями к ресурсам и точностью. Модель распространяется по лицензии Apache-2.0. Следует учитывать, что квантованная версия может наследовать ограничения исходной модели, включая вероятность неточных, вредных или неподходящих ответов.

Qwen3-4B-Instruct-2507-GGUF — это набор файлов модели в формате GGUF для Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Модель содержит вариант с примерно 4 миллиардами параметров и распространяется в формате GGUF с уровнями квантизации 2-, 3-, 4-, 5-, 6- и 8-bit. Этот формат ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения. GGUF может упростить запуск модели на локальных системах с использованием CPU и GPU, однако конкретные требования к памяти, производительность, контекстное окно, поддерживаемые языки и модальности в README не указаны. Сильные стороны модели — компактный размер, наличие нескольких уровней квантизации и широкая совместимость с локальными средствами инференса. Квантизация может снизить требования к ресурсам, но способна повлиять на качество по сравнению с исходной моделью; степень этого влияния зависит от выбранного варианта. Лицензия и условия использования в предоставленных данных не указаны.

Avesed/Qwen3.6-27B-INT8-W8A8 — квантованная версия базовой модели Qwen/Qwen3.6-27B, разработанной командой Qwen и подготовленной Avesed. Это плотная гибридная модель с архитектурой, объединяющей линейное внимание GatedDeltaNet и периодическое полноформатное внимание. Модель имеет vision tower и MTP head, однако в карточке указаны языки English и Chinese, а назначение обозначено как text-generation. Модель предназначена для генерации текста и задач, поддерживаемых базовой Qwen3.6-27B, включая сценарии, где важны рассуждения и работа с длинными последовательностями; точный размер контекста в README не указан. Ключевая особенность — INT8-квантизация по схеме W8A8: веса квантуются в симметричный INT8 по каналам, а активации — динамически по токенам. Большинство MLP-слоёв, полное внимание и выходная проекция GatedDeltaNet квантуются, тогда как чувствительные к качеству компоненты сохраняются в формате bf16. По заявлению автора, INT8 W8A8 обеспечивает почти отсутствие потерь качества и уменьшает требования к памяти по сравнению с полноразмерной моделью. Для запуска рекомендуется vLLM с INT8 W8A8 CUTLASS path и tensor parallelism; указана совместимость с GPU Ampere sm_80 и sm_86. Ограничения включают зависимость от подходящего программного стека и оборудования, а также отсутствие в README точных данных о контексте, производительности и качестве на конкретных наборах задач. Модель распространяется по лицензии Apache-2.0.

Avesed/Qwen3.6-35B-A3B-INT8-W8A8 — квантизированная версия Qwen/Qwen3.6-35B-A3B, разработанная на базе модели Qwen. Это гибридная Mixture-of-Experts-модель для генерации текста, рассчитанная прежде всего на англоязычные и китайскоязычные сценарии. Архитектура включает 256 экспертов с выбором 8 экспертов на токен и примерно 3 млрд активных параметров, GatedDeltaNet для линейного внимания, vision tower и MTP head, однако назначение и характеристики визуальных возможностей в карточке подробно не описаны. Квантизация выполнена в формате INT8 W8A8: веса экспертных FFN преобразованы в симметричный INT8 по каналам, а активации квантизуются динамически для каждого токена. Чувствительные к качеству компоненты, включая self-attention, маршрутизатор, shared expert, GatedDeltaNet, lm_head, embeddings, vision tower и MTP head, сохранены в формате bfloat16. По заявлению автора, такая схема обеспечивает почти отсутствие потерь качества и предназначена для более эффективного развертывания модели. Модель поддерживается сервером vLLM с INT8 MoE-путём и рассчитана на видеокарты Ampere с архитектурами sm_80 и sm_86; в примере запуска используется tensor parallelism на двух устройствах. Ограничения включают отсутствие в README данных о размере контекста, точном общем числе параметров, поддерживаемых визуальных задачах и результатах тестирования именно этой версии. Лицензия — Apache-2.0.

TheDrainFlorist/Qwen3.6-35B-A3B-VQ-5.4bpw — векторно-квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen, адаптированная для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста, а также обработки изображений при использовании совместимого MLX-VLM. Она поддерживает загрузку через mlx-lm и mlx-vlm; для мультимодального режима требуется mlx-vlm версии 0.6.16 или новее. Размер сборки составляет 22,2 GiB, поэтому она рассчитана примерно на машины с 32 ГБ памяти. В модели используется uniform vector quantization: экспертные тензоры квантизуются с геометрией d=2, K=1024, а неэкспертные тензоры представлены в 8-битном формате. В README не указаны размер контекстного окна и полный список поддерживаемых языков; в метаданных заявлен английский язык. Для запуска требуется runtime из файла model.py и загрузчик, поддерживающий параметр model_file. По сравнению с исходной bf16-версией модель существенно экономит память, сохраняя более высокое качество, чем 4-битная сборка: расхождение по KL составляет 28,1 millinats на токен, а совпадение top-1 предсказаний с bf16-версией — 92,22%. При этом runtime-производительность на этой конкретной сборке не измерялась, а качество немного ниже bf16-оригинала. Модель распространяется по лицензии Apache-2.0.

amd/Qwen3.8-2.4T-A95B-Quark-MXFP4 — текстовая языковая модель на архитектуре Qwen3_5MoeForCausalLM, разработанная на базе Qwen/Qwen3.8-2.4T-A95B-FP8 и подготовленная Advanced Micro Devices, Inc. с использованием AMD-Quark 0.12. Модель принимает текст и генерирует текст; в метаданных указан английский язык. Размер контекста и полный перечень поддерживаемых языков не указаны. Модель предназначена для инференса и задач генерации текста, включая математические рассуждения и оценивание на бенчмарках. Квантованию подвергнуты routed experts: веса используют статическое представление OCP MXFP4, а активации — динамическое OCP MXFP4. Для запуска заявлена поддержка AMD MI350 и MI355 под Linux с ROCm 7.2.0 и PyTorch 2.12.0; рекомендованные движки инференса — SGLang и vLLM. На GSM8K модель получила точность 97,49%, полностью сохранив результат исходной FP8-модели по приведённому сравнению. Ограничения включают зависимость от указанного оборудования и программного стека, а также отсутствие в README сведений о результатах на других задачах, контекстном окне, детальных возможностях мультиязычной работы и лицензии исходной модели. Указано, что модификации защищены авторским правом Advanced Micro Devices, Inc. (2026), но отдельные условия лицензии в README не приведены.

AtomicChat/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, разработанной Qwen и подготовленной командой AtomicChat. Модель распространяется в формате GGUF для запуска через llama.cpp и предназначена для локального использования в диалоговых, текстовых и мультимодальных сценариях. Модель поддерживает работу с текстом и изображениями; для обработки изображений требуется отдельный vision-проектор mmproj-Qwen3.8-27B-F16.gguf или BF16-вариант. В репозитории доступны варианты квантизации размером примерно от 8,5 до 28,9 ГБ. AtomicChat использует собственную importance matrix и публикует измерения отклонения квантизированных версий от исходных весов. Указано наличие multi-token prediction head, совместимого с llama.cpp. Контекстная ёмкость в README явно не приведена, но указано потребление около 256 КБ attention cache на токен, что существенно влияет на требования к видеопамяти при длинном контексте. Сильные стороны модели — возможность локального запуска, широкий выбор уровней квантизации, поддержка изображений и оптимизация для llama.cpp. Качество зависит от выбранного файла: более компактные варианты требуют меньше памяти, но сильнее отклоняются от исходной модели и чаще ошибаются в предсказаниях. Для мультимодальной работы необходим дополнительный проектор, а для корректного анализа изображений рекомендуется не менее 1024 image tokens. Лицензия в предоставленных данных не указана.

Mike0021/Qwen3.8-27B-GGUF — набор GGUF-конвертаций базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем Mike0021 с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и мультимодального анализа изображений и видео; для работы с визуальными данными требуется отдельный vision projector. Доступны варианты BF16, Q8_0 и архитектурно адаптированный Q4_K_M размером 18,97 ГБ, рекомендованный для практического использования. Модель содержит 64 слоя, поддерживает контекст до 262 144 токенов, а заявленные языки — английский и китайский. В состав также может входить опциональная од Layer MTP-модель для speculative decoding, не изменяющая итоговое распределение вероятностей целевой модели. Для визуального ввода используются отдельные файлы projector размером 0,63 или 0,93 ГБ. Сильными сторонами являются большое контекстное окно, поддержка текста и изображений, варианты с разным компромиссом между качеством и требованиями к памяти, а также сохранённые шаблоны чата и режимы reasoning. Ограничения включают значительный объём файлов и потребность в соответствующих ресурсах памяти; для полной поддержки новой архитектуры требуется llama.cpp ревизии 1692f9e или более новая, поскольку старые версии и некоторые другие GGUF-рантаймы могут быть несовместимы. Лицензия — Apache-2.0.

Qwen3.8-27B-GGUF-4.2BPW-16GB — это квантованная версия плотной языковой модели Qwen3.8-27B, разработанной командой Qwen. Сборка опубликована пользователем hitsfmdj и создана с использованием Omenator AI. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama или LM Studio, особенно на видеокартах с 16 ГБ VRAM. Модель поставляется в формате GGUF с importance-weighted смешанной точностью и эффективной точностью 4,189 бит на вес. Все 27 млрд параметров сохранены: параметры не удалялись и не подвергались дистилляции, а точность перераспределялась между тензорами с учётом их важности. Размер файла составляет 11,88 ГБ, заявленный базовой моделью контекст — 262 144 токена. Сборка рассчитана на полное размещение в памяти одной 16-гигабайтной GPU без выгрузки слоёв на CPU. Ключевое преимущество — возможность запускать 27B-модель на видеокартах класса 16 ГБ с сохранением VRAM для KV-кэша; на эталонной системе заявлена скорость декодирования 12,77 токена в секунду. Оценка потери качества составляет около 2,6% относительно почти без потерь, но основана только на perplexity и KL-divergence при отборе квантования и не подтверждена полноценным набором downstream-бенчмарков. Реальная скорость и доступный контекст зависят от оборудования, backend и настроек KV-кэша. Базовая модель и квантованная сборка распространяются по лицензии Apache-2.0; для базовой модели действуют соответствующие условия лицензии. Языки и специализированные возможности исходной Qwen3.8-27B в README не указаны.

RedHatAI/Qwen3-8B-NVFP4 — квантизированная версия языковой модели Qwen3-8B, разработанная RedHatAI на базе Qwen/Qwen3-8B. Модель предназначена для генерации текста и диалоговых сценариев, включая развёртывание чат-ботов и других приложений на основе больших языковых моделей. Она принимает текстовые данные и генерирует текст; заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский, однако документация отдельно ограничивает использование английским языком. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP4 с использованием LLM Compressor. Размер параметров уменьшен с 16 до 4 бит, что примерно на 75% сокращает объём хранения и требования к памяти GPU. Модель рассчитана на эффективный инференс через vLLM версии 0.9.1 и новее, включая OpenAI-совместимый режим сервинга. Для калибровки использовались образцы UltraChat; в README не указаны точный размер контекстного окна и количественные результаты бенчмарков. Ключевое преимущество модели — существенное снижение потребления дисковой и GPU-памяти при сохранении совместимости с исходной Qwen3-8B. Ограничением является возможное снижение качества из-за FP4-квантизации по сравнению с неквантизированной моделью, хотя README сообщает о проведённом сравнительном тестировании без приведения результатов. Лицензия — Apache-2.0; также указано ограничение на использование способами, нарушающими применимые законы и нормативные требования.

Guile/Qwen3.8-Flash-Next-GGUF — это GGUF-квантизированная версия модели Qwen3.8-Flash-Next, разработанной командой Qwen и квантизированной bartowski с использованием llama.cpp. Модель содержит около 180 млрд параметров и предназначена для задач генерации и понимания текста, а также обработки изображений в мультимодальном режиме при наличии файла mmproj. Поддержка speculative decoding не заявлена. Доступны варианты весов от BF16 и Q8_0 до низкобитных Q2–Q5 и IQ-квантизаций. Размер файлов составляет примерно от 88 до 354 ГБ, поэтому модель рассчитана на системы с большим объёмом оперативной или видеопамяти. В README рекомендуется Q4_K_M как компромисс между качеством и размером, а Q6_K — как вариант с очень высоким качеством. Квантизации используют imatrix, что должно помогать сохранять качество при уменьшении размера, однако более низкие разрядности сопровождаются заметным снижением качества. Модель запускается через совместимые инструменты экосистемы llama.cpp и распространяется с лицензией qwen-community-1.0; указана лицензия other и ссылка на файл LICENSE. Сведения о поддерживаемых языках, размере контекстного окна и точных архитектурных особенностях в предоставленном README отсутствуют.

Hagwell/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий Hagwell распространяет модель в формате, предназначенном для локального запуска. Модель основана на архитектуре, которая заявлена как фундамент для будущего Qwen4, и поддерживает обработку текста и изображений благодаря языковой модели с vision encoder. Модель предназначена для генерации и понимания текста, работы с изображениями, задач с длинным контекстом и агентных сценариев. Она имеет 125 млрд параметров, из которых активируется около 6 млрд, а также включает 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура содержит 48 слоёв, комбинацию Gated DeltaNet и Qwen Sparse Attention, MoE с 512 экспертами, из которых маршрутизируются 10 экспертов и один общий, а также механизмы Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. К сильным сторонам относятся высокая эффективность активации параметров, поддержка длинного контекста, оптимизация sparse attention на уровне блоков и возможность локального запуска через llama.cpp или Unsloth Desktop. Ограничения включают экспериментальный статус архитектуры, высокие требования к памяти для полной модели, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, подробных результатах тестирования и качестве на конкретных прикладных задачах. Модель распространяется по лицензии qwen-community-1.0; для использования следует ознакомиться с файлом LICENSE.

SZYBKIMARCIN955/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision encoder, предназначенную для текстовых и визуально-текстовых задач, включая работу с длинным контекстом и агентские сценарии. Это открытая предварительная версия архитектуры, которая должна стать основой Qwen4. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention на уровне микроблоков, Mixture of Experts, Gated Residual и n-граммные embeddings. Всего заявлено 125B параметров, из которых 6B активируются при обработке, дополнительно используются 51B параметров n-граммных embeddings и 4B для multi-token prediction. Модель содержит 48 слоёв, 512 экспертов, активирует 10 маршрутизируемых и 1 общий эксперт, поддерживает контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Языки в README не указаны. Ключевые преимущества модели — высокая эффективность при длинном контексте, сниженная задержка благодаря разреженному вниманию и относительно небольшое число активируемых параметров при большом общем размере. Ограничения связаны с экспериментальным статусом архитектуры, высокими требованиями к памяти и вычислительным ресурсам, а также отсутствием в предоставленных данных подробных результатов тестирования и описания поддерживаемых языков. Для запуска рекомендуется llama.cpp или Unsloth Desktop. Модель распространяется по лицензии qwen-community-1.0; формат GGUF предназначен для локального инференса совместимыми инструментами.

Inferact/Qwen3.8-Flash-Next-NVFP4 — экспериментальная открытая модель семейства Qwen, разработанная командой Qwen. Это причинная языковая модель с энкодером зрения, предназначенная для текстовых и мультимодальных задач, включая обработку изображений, работу с длинным контекстом и агентские сценарии. Артефакты представлены в формате Hugging Face Transformers и совместимы с Transformers, vLLM, SGLang и другими средами инференса. Модель содержит 125 млрд параметров, из которых около 6 млрд активируются при обработке, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. Архитектура включает 48 слоёв, комбинацию Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и механизм Gated Residual. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов. В README языки обучения или поддержки не указаны. К сильным сторонам относятся эффективная обработка длинного контекста, разреженное внимание на уровне блоков, экономичное масштабирование параметров за счёт n-граммных эмбеддингов и потенциальная пригодность для инференса на ресурсно-ограниченных ускорителях. Модель обозначена как экспериментальный preview, поэтому её стабильность, качество в отдельных задачах и эксплуатационные характеристики следует оценивать самостоятельно; подробные результаты бенчмарков в предоставленных данных отсутствуют. Лицензия указана как qwen-community-1.0.

ddark-il/Qwen3.8-Flash-Next-Uncensored-Mixed-omlx — это MLX-квантизированная версия модели orcarouter/Qwen3.8-Flash-Next-Uncensored, подготовленная для запуска через oMLX на устройствах Apple Silicon. Модель основана на архитектуре qwen4_exp с разреженными экспертами (MoE), поддерживает текстово-визуальные сценарии и имеет тег image-text-to-text. В README не указано, что ddark-il является исходным разработчиком базовой модели; он предоставляет адаптированный квантованный вариант. Модель содержит около 180 млрд параметров и использует смешанную AWQ/affine-квантизацию с эффективной точностью 4,86 бит на параметр. Размер файлов составляет около 109,24 ГБ, а заявленная длина контекста — до 262 тысяч токенов. В составе предусмотрены MTP-компонент для speculative decoding, GDN и sparse attention, а также vision-модули. Квантизация распределена по чувствительности компонентов: маршрутизируемые эксперты и некоторые таблицы имеют 4-битную точность, критичные элементы сохранены в 8-битном или BF16-виде. Модель предназначена для длинноконтекстной генерации текста, агентских сценариев с вызовами инструментов и задач, сочетающих текст и изображения. На M5 Max с 128 ГБ памяти и oMLX 0.6.4 автор README измерил около 30,7 токена в секунду при работе с длинными агентскими сессиями. Ограничения включают требование oMLX версии не ниже 0.6.3rc3, значительное потребление памяти, зависимость от корректной настройки mmap для PLE-таблицы и отсутствие дополнительного обучения или калибровки. Лицензия — Apache-2.0.

noctrex/Qwen3-Next-80B-A3B-Instruct-MXFP4_MOE-GGUF — квантизированная версия модели Qwen3-Next-80B-A3B-Instruct в формате GGUF с квантизацией MXFP4. Модель предназначена для диалогов и генерации текста; для запуска требуется llama.cpp, причём карточка рекомендует использовать его актуальную версию. Базовая Qwen3-Next-80B-A3B-Instruct — разреженная языковая модель с возможностью вызова инструментов и длинным контекстом. Размер контекста и список поддерживаемых языков для этой сборки в предоставленных данных не приведены. Лицензия в данных не указана.

Это GGUF-квантизованная версия Qwen3-Next-80B-A3B-Instruct — инструкционной текстовой модели, разработанной Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговых и прикладных сценариях, где требуется запуск через совместимые локальные инструменты, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Доступны варианты квантизации от Q8_0 до Q3_K и IQ3/IQ4, с размером файлов примерно от 36,6 до 84,8 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие позволяют снизить требования к оперативной памяти за счёт большей потери качества. Для работы необходимо использовать указанный шаблон промпта с ролями system, user и assistant. Архитектура, максимальный контекст, поддерживаемые языки и дополнительные модальности в README не указаны. К сильным сторонам относятся широкий выбор уровней квантизации, поддержка распространённого формата GGUF и возможность локального запуска в нескольких приложениях. Ограничениями являются значительный объём файлов и неизбежный компромисс между качеством и экономией памяти при выборе низкобитных вариантов; совместимость с отдельными инструментами может зависеть от их обновления. Модель распространяется по лицензии Apache 2.0.

Qwopus3.6-35B-A3B-v1-MTP-GGUF — модель Jackrong, основанная на unsloth/Qwen3.6-35B-A3B. Это мультимодальная модель в формате GGUF для генерации текста и обработки связок «изображение—текст», ориентированная на диалоговые сценарии, рассуждения, работу с инструментами и вызов функций. В метаданных указана поддержка английского, китайского, испанского, русского и японского языков. Релиз сохраняет MTP-компоненты исходной архитектуры Qwen3.6. Multi-Token Prediction позволяет одновременно предсказывать несколько последующих токенов и использовать speculative decoding: черновая модель предлагает последовательность токенов, а целевая модель проверяет её параллельно. Это может повысить скорость инференса при совместимости используемого движка с MTP, включая llama.cpp и производные решения. Доступны варианты с разными уровнями квантования — от Q2_K до Q8_0, а также BF16. Для оптимальной производительности требуется соответствующая draft-модель, поддерживающая спекулятивное декодирование; без такой связки преимущество MTP может быть недоступно. Точный размер контекста, подробности архитектуры, результаты оценки качества и ограничения мультимодальных возможностей в README не указаны. Модель распространяется по лицензии Apache 2.0.