II.2Создание и понимание программного кода

Ling-3.0-tiny-MLX-4bit — MLX-конверсия модели inclusionAI/Ling-3.0-tiny, опубликованная rapid-mlx. Это языковая модель для генерации текста, рассуждений и вызова инструментов, рассчитанная на локальный запуск на компьютерах Apple Silicon через MLX и rapid-mlx. Модель использует разреженную MoE-архитектуру: всего 7,9 млрд параметров, из которых 1,3 млрд активируются для каждого токена; применяются 128 экспертов с выбором top-8 и одним общим экспертом. В архитектуре используется гибридный стек внимания KDA и MLA, контекст поддерживает до 131 072 токенов. Квантование выполнено в 4 битах с размером группы 64, размер файла составляет около 4,2 ГБ, поэтому модель помещается и работает на Mac с 8 ГБ unified memory. Языки и специализированные модальности в README не указаны; модель предназначена для работы с текстом. Сильными сторонами являются большое контекстное окно, низкое число активных параметров при сохранении общей ёмкости 7,9 млрд параметров, поддержка рассуждений и нативного разбора вызовов инструментов. Ограничения связаны с зависимостью от MLX и Apple Silicon, а также с необходимостью использовать rapid-mlx, поскольку архитектура bailing_hybrid пока не входит в upstream mlx-lm. 4-битное квантование может снижать точность по сравнению с полной версией, однако в README приведены результаты проверки соответствия реализации официальному коду. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Llama-3_1-Nemotron-51B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Llama-3_1-Nemotron-51B-Instruct, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp и LM Studio. Указан английский язык. Модель имеет 51 млрд параметров и доступна в форматах от F16 до различных вариантов 3-, 4-, 5-, 6- и 8-битного квантования. Размер файлов варьируется примерно от 23,49 до 103,01 ГБ. Квантизация выполнена с использованием imatrix; в карточке также отмечено исправление RoPE. Для работы следует использовать указанный шаблон инструкций с системным, пользовательским и ассистентским сообщениями. Контекст модели, архитектурные детали исходной версии и дополнительные модальности в README не указаны; по имеющимся данным это текстовая модель. Сильными сторонами являются широкий выбор вариантов квантования, возможность подобрать баланс между качеством и требованиями к памяти, а также поддержка llama.cpp и LM Studio. Более компактные варианты экономят память, но могут уступать полноразмерной версии по качеству. Для использования применяются условия NVIDIA Open Model License; конкретные ограничения следует проверять в тексте лицензии по указанной ссылке.

legraphista/Meta-Llama-3.1-8B-Instruct-IMat-GGUF — вариант модели Meta-Llama-3.1-8B-Instruct, подготовленный legraphista в формате GGUF с поддержкой IMat. Это инструкционно настроенная большая языковая модель Meta с 8 млрд параметров, предназначенная для диалогов, следования инструкциям и генерации текстовых ответов. Данные README не содержат точной информации о поддерживаемых языках, длине контекста, конкретных вариантах квантования или аппаратных требованиях. Формат GGUF делает модель пригодной для локального запуска в совместимом программном обеспечении, однако README не указывает конкретные средства инференса и характеристики производительности. Ограничения включают возможные ошибки и нежелательные результаты, характерные для языковых моделей, а также ответственность пользователя за оценку пригодности выводов. Модель распространяется на условиях Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов требуется сохранять текст лицензии и указывать «Built with Llama»; также необходимо соблюдать Acceptable Use Policy. Для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

Unsloth/Meta-Llama-3.1-8B-Instruct-unsloth-bnb-4bit — это 4-битная версия инструкционно настроенной текстовой языковой модели Meta Llama 3.1 с 8 млрд параметров, подготовленная Unsloth для использования с Transformers и форматом bitsandbytes. Модель предназначена для диалогов, генерации и обработки текста, выполнения инструкций, суммаризации и других задач, где требуется компактная LLM с пониженным потреблением памяти. Модель использует авторегрессионную архитектуру Transformer и работает в режиме «текст на входе — текст на выходе». Ключевая особенность версии — селективная динамическая 4-битная квантизация Unsloth, направленная на снижение требований к памяти при сохранении большей точности по сравнению со стандартной 4-битной квантизацией. В карточке официально указан английский язык; дополнительные языки, размер контекста и другие характеристики для данной версии не подтверждены. Разработчик базовой модели — Meta, адаптацию и квантизацию выпустила Unsloth. Ограничения включают возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробной информации о производительности, контекстном окне и поддерживаемых сценариях за пределами текста. Модель распространяется по лицензии Llama 3.1.

Meta-Llama-3-70B-Instruct-GGUF — квантизированная GGUF-версия инструкционной языковой модели Meta-Llama-3-70B-Instruct, разработанной Meta. Квантизацию и публикацию сборок выполнила Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев с использованием шаблона llama-3-chat, включая ответы на пользовательские запросы и работу с системными инструкциями. Модель относится к семейству Llama и имеет размер 70B параметров. В README указана поддержка английского языка, текстовая модальность и контекстное окно до 8192 токенов. Доступны варианты GGUF с точностью от 2 до 8 бит, а также f16; размеры файлов зависят от варианта и составляют примерно от 26,4 до 50 ГБ для основных квантизированных сборок. Варианты Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые благодаря балансу между качеством и размером. Сильной стороной модели является большой размер и возможность локального запуска через совместимые инструменты, включая LlamaEdge. Ограничения связаны с высокими требованиями к дисковому пространству и вычислительным ресурсам, а низкобитные варианты могут заметно терять в качестве; README не рекомендует некоторые из них для большинства задач. Лицензия указана как llama3 с типом other; перед использованием необходимо учитывать условия лицензии Meta Llama 3.

QuantFactory/Meta-Llama-3-8B-Instruct-GGUF — это квантованное представление инструкционно настроенной языковой модели Meta Llama 3 с 8 млрд параметров, подготовленное QuantFactory в формате GGUF. Модель предназначена для генерации текста и взаимодействия по инструкциям, включая ответы на вопросы и другие задачи обработки естественного языка. В метаданных указаны английский язык и назначение text-generation. Формат GGUF ориентирован на локальный запуск и совместим с программами, поддерживающими этот формат, однако конкретный тип квантования, требования к памяти, максимальный размер контекста и поддерживаемые аппаратные платформы в предоставленных данных не указаны. Модель является текстовой и не заявлена как мультимодальная. Её сильные стороны — компактный размер по сравнению с более крупными моделями и возможность использования локальных средств инференса; ограничения, точные характеристики производительности и качество на отдельных языках по README не определены. Модель распространяется по лицензии Meta Llama 3 Community License. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Meta Llama 3», сохранение требуемого уведомления об атрибуции и соблюдение применимой политики допустимого использования. Для организаций с более чем 700 млн ежемесячных активных пользователей предусмотрено требование получить отдельную лицензию Meta.

Mistral 7B Instruct — текстовая языковая модель с приблизительно 7 млрд параметров, представленная в репозитории casperhansen. Данная версия представляет собой AWQ-квантизированный вариант модели, подготовленный с использованием AutoAWQ. README не уточняет исходного разработчика базовой модели, поддерживаемые языки и максимальный контекст. Модель предназначена для генерации текста и выполнения инструкций в диалоговом формате. В качестве сценариев использования указаны загрузка через AutoAWQForCausalLM и Transformers, потоковая генерация ответов, а также инференс через vLLM. Пример применения демонстрирует формат запросов Mistral с маркерами [INST] и [/INST], а также генерацию продолжений текста. Ключевое преимущество версии — AWQ-квантизация, которая может снизить требования к памяти и упростить запуск модели на совместимом оборудовании. Ограничения включают зависимость от совместимых версий Transformers, AutoAWQ или vLLM, а также отсутствие в README сведений о качестве на бенчмарках, языковом охвате, максимальной длине контекста и мультимодальных возможностях; по предоставленным данным модель является текстовой. Лицензия — Apache 2.0.

QuantFactory/Mistral-7B-Instruct-v0.1-GGUF — квантизированная версия модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI. Модель предназначена для генерации текста и ведения диалогов, включая сценарии, где требуется выполнение инструкций на естественном языке. Она распространяется в формате GGUF и создана с использованием llama.cpp. Модель основана на архитектуре Mistral с 7 миллиардами параметров и поддерживает несколько уровней квантизации: Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. README не содержит сведений о поддерживаемых языках, размере контекста, модальностях и конкретных ограничениях качества. Модель подходит для локального запуска и интеграции с инструментами на базе llama.cpp, однако конкретные требования к оборудованию зависят от выбранного уровня квантизации. Лицензия — Apache 2.0.

TheBloke/Mistral-7B-Instruct-v0.1-GPTQ — квантизированная версия Mistral 7B Instruct v0.1, разработанного Mistral AI и подготовленная TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного вывода, включая диалоговые приложения и другие задачи обработки текста. Это языковая модель семейства Mistral с 7 миллиардами параметров, доступная в формате GPTQ для GPU-инференса. В репозитории представлены варианты 4-, 5-, 6- и 8-битной квантизации с разными параметрами group size и Act Order; основной вариант имеет размер около 4,16 ГБ, использует 4-битную квантизацию, group size 128 и поддерживает ExLlama. Для работы также предусмотрена загрузка через Transformers, однако на момент публикации требовалась версия из указанного GitHub-коммита. В README не указаны полный список поддерживаемых языков, точная архитектура контекстного окна исходной модели и конкретные результаты тестирования. К сильным сторонам относятся уменьшенный размер и сниженные требования к видеопамяти по сравнению с полноразмерной моделью, а ограничением может быть небольшая потеря точности из-за квантизации и зависимость от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Mistral-7B-Instruct-v0.2-GGUF — это квантизированная GGUF-версия языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI (mistralai) и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через LlamaEdge. Она использует шаблон запросов mistral-instruct и поддерживает контекст до 4096 токенов. Модель содержит около 7 миллиардов параметров и работает только с текстом. Доступны варианты квантизации от 2 до 8 бит в формате GGUF, различающиеся размером файлов и компромиссом между требованиями к памяти и качеством: от 3,08 ГБ для Q2_K до 7,7 ГБ для Q8_0. В README не указаны поддерживаемые языки и подробности архитектуры. Варианты с низкой разрядностью требуют меньше ресурсов, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как сбалансированные или рекомендуемые. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. Модель распространяется по лицензии Apache-2.0, однако конкретные условия использования отдельных вариантов следует соотносить с лицензией исходной модели.

Mistral-Nemo-Instruct-2407-bnb-4bit — это 4-битная версия инструкционной языковой модели Mistral Nemo, опубликованная Unsloth. Модель предназначена для генерации и обработки текста по инструкциям, диалоговых сценариев, а также для дообучения на собственных наборах данных с использованием экосистемы Transformers и инструментов Unsloth. Из README известно, что модель относится к семейству Mistral Nemo и рассчитана на работу с английским языком. Она доступна в формате 4-битного квантования bnb, что снижает требования к памяти и делает запуск и дообучение более доступными на ограниченных GPU-ресурсах. Указана интеграция с Transformers, а после дообучения модель можно экспортировать в GGUF или использовать через vLLM. Точный размер модели, архитектурные параметры и длина контекста в представленном README не указаны. К сильным сторонам относятся экономичное использование памяти и поддержка сценариев быстрого дообучения, включая beginner-friendly ноутбуки Unsloth. Ограничения связаны с тем, что README не содержит результатов оценки качества, подробностей о датасете и точных характеристик производительности именно этой версии. Модель распространяется по лицензии Apache-2.0.

IsValorum/Nex-N2.5-mini-APEX-I-MiniPlus-GGUF — это квантизированная GGUF-версия модели Nex-N2.5-mini, разработанной Nex-AGI и дополнительно оптимизированной IsValorum. Модель основана на архитектуре qwen35moe с 35,1 млрд параметров и использует многомодельную экспертную архитектуру MoE. В комплект входят основная модель размером около 14,56 ГБ с квантизацией 3,36 BPW и отдельный vision-проектор mmproj в формате Q8_0 размером около 610 МБ. Модель предназначена для рассуждений, вызова функций и инструментов, автономного взаимодействия с компьютером, обработки изображений и анализа графического интерфейса. Заявлены мультимодальные возможности, высокоточное визуальное сопоставление и поддержка высокоразрешённых изображений. В README перечислена поддержка английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Также заявлена работа с контекстом до 256K токенов, однако подробные параметры этой поддержки в представленном фрагменте не приведены. Главные особенности квантизации — сохранение выходного слоя в Q6_K, маршрутизаторов экспертов в F32 и использование разных уровней точности для внимания и экспертных блоков. Это должно повышать стабильность синтаксиса, маршрутизации экспертов и рассуждений по сравнению с более агрессивными низкобитными вариантами, сохраняя умеренные требования к памяти и производительность на CPU. Ограничения связаны с потерями, неизбежными для квантизированной модели, потребностью примерно в 14 ГБ памяти для основной модели и тем, что это предыдущая, или legacy, версия MiniPlus. Для использования требуется совместимый рантайм GGUF, например llama.cpp. Лицензия — Apache-2.0.

TobDeBer/Olmo-3-1025-7B-magic1 — преобразованная с помощью Magic V1 версия языковой модели OLMo 3 7B, разработанной Allen Institute for AI (Ai2). Это плотная авторегрессионная Transformer-модель примерно с 6,9 млрд параметров, предназначенная для генерации текста и продолжения запросов. Модель обучалась на данных Dolma 3; карточка описывает этапы предварительного обучения, дообучения на смешанных данных и обучения для длинного контекста. Модель работает с текстом на английском языке и поддерживает контекст до 65 536 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Подходит для генерации текста, ответов на вопросы, задач по математике и коду, однако конкретное качество на таких задачах зависит от запроса и развёртывания. Это базовая языковая модель без фильтрации безопасности: она может выдавать неточные, предвзятые или вредоносные ответы, поэтому факты следует проверять. Модель и код распространяются по лицензии Apache 2.0.

duyntnet/Phi-3-medium-128k-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-3-Medium-128k-Instruct, разработанной Microsoft и опубликованной пользователем duyntnet. Репозиторий предназначен для локального запуска модели через совместимые инструменты, включая llama.cpp; указано, что квантизации созданы с использованием актуальной версии llama.cpp. Модель относится к классу text-generation и работает с текстом. Исходная Phi-3-Medium-128k-Instruct — инструкционная языковая модель для диалогов, ответов на вопросы, генерации текста и решения задач по пользовательским запросам. Она рассчитана на использование в chat-формате и поддерживает контекст до 128 000 токенов; размер словаря токенизатора — до 32 064 токенов. В README указан английский язык. Архитектура и точное число параметров в представленных данных не раскрыты. Сильной стороной модели является большой контекст и наличие готовых GGUF-квантизаций для более эффективного локального инференса. Ограничения включают зависимость от совместимого рантайма и конкретного варианта квантизации, а также отсутствие в README подробных характеристик качества, требований к ресурсам и данных о поддерживаемых модальностях помимо текста. Лицензия указана как other; её точные условия требуют отдельной проверки в исходном репозитории Microsoft.

Qwen1.5-110B-Chat-GGUF — квантизированная GGUF-версия диалоговой языковой модели Qwen1.5-110B-Chat, разработанной командой Qwen. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая использование в чат-приложениях и локальных сервисах инференса через LlamaEdge. Модель содержит 110 млрд параметров, работает с текстовой модальностью и ориентирована на английский язык. Для взаимодействия используется шаблон ChatML, заявленный размер контекста — 32 000 токенов. Доступны варианты квантизации Q2_K, Q3_K, Q4_0, Q4_K_M, Q4_K_S, Q5_0 и Q5_K_M с разными компромиссами между размером, требованиями к ресурсам и качеством. В README рекомендуются варианты Q4_K_M и Q5_K_M; более низкие уровни квантизации обеспечивают меньший размер, но могут приводить к существенной потере качества. К сильным сторонам относятся большой размер исходной модели, диалоговая специализация, поддержка длинного контекста и возможность запуска в формате GGUF с LlamaEdge. Ограничениями являются значительные требования к памяти даже у квантизированных вариантов, а также ухудшение качества при сильной квантизации. Модель распространяется по лицензии Tongyi Qianwen; точные условия определяются текстом лицензии, указанным в репозитории исходной модели.

Карточка модели vy22215/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

ThomasBaruzier/Qwen2.5-1.5B-Instruct-GGUF — набор imatrix-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen. Репозиторий предназначен для запуска через llama.cpp и содержит варианты с разными уровнями сжатия, размером примерно от 417 МБ до 1,57 ГБ, а также версию F16 размером 2,95 ГБ. Модель представляет собой причинную текстовую модель на 1,54 млрд параметров с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, GQA и связанными эмбеддингами слов. Она предназначена для диалогов, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Поддерживаются более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Полный контекст составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Ключевое преимущество репозитория — широкий выбор квантизаций, позволяющий выбирать между компактным размером и сохранением качества; для вариантов указаны показатели perplexity и относительной точности. Ограничениями являются небольшой по современным меркам размер модели и ожидаемое снижение качества у наиболее агрессивно сжатых вариантов. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и квантизированной компанией Second State Inc. Модель предназначена для генерации текста в формате text-generation и диалогового использования через шаблон chatml, включая работу как сервиса LlamaEdge. В README также указан prompt template для взаимодействия с системными и пользовательскими сообщениями. Модель имеет архитектуру Mixture-of-Experts, о чём свидетельствует обозначение 30B-A3B, однако подробные характеристики архитектуры и языков в README не приведены. Поддерживается контекст размером до 256 000 токенов. Доступны варианты GGUF с разной точностью квантизации от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 3,28 до 16,4 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, поскольку обеспечивают баланс между размером и потерей качества. Сильной стороной модели являются большой контекст и широкий выбор вариантов квантизации, позволяющий адаптировать требования к памяти и качеству. Ограничения связаны с потенциальной потерей качества при низкой точности квантизации; кроме того, версия LlamaEdge в README указана как находящаяся в разработке. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и использования в инструкционно-ориентированных сценариях, включая локальные приложения и диалоговые системы, совместимые с MLX и LM Studio. В исходных данных указано, что базовая модель имеет обозначение 30B-A3B, однако дополнительные сведения об архитектуре, поддерживаемых языках, размере контекста, модальностях и производительности отсутствуют. Ключевое преимущество этой версии — уменьшенный размер представления благодаря 4-битному квантованию и оптимизация для Apple Silicon, что делает её подходящей для локального инференса при ограниченных ресурсах. При этом квантование может снижать точность по сравнению с исходной моделью, а фактические требования к памяти и качество зависят от конкретного устройства и сценария. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия инструкционной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях использования, включая работу через совместимые инструменты на устройствах Apple Silicon. Она относится к семейству text-generation и использует архитектуру и характеристики исходной модели Qwen3-30B-A3B-Instruct-2507, однако README не содержит сведений о языках, длине контекста, поддерживаемых модальностях и других архитектурных деталях. Ключевое преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами благодаря 6-битному квантованию и оптимизации под MLX. Ограничения включают возможную потерю точности из-за квантования, зависимость от платформы Apple Silicon и отсутствие в README подробных данных о качестве, производительности и бенчмарках. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-30B-A3B-NVFP4 — квантизированная версия языковой модели Qwen/Qwen3-30B-A3B, разработанная RedHatAI. Модель принимает и генерирует текст и предназначена для задач генерации текста, включая диалоговые сценарии и развёртывание через vLLM с OpenAI-совместимым сервером. Модель использует архитектуру Qwen3-30B-A3B, однако в представленном README не указаны подробности о числе параметров активной части, размере контекста и точном наборе поддерживаемых языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в формат FP4; квантизация выполнена с помощью LLM Compressor, а модель подготовлена для инференса в vLLM версии 0.9.1 и выше. Переход с 16 до 4 бит на параметр уменьшает размер модели на диске и требования к памяти GPU примерно на 75%, что является её основным преимуществом. К ограничениям относятся возможная потеря качества по сравнению с неквантизированной моделью и зависимость от совместимого программного стека и аппаратной поддержки. README отдельно ограничивает использование сценариями, соответствующими применимым законам и требованиям экспортного контроля, а также указывает использование на английском языке вне заявленной области применения. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-Q8_0-GGUF — это квантизированная версия модели Qwen3-4B-Instruct-2507, преобразованная в формат GGUF проектом ggml-org с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и работы в диалоговых и инструкционных сценариях; запуск возможен через llama.cpp в режиме CLI или сервера, включая локальное развертывание. Из известных характеристик следует, что это модель размером 4B параметров с инструкционным назначением и квантованием Q8_0. README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекста, поэтому эти свойства нельзя достоверно уточнить. Формат GGUF и совместимость с llama.cpp удобны для локального запуска на различном оборудовании, однако конкретные требования к ресурсам и производительность зависят от используемой конфигурации. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.5-4B-quantized.w4a16 — квантизированная версия мультимодальной модели Qwen3.5-4B, разработанная RedHatAI на основе базовой модели Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст и предназначена для задач диалогового взаимодействия, следования инструкциям, рассуждений и анализа визуального содержимого. Модель использует архитектуру Qwen3.5-4B и оптимизирована для инференса через vLLM. Веса линейных операторов в трансформерных блоках сжаты до INT4, тогда как активации сохраняют исходную точность. Vision encoder, токеновые эмбеддинги и слои linear attention остаются в формате BF16. Размер модели на диске составляет около 5,2 ГБ против 8,8 ГБ у версии BF16, что снижает требования к памяти. В конфигурации vLLM заявлена поддержка контекста до 262 144 токенов; также доступен текстовый режим с отключением визуальной части. Языки модели в README не указаны. К сильным сторонам относятся существенное уменьшение размера и требований к памяти при сохранении близких к исходной модели результатов на ряде тестов, включая GSM8k-Platinum, MMLU-Pro, IFEval и Math 500. Ограничениями являются возможное снижение качества на отдельных задачах рассуждений, заметное на AIME 2025 и GPQA Diamond, а также зависимость от совместимого окружения vLLM и связанных инструментов. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, разработанной командой Qwen и опубликованной в репозитории apolo13x. Это мультимодальная модель формата image-text-to-text: она принимает текст и изображения, а генерирует текстовые ответы. Модель предназначена для диалоговых сценариев, анализа изображений и решения текстовых задач. Веса и активации сжаты до формата NVFP4 (4-bit) с помощью llm-compressor. Для калибровки использовано 512 образцов из набора nvidia/Nemotron-Post-Training-Dataset-v2, включая 256 примеров с рассуждением и 256 без него. Размер модели уменьшен с 18,0 до 11,5 ГБ, примерно в 1,6 раза; заявленное среднее восстановление точности составляет 97,3%. Максимальная длина последовательности при калибровке — 4096 токенов. По результатам оценки в режиме рассуждений модель набрала в среднем 86,11% против 88,36% у исходной Qwen3.5-9B: 74,24% на GPQA Diamond, 92,69% на IFEval и 91,39% на MMLU-Redux. Квантизация снижает требования к хранению и инференсу, но может приводить к некоторой потере качества относительно исходной модели. Указана поддержка vLLM 0.17.0 и reasoning parser qwen3. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-NSC-ACE-SABER GGUF MTP — это квантизированная сборка модели, разработанная GestaltLabs на базе Qwen/Qwen3.6-35B-A3B. Репозиторий предоставляет файлы в формате GGUF для совместимых с llama.cpp сред выполнения, включая варианты F16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K. Сборки подготовлены с поддержкой MTP (multi-token prediction) и предназначены для ускорения генерации при наличии соответствующей поддержки в runtime. Модель ориентирована на диалоговую генерацию текста, агентские сценарии и вызов инструментов, а также заявлена как multimodal image-text-to-text модель. В репозитории присутствуют конфигурация мультимодальности, процессор, шаблон чата и visual tower sidecar для обработки изображений и видео. В README указан английский язык. Пример запуска использует контекст 32768 токенов, однако максимальный размер контекста отдельно не подтверждён. К сильным сторонам относятся широкий выбор уровней квантизации, локальный запуск, MTP-ориентированная конвертация и улучшенные относительно базовой модели показатели на приведённой проверке BFCL для tool calling: например, точность имени функции выросла с 92,50% до 95,00%, а точность обязательных значений аргументов — с 79,79% до 83,54%. Ограничения включают зависимость ускорения от версии и возможностей llama.cpp, возможное ухудшение форматирования, точности аргументов и калибровки отказов у низких квантов, а также необходимость отдельно проверять поведение конкретных quant-файлов. Модель распространяется по лицензии Apache 2.0.

Rabbit-Hole-Ai/Qwen3.8-27B-5090-goldilocks-GGUF — это квантованная версия Qwen3.8-27B в формате GGUF, предназначенная для запуска через llama.cpp. Модель основана на Qwen/Qwen3.8-27B и оптимизирована для размещения на одной видеокарте NVIDIA RTX 5090 с 32 ГБ памяти под Windows 11. Основное назначение — генерация текста с большим контекстом, включая локальный инференс и сценарии, где важны высокая вместимость контекста и поддержка speculative decoding. Файл использует смешанную точность с эффективным показателем 7,36 bpw и занимает около 23 990 МиБ. В составе 866 тензоров применяются 339 тензоров Q8_0, 167 Q6_K и 360 F32; MTP-слой blk.64 сохранён для совместимости с режимом draft-mtp. Для текстовых задач заявлена поддержка контекста до 131 тыс. токенов, а при использовании vision projector — до 110 тыс. токенов. README приводит среднюю KL-дивергенцию относительно исходной BF16-модели 0,001800 для RTN-сборки и 0,001678 для imatrix-сборки. Сильная сторона модели — эффективное использование памяти RTX 5090 за счёт повышения точности квантования в пределах доступного объёма VRAM и сохранения качества, близкого к BF16-оригиналу. Указанная скорость генерации зависит от глубины контекста и конфигурации: для imatrix-файла приводятся значения 72,6 токена/с при глубине 8 тыс. и 64,0 токена/с при глубине 98 тыс. Ограничениями являются требовательность к видеопамяти, заметное падение скорости на длинном контексте и необходимость внимательно выбирать параметры KV-кэша и speculative decoding: сочетание квантованного KV-кэша с определёнными настройками спекулятивной генерации может резко ухудшить производительность. Лицензия — Apache-2.0.

TaterTotterson/Qwen3.8-27B-GGUF-Tater-NoThink — это упаковка официальной модели Qwen3.8-27B в формате GGUF для работы с llama.cpp. Базовую модель разработала команда Qwen, а автор репозитория изменил только метаданные chat template, добавив режим Tater NoThink. Тензоры, квантизация, vision projector и MTP draft model не изменялись. Модель представляет собой плотную vision-language модель с 27 млрд параметров. Она предназначена для понимания текста, изображений и видео, поддерживает вызов инструментов, контекстное окно размером 262K токенов и Multi-Token Prediction (MTP) для speculative decoding. В комплект входят основная модель Q4_K_M, vision projector Q8_0 и MTP draft model Q8_0. Для использования мультимодальных возможностей требуется vision projector, а для speculative decoding — отдельная MTP-модель; эффективность ускорения зависит от аппаратного обеспечения, бэкенда, промпта и длины контекста. Главная особенность варианта NoThink — принудительное отключение режима рассуждений: генерация начинается с пустого блока <think></think> и сразу переходит к ответу, даже если клиент запрашивает thinking mode. Это может быть удобно для получения более прямых ответов и сокращения служебного вывода, но ограничивает использование явного режима рассуждений. Модель распространяется по лицензии Apache License 2.0.

Qwen3.8-27B-NVFP4-MTP-VL-GGUF — пользовательская GGUF-сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Сборка предназначена для локального запуска через llama.cpp и Ollama и объединяет языковую модель с поддержкой изображений и видео, механизмом MTP для ускоренного спекулятивного декодирования и отдельным F16 CLIP-проектором для обработки зрения. Это не официальный checkpoint в формате Transformers, а квантованная упаковка сообщества. Языковая часть и MTP используют NVFP4, выходные и embedding-слои — Q5_K, размер языкового файла составляет около 14,6 ГиБ, а проектор занимает около 888 МиБ. Нативный контекст модели — 262 144 токена; в GGUF добавлены метаданные статического YaRN с коэффициентом 4, позволяющие запрашивать окно до 1 048 576 токенов без изменения весов. Поддерживаются английский и китайский языки. Сильные стороны — существенно меньшие требования к памяти по сравнению с BF16, сохранение визуальных возможностей и MTP, а также совместимость с локальными рантаймами. Для работы требуются сборки, поддерживающие архитектуру qwen35, NVFP4, mmproj и draft-mtp. Окно в миллион токенов требует очень большого объёма памяти для KV-кэша, а статический YaRN может ухудшать качество на коротких запросах, поэтому для обычного диалога рекомендуется меньший контекст. Модель распространяется по лицензии Apache License 2.0.

Cyronius/Qwen3.8-Flash-Next-131B-A6B-GGUF — это оптимизированная GGUF-версия Qwen3.8-Flash-Next, основанная на модели Qwen от Qwen и подготовленная автором Cyronius. Модель предназначена для генерации текста, рассуждений и агентских сценариев с вызовом инструментов через llama.cpp. Это текстовая сборка; отдельные vision-тензоры поставляются отдельно, а работа визуального контура после модификации не тестировалась. Модель использует MoE-архитектуру с 48 слоями и 512 экспертами, из которых активируются параметры объёмом около 6B на токен. Общее число параметров сокращено примерно с 176B до 131B за счёт уменьшения n-gram hash-embedding-таблицы с 51,2B до 6,4B параметров: сохранено по одной из восьми голов для каждого типа n-грамм. Основная сборка Q3_K_XL занимает 64,8 GB, также доступна версия Q4_0 размером 75,4 GB. Заявлена поддержка контекста до 256K токенов в исходной архитектуре, но поведение на длинном контексте для этой модификации не проверялось; опубликованные тесты проведены при контексте до 8K. По небольшому набору тестов сборка сохранила показатели базовой модели в tool calling, GSM8K и MMLU, однако perplexity на WikiText-2 ухудшилась с 2,40 до 4,66. Поэтому модель хорошо подходит для рассуждений, задач общего назначения и вызова инструментов, но может быть менее качественной в точном воспроизведении цитат, шаблонного текста и других сценариях, зависящих от поверхностного предсказания продолжений. Q4_0 структурно проверена, но отдельно не тестировалась. Для запуска требуется llama.cpp от 2026-08-27 или новее с поддержкой qwen4exp, а также значительный объём VRAM или оперативной памяти. Модель распространяется по лицензии qwen-community-1.0.

TheBloke/SOLAR-10.7B-Instruct-v1.0-AWQ — это квантизированная версия инструкционной языковой модели Solar 10.7B Instruct v1.0, разработанной upstage. Репозиторий содержит файлы модели в формате AWQ для эффективного запуска генерации текста на совместимом оборудовании. Модель предназначена для диалоговых сценариев и выполнения задач по текстовым инструкциям; рекомендуемый шаблон промпта использует роли User и Assistant. Модель имеет размер 10,7 млрд параметров и представлена в 4-битной AWQ-квантизации с group size 128, максимальной длиной последовательности 4096 токенов и размером файлов около 5,96 ГБ. Квантизацию выполнил TheBloke; модель распространяется в виде шардированных файлов safetensors. AWQ обеспечивает более низкое потребление памяти и высокую скорость инференса при сопоставимом с распространёнными настройками GPTQ качестве. Модель подходит для локального и серверного GPU-инференса через AutoAWQ, vLLM, Text Generation Inference или Transformers. Основное ограничение — поддержка AWQ в README указана для Linux и Windows с видеокартами NVIDIA; для macOS рекомендованы модели в формате GGUF. Языки и мультимодальные возможности отдельно не указаны. Лицензия — Apache 2.0.