II.4Отладка, тестирование и качество ПО

amd/Kimi-K3-Quark-MXFP4 — мультимодальная модель на базе moonshotai/Kimi-K3, разработанная и оптимизированная Advanced Micro Devices, Inc. Она предназначена для генерации текста по текстовым, графическим и видеовходам, а также для задач рассуждения, включая работу с инструментами. Архитектура указана как KimiK3ForConditionalGeneration; выход модели — текст. Модель квантизирована с помощью AMD-Quark: веса и активации используют формат OCP MXFP4, а слои self-attention — PTPC-FP8. В MoE-компонентах experts и shared_experts применяется OCP MXFP4. README не содержит сведений о количестве параметров, длине контекста и поддерживаемых языках. Для запуска заявлена совместимость с AMD MI350 и MI355, ROCm 7.1.1, PyTorch 2.10.0, Transformers 5.2.0 и Linux; в качестве inference engine используются vLLM и, для оценки, SGLang. К сильным сторонам относятся мультимодальность и снижение требований к памяти и вычислениям благодаря квантизации. На тесте GSM8K модель показала 96,36 против 96,82 у исходной moonshotai/Kimi-K3, что соответствует восстановлению 99,52% исходного результата. Ограничения включают зависимость от совместимого оборудования и программного стека, а также необходимость специальных настроек vLLM для воспроизведения указанной конфигурации. Лицензия обозначена как other с названием kimi-k3; модификации защищены авторским правом Advanced Micro Devices, Inc. за 2026 год.

Luminea — объединённая диалоговая языковая модель на архитектуре Llama, созданная автором репозитория с помощью mergekit и метода Model Stock. В качестве базовой модели использована NousResearch/Meta-Llama-3.1-70B-Instruct; в объединение также вошли NeverSleep/Lumimaid-v0.2-70B и nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Модель содержит 69,5 млрд параметров, принимает текстовые запросы и генерирует текст. Она предназначена для диалогов, ответов на инструкции и запросы; заявленная длина контекста — 131 072 токена. Репозиторий использует Transformers и формат safetensors. Качество ответов и ограничения отдельно в карточке не описаны. Лицензия в предоставленных данных отсутствует.

djuna/L3.1-Purosani — языковая чат-модель на архитектуре Llama, созданная объединением нескольких предварительно обученных моделей с помощью mergekit и метода della_linear. В основу слияния вошли arcee-ai/Llama-3.1-SuperNova-Lite и grimjim/Llama-3-Instruct-abliteration-LoRA-8B; также в объединении использованы модели для вычислений, длинных текстов и диалогов. Число параметров составляет 7,5 млрд, заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста в диалоге и выполнения инструкций. Она работает с текстом и может применяться для ответов на вопросы, составления и продолжения текстов, а также обработки длинных запросов. В метаданных указаны библиотека Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.

Meta Llama 3.1 70B — большая авторегрессионная языковая модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Она генерирует текст и рассчитана на многоязычный диалог; семейство включает предварительно обученные и настроенные версии, а настроенные модели используют SFT и RLHF. В этой карточке описана модель размером 70B, но не уточняется, является ли именно этот репозиторий предварительно обученной или настроенной версией. Модель подходит для диалогового помощника, генерации текста и создания синтетических данных. Она принимает и выдаёт текст; заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. В README отмечены более длинное контекстное окно и возможность интеграции с внешними инструментами, но конкретная длина контекста не приведена в предоставленных данных. Модель разработана Meta и выпущена в июле 2024 года. Использование регулируется специальной коммерческой лицензией Llama 3.1 Community License и Acceptable Use Policy; перед применением необходимо соблюдать их условия. К ограничениям относятся статичность модели, риски небезопасных или неточных ответов и сниженная заявленная пригодность для общения на языках вне списка поддержки.

unsloth/Llama-3.2-3B-bnb-4bit — 4-битная версия языковой модели Llama 3.2 с 3 млрд параметров, подготовленная Unsloth на базе Meta Llama 3.2. Это авторегрессионная текстовая модель с архитектурой оптимизированного Transformer и механизмом Grouped-Query Attention (GQA), предназначенная для генерации текста и диалоговых сценариев. Модель ориентирована на многоязычные задачи, включая диалоговые системы, агентный поиск с извлечением данных и суммаризацию. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель работает в режиме «текст на входе — текст на выходе»; сведения о размере контекста в карточке не указаны. Благодаря 4-битному квантованию версия рассчитана на более экономичное по памяти развертывание и удобна для локального использования и дообучения. Сильными сторонами являются компактный размер, сниженные требования к памяти и поддержка сценариев дообучения через инструменты Unsloth. Ограничения включают текстовую, а не мультимодальную специализацию, статичность модели и отсутствие гарантии актуальности знаний, поскольку она обучена на офлайн-данных. Использование регулируется кастомной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy Meta.

RedHatAI/Llama-3.2-3B-Instruct-FP8 — языковая модель для генерации текста и ассистентского диалога, разработанная Neural Magic на базе Meta Llama-3.2-3B-Instruct. Модель принимает текст и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Она предназначена для исследовательского и коммерческого использования в многоязычных чат- и текстовых приложениях. Модель содержит около 3 миллиардов параметров и использует архитектуру Llama-3. Для весов и активаций применена FP8-квантизация линейных операторов в трансформерных блоках: веса квантизированы по каналам, активации — по всему тензору. Это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных операций. В README указана длина контекста до 8192 токенов для развертывания через vLLM. Сильной стороной модели является близкая к неквантизированной версии точность: на перечисленных бенчмарках заявлено восстановление результатов в пределах 0,7%. FP8-формат делает модель более удобной для эффективного инференса, в частности с использованием vLLM и OpenAI-совместимой серверной подачи. Ограничения включают меньший размер и потенциально более низкие возможности по сравнению с крупными моделями Llama, а также зависимость качества от языкового сценария и квантизации; сведения о специализированных ограничениях безопасности в README не приведены. Модель распространяется по лицензии Llama3.2.

MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF — набор файлов модели в формате GGUF, созданный и квантизированный MaziyarPanahi на основе MaziyarPanahi/Llama-3-8B-Instruct-64k. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Из указанных данных известны размер 8B, принадлежность к семейству Llama 3, инструктивная настройка и заявленный контекст до 64 тысяч токенов у базовой модели. Поддерживаются варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством. Модель работает с текстом; сведения о языках и дополнительных модальностях не указаны. Формат GGUF ориентирован на эффективный локальный инференс и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Ограничения включают возможные потери качества из-за квантизации, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в README сведений о лицензии, результатах оценки и точных требованиях к ресурсам.

unsloth/Meta-Llama-3.1-70B — квантованная версия базовой модели meta-llama/Meta-Llama-3.1-70B, опубликованная в экосистеме Unsloth и предназначенная для работы с Transformers. Модель ориентирована на англоязычные задачи обработки и генерации текста, а также на последующее дообучение на пользовательских датасетах. В README упоминаются сценарии conversational и text completion, а также экспорт дообученной модели в форматы GGUF и vLLM. Из указанных характеристик известно, что модель относится к семейству Llama 3.1, имеет размер 70B и поддерживает английский язык. Она распространяется как quantized-модель, что должно снижать требования к памяти по сравнению с полной версией, однако конкретный формат и параметры квантования не указаны. Архитектура, размер контекста, точный набор поддерживаемых модальностей и показатели качества в README не описаны, поэтому модель следует рассматривать прежде всего как крупную текстовую основу для инференса и дообучения. Лицензия указана как llama3.1; условия её применения необходимо проверять по лицензии Meta.

mlx-community/Meta-Llama-3.1-70B-Instruct-8bit — 8-битная версия инструкционно дообученной большой языковой модели Meta Llama 3.1 с 70 миллиардами параметров, подготовленная сообществом mlx-community для использования в экосистеме MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы, написание и преобразование текста. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель относится к классу text-generation и использует библиотеку Transformers; модальность — текстовая. Ключевая особенность варианта — 8-битное представление весов, которое может снизить требования к памяти по сравнению с полноразмерной моделью, сохраняя принадлежность к крупной 70B-модели. При этом для запуска всё равно требуются значительные вычислительные ресурсы, а конкретные показатели качества, производительности и максимального контекста в README не указаны. Как и другие языковые модели, она может генерировать неточные или нежелательные ответы, поэтому результаты требуют проверки. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», атрибуцию и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами активных пользователей в месяц предусмотрено требование запросить отдельную лицензию у Meta.

MaziyarPanahi/Ministral-3-14B-Reasoning-2512-GGUF — это набор файлов модели в формате GGUF для исходной модели Ministral-3-14B-Reasoning-2512, разработанной компанией Mistral AI. Квантизацию и публикацию этой версии выполнил MaziyarPanahi. Модель относится к классу генеративных текстовых моделей и предназначена для задач text-generation, включая локальный запуск через совместимые приложения и библиотеки. Формат GGUF ориентирован на эффективный запуск моделей, в том числе с использованием llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и других поддерживающих его инструментов. В репозитории представлены варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Заявленный размер исходной модели — 14B параметров. README не содержит сведений об архитектуре, поддерживаемых языках и модальностях, размере контекстного окна, результатах тестирования или конкретных ограничениях качества. Лицензия в предоставленных данных также не указана, поэтому условия использования необходимо уточнять в карточке исходной модели и репозитории. Для работы требуется совместимое программное обеспечение с поддержкой GGUF; конкретные требования к оборудованию зависят от выбранной разрядности и режима запуска.

Mistral-7B-claude-instruct-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.2 и Norquinal/Mistral-7B-claude-instruct методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции в формате чата; заявленная длина контекста — до 32 768 токенов. Модель подходит для диалоговых приложений, ответов на вопросы и генерации текста по запросу. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

Mistral 7B Instruct — текстовая языковая модель с приблизительно 7 млрд параметров, представленная в репозитории casperhansen. Данная версия представляет собой AWQ-квантизированный вариант модели, подготовленный с использованием AutoAWQ. README не уточняет исходного разработчика базовой модели, поддерживаемые языки и максимальный контекст. Модель предназначена для генерации текста и выполнения инструкций в диалоговом формате. В качестве сценариев использования указаны загрузка через AutoAWQForCausalLM и Transformers, потоковая генерация ответов, а также инференс через vLLM. Пример применения демонстрирует формат запросов Mistral с маркерами [INST] и [/INST], а также генерацию продолжений текста. Ключевое преимущество версии — AWQ-квантизация, которая может снизить требования к памяти и упростить запуск модели на совместимом оборудовании. Ограничения включают зависимость от совместимых версий Transformers, AutoAWQ или vLLM, а также отсутствие в README сведений о качестве на бенчмарках, языковом охвате, максимальной длине контекста и мультимодальных возможностях; по предоставленным данным модель является текстовой. Лицензия — Apache 2.0.

MaziyarPanahi/Mistral-7B-Instruct-v0.1-GGUF — это набор файлов модели в формате GGUF для Mistral-7B-Instruct-v0.1, разработанной Mistral AI (mistralai) и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и инструкционного диалога, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Основа модели — Mistral с 7 миллиардами параметров; точные архитектурные характеристики, поддерживаемые языки и размер контекста в README не указаны. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файла, требованиями к памяти, скоростью и качеством. Формат GGUF ориентирован на эффективный запуск, в том числе с GPU-ускорением, в локальных интерфейсах и серверных решениях. Сильными сторонами являются широкий выбор уровней квантизации и совместимость с популярными инструментами локального инференса. Ограничения включают возможное снижение качества на агрессивно квантизированных вариантах, а также отсутствие в README подробных данных о результатах оценки, языковых возможностях и контекстном окне. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Mistral-7B-Instruct-v0.1-GGUF — квантизированная версия модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI. Модель предназначена для генерации текста и ведения диалогов, включая сценарии, где требуется выполнение инструкций на естественном языке. Она распространяется в формате GGUF и создана с использованием llama.cpp. Модель основана на архитектуре Mistral с 7 миллиардами параметров и поддерживает несколько уровней квантизации: Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. README не содержит сведений о поддерживаемых языках, размере контекста, модальностях и конкретных ограничениях качества. Модель подходит для локального запуска и интеграции с инструментами на базе llama.cpp, однако конкретные требования к оборудованию зависят от выбранного уровня квантизации. Лицензия — Apache 2.0.

TheBloke/Mistral-7B-Instruct-v0.1-GPTQ — квантизированная версия Mistral 7B Instruct v0.1, разработанного Mistral AI и подготовленная TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного вывода, включая диалоговые приложения и другие задачи обработки текста. Это языковая модель семейства Mistral с 7 миллиардами параметров, доступная в формате GPTQ для GPU-инференса. В репозитории представлены варианты 4-, 5-, 6- и 8-битной квантизации с разными параметрами group size и Act Order; основной вариант имеет размер около 4,16 ГБ, использует 4-битную квантизацию, group size 128 и поддерживает ExLlama. Для работы также предусмотрена загрузка через Transformers, однако на момент публикации требовалась версия из указанного GitHub-коммита. В README не указаны полный список поддерживаемых языков, точная архитектура контекстного окна исходной модели и конкретные результаты тестирования. К сильным сторонам относятся уменьшенный размер и сниженные требования к видеопамяти по сравнению с полноразмерной моделью, а ограничением может быть небольшая потеря точности из-за квантизации и зависимость от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Mistral-Nemo-Instruct-2407-GGUF — это набор файлов модели в формате GGUF для инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций, включая локальные сценарии использования через совместимые приложения и библиотеки. В репозитории представлены варианты с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией. Формат GGUF разработан командой llama.cpp и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и другими инструментами. Ключевое преимущество — возможность запуска квантизированных версий локально с использованием CPU и GPU, однако конкретные требования к ресурсам и производительность зависят от выбранного варианта квантизации и программного окружения. README не содержит сведений об архитектуре, размере, поддерживаемых языках, длине контекста, модальностях, сильных сторонах базовой модели или лицензии. Поэтому эти характеристики нельзя надежно определить по представленным данным.

Mistral-Small-24B-Instruct-2501-GGUF — это набор квантизованных версий инструкционной языковой модели Mistral-Small-24B-Instruct-2501, подготовленный пользователем bartowski в формате GGUF для llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio и другие совместимые проекты. Исходная модель имеет размер 24 млрд параметров; в README не указаны подробности её архитектуры и длина контекста. Доступны варианты с точностью от f32 и f16 до различных методов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 11 до 94 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Модель является текстовой и не поддерживает мультимодальный ввод по приведённым данным. Сильная сторона набора — широкий выбор квантизаций для локального запуска на оборудовании с разным объёмом памяти; варианты Q5 и выше позиционируются как высококачественные, а Q4 — как подходящие для большинства сценариев. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству. Для работы необходим совместимый рантайм, например llama.cpp или LM Studio, и ресурсы, соответствующие размеру выбранного файла. Лицензия — Apache 2.0.

Mungert/Mistral-Small-3.1-24B-Instruct-2503-GGUF — это GGUF-квантизованная instruct-модель на базе Mistral-Small-3.1-24B-Base-2503 от Mistral AI, подготовленная пользователем или организацией Mungert с использованием llama.cpp. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, а также, согласно указанному pipeline tag, для задач image-text-to-text, то есть обработки сочетаний изображений и текста. Доступны варианты с разной степенью квантизации, включая форматы Q4, Q6, Q8 и ультранизкобитные IQ1–IQ3, ориентированные на снижение потребления памяти и запуск на CPU, устройствах с ограниченной VRAM и edge-оборудовании. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Размер модели составляет 24B параметров по обозначению в имени. README не указывает точную архитектуру и размер контекстного окна для этой модели; приведённые бенчмарки относятся к другой модели, Llama-3-8B-Instruct, поэтому их нельзя напрямую считать характеристиками данного экземпляра. Сильной стороной являются варианты квантизации, позволяющие выбирать компромисс между качеством, скоростью и требованиями к памяти; особенно низкобитные варианты рассчитаны на ресурсоограниченные среды и исследование ультранизкобитного вывода. Ограничения включают возможное снижение точности при агрессивной квантизации и зависимость производительности от конкретного формата и оборудования. Модель распространяется по лицензии Apache-2.0.

Это квантованная версия Mistral Small 3.1 24B Instruct в формате GGUF. Исходную модель разработал mrfakename, а файлы GGUF подготовил MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных приложениях и интерфейсах, совместимых с GGUF, включая llama.cpp, llama-cpp-python, LM Studio и другие поддерживаемые клиенты. Ключевая характеристика репозитория — наличие вариантов квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством генерации. Точные сведения об архитектуре, размере контекста, поддерживаемых языках и модальностях в README не указаны, поэтому модель следует описывать как текстовую instruct-модель без дополнительных подтверждённых характеристик. Сильной стороной является возможность запуска в различных локальных средах с поддержкой CPU и GPU, включая серверные и OpenAI-совместимые интерфейсы некоторых клиентов. Ограничения зависят от выбранного уровня квантования и используемого программного обеспечения; более агрессивное квантование может влиять на качество. Лицензия в README не указана.

Mistral-Small-3.2-24B-Instruct-2506-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral Small 3.2 24B Instruct 2506, преобразованная сообществом mlx-community в формат MLX из варианта bf16. Модель предназначена для генерации текста и работы с диалоговыми запросами, включая использование chat template, и ориентирована на запуск через библиотеку mlx-lm. Модель поддерживает английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других языков, перечисленных в карточке. Известный размер исходной модели — 24 миллиарда параметров; в данном варианте используется 4-битное представление, что может снизить требования к памяти по сравнению с bf16, но потенциально уменьшает точность. Архитектура и размер контекстного окна в README не указаны. Для работы требуется MLX и mlx-lm; в карточке приведён пример загрузки и генерации текста на Python. Модель распространяется по лицензии Apache-2.0. Ограничения, результаты тестирования и рекомендации по аппаратным требованиям в README не описаны.

amd/Mixtral-8x7B-Instruct-v0.1-FP8-KV — FP8-квантизированная версия модели Mixtral-8x7B-Instruct-v0.1, разработанная Advanced Micro Devices (AMD) на базе модели Mistral AI. Квантизация выполнена с помощью Quark с использованием калибровочных образцов из датасета Pile. Модель предназначена для эффективного развертывания и инференса через backend vLLM, включая сценарии на одной или нескольких GPU. Все линейные слои, кроме lm_head и слоёв, содержащих *.gate, используют симметричное тензорное представление FP8 для весов и активаций; KV-кэш также хранится в FP8. Такой подход снижает требования к памяти и может повысить эффективность инференса, однако способен приводить к потере точности по сравнению с исходной моделью. В оценке на wikitext2 perplexity составила 4,2187 против 4,1391 у исходной Mixtral-8x7B-Instruct-v0.1; результаты получены в режиме псевдоквантизации и приведены только для справки. Архитектура, число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель распространяется по лицензии Apache License 2.0.

Orca Mini v9.3 — диалоговая языковая модель, дообученная Pankaj Mathur на базе meta-llama/Llama-3.3-70B-Instruct. Она предназначена для генерации текста и общения с пользователем в формате инструктивного ассистента. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и запускается через Transformers; веса представлены в форматах PyTorch и safetensors. Контекстное окно — до 131 072 токенов. Модель подходит для ответов на вопросы, ведения диалогов и генерации текстов. Базовая Llama 3.3 поддерживает английский и семь других языков: французский, немецкий, хинди, итальянский, португальский, испанский и тайский. Карточка Orca Mini также указывает английский язык. Качество и безопасность ответов не гарантированы: возможны ошибки, предвзятость и нежелательные ответы, поэтому перед внедрением нужны проверки и настройки под конкретный сценарий. Модель распространяется по лицензии Llama 3.3.

Ornith-1.5-35B-A3B-AWQ-INT4 — это мультимодальная квантованная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста, рассуждений, программирования и обработки изображений в сценариях image-text-to-text. Она поддерживает контекст до 262 144 токенов; конкретный набор языков в материалах не указан. Модель построена на архитектуре fine-grained Mixture of Experts: в каждом из 40 слоёв имеется 256 экспертов, из которых для каждого токена активируются 8. Квантирование выполнено методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричными 4-битными весами и размером группы 32. Около 90% параметров хранятся в 4-битном формате, а активации остаются в BF16. Зрительная башня, attention-компоненты, эмбеддинги, выходная голова и multi-token prediction head сохранены в BF16. MTP head поддерживает speculative decoding в SGLang. Релиз ориентирован на эффективный запуск через SGLang, в частности на Intel Arc Pro B-series. К сильным сторонам относятся уменьшенный объём весов, поддержка мультимодального ввода, длинного контекста и speculative decoding. Проверка качества ограничена детерминированным smoke-тестом на связность, арифметическое и логическое рассуждение, программирование и базовое распознавание изображения; полноценные бенчмарки и сопоставление с BF16 не заявлены. Производительность и качество зависят от оборудования и рабочего сценария. Модель распространяется по лицензии MIT.

Qwen1.5-110B-Chat-GGUF — квантизированная GGUF-версия диалоговой языковой модели Qwen1.5-110B-Chat, разработанной командой Qwen. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая использование в чат-приложениях и локальных сервисах инференса через LlamaEdge. Модель содержит 110 млрд параметров, работает с текстовой модальностью и ориентирована на английский язык. Для взаимодействия используется шаблон ChatML, заявленный размер контекста — 32 000 токенов. Доступны варианты квантизации Q2_K, Q3_K, Q4_0, Q4_K_M, Q4_K_S, Q5_0 и Q5_K_M с разными компромиссами между размером, требованиями к ресурсам и качеством. В README рекомендуются варианты Q4_K_M и Q5_K_M; более низкие уровни квантизации обеспечивают меньший размер, но могут приводить к существенной потере качества. К сильным сторонам относятся большой размер исходной модели, диалоговая специализация, поддержка длинного контекста и возможность запуска в формате GGUF с LlamaEdge. Ограничениями являются значительные требования к памяти даже у квантизированных вариантов, а также ухудшение качества при сильной квантизации. Модель распространяется по лицензии Tongyi Qianwen; точные условия определяются текстом лицензии, указанным в репозитории исходной модели.

Это GGUF-квантизированная версия языковой модели Qwen2.5-72B-Instruct, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Исходную модель разработала команда Qwen; карточка указывает текстовую специализацию и поддержку английского языка. Модель предназначена для диалогов и генерации текста, включая запуск локально через llama.cpp или LM Studio, с использованием специального chat-шаблона Qwen. Модель имеет 72 млрд параметров, а репозиторий предлагает несколько вариантов квантизации GGUF — от IQ1_M и Q2 до Q8_0. Размеры файлов составляют примерно от 23,74 до 77,26 ГБ; варианты с более высокой точностью обычно требуют больше памяти, но лучше сохраняют качество исходной модели. Рекомендуемыми названы Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Для некоторых вариантов доступны раздельные файлы, а отдельные квантизации используют Q8_0 для embedding- и output-весов. Сильная сторона репозитория — широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с распространёнными локальными инструментами. Ограничения включают значительный объём памяти, необходимый для запуска 72-миллиардной модели, и снижение качества при сильной квантизации; конкретная длина контекста в README не указана. Модель распространяется по лицензии Qwen, обозначенной как other; дополнительные условия следует уточнять в файле лицензии исходной модели.

Qwen-2.5-7B-Deep-Stock-v4 — объединённая языковая модель, созданная сообществом bunnycore с помощью mergekit и метода Model Stock. В качестве основы использована Qwen/Qwen2.5-7B-Instruct; в объединение также вошли FuseQwQen-7B, Qwen-2.5-7B-R1-Stock и Qwen-2.5-7B-Deep-Stock-v1. Модель построена на архитектуре Qwen2 с плотной причинной языковой сетью на 7,1 млрд параметров. Модель предназначена для генерации текста и диалогов, а также поддерживает интерфейс вызова инструментов. Её контекст составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. В README приведены результаты оценок IFEval и BBH, но они не дают полной картины качества для всех задач. Сведения о лицензии в доступных данных отсутствуют.

Qwen2.5-7B-Instruct-fp8-dynamic — динамически квантованная версия инструкционной языковой модели Qwen2.5 от Qwen, размещённая llmcompressor-quants. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров; метаданные указывают формат safetensors. Модель предназначена для диалогов и генерации текста по инструкциям, в том числе для ответов на вопросы, следования заданным ролям и формирования структурированных ответов, например JSON. Модель поддерживает русский, английский, китайский и другие языки. Заявленный в метаданных контекст составляет 32 768 токенов; в README описана настройка YaRN для обработки более длинных входов, потенциально влияющая на качество на коротких текстах. В README также отмечены сильные стороны семейства в следовании инструкциям, генерации длинных текстов и работе со структурированными данными. Лицензия — Apache-2.0. Квантование FP8 может снизить требования к памяти по сравнению с полной точностью, однако сведения о конкретной скорости и качестве этой сборки не приведены.

Qwen3-235B-A22B-Instruct-2507-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, а распространение модели представлено в рамках программы LM Studio Community Models. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска через совместимое программное обеспечение, включая LM Studio и llama.cpp. Из доступных данных известно, что исходная модель имеет размер 235B параметров, из которых 22B являются активными, однако сведения о конкретном типе квантизации, поддерживаемых языках, модальностях и размере контекста в README не указаны. К сильным сторонам относятся крупный масштаб исходной модели, инструкционная настройка и возможность использования GGUF-формата в локальной инфраструктуре. Ограничения связаны с отсутствием в предоставленной карточке подробностей о производительности, точности, аппаратных требованиях, вариантах квантизации и лицензии. Модель предоставляется третьими сторонами; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность результатов.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанная ByteShape с использованием технологии ShapeLearn. ShapeLearn подбирает оптимальный тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и может использоваться для локального запуска через llama.cpp и Ollama на CPU и GPU. Доступны варианты с разной степенью квантизации: от 2,66 до 4,67 бит на вес и размером примерно от 10,2 до 17,8 ГБ. Варианты KQ оптимизированы для CPU и преимущественно используют KQ-квантизацию, а варианты IQ — для GPU и применяют гибридный подход KQ и IQ. По приведённым бенчмаркам нормализованное качество составляет до 99,75% относительно используемых базовых вариантов, однако конкретный результат зависит от выбранного файла и оборудования. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны. Основные преимущества модели — широкий выбор компромиссов между размером, скоростью и качеством, а также поддержка CPU и GPU, включая использование на компактных устройствах, согласно материалам разработчика. Ограничения связаны с потерями качества при сильной квантизации, зависимостью производительности от оборудования и тем, что обозначения IQ и KQ не соответствуют стандартным профилям llama.cpp. Модель распространяется по лицензии Apache-2.0.

DavidAU/Qwen3-32B-128k-NEO-Imatrix-Max-GGUF — квантованные GGUF-варианты модели Qwen3-32B, разработанные DavidAU. Модель предназначена для генерации текста, диалогов, задач с рассуждениями и творческих сценариев, включая хоррор и другие художественные применения. Указано, что модель может использоваться также для общего назначения. Модель имеет заявленный контекст до 128k токенов и поддерживает режим reasoning с автоматической генерацией блоков размышлений. Варианты используют NEO Imatrix-квантизацию, при этом выходной тензор оставлен в формате BF16 для улучшения рассуждений и генерации. Размер базовой модели — 32B параметров; конкретная архитектура, список поддерживаемых языков и точные характеристики отдельных квантов в карточке не указаны. Для качества рекомендуется контекст не менее 8k, предпочтительно 16k; IQ4XS и IQ4NL описаны как наиболее сбалансированные варианты, а более высокие кванты — как предпочтительные для усиленного reasoning. К ограничениям относятся зависимость качества от выбранного уровня квантизации, необходимость корректной настройки Jinja или CHATML-шаблона и возможная потребность в подборе параметров генерации. Для Q8_0 эффект Imatrix, согласно описанию, отсутствует. Модель распространяется по лицензии Apache-2.0.