II.2Создание и понимание программного кода

Это преобразованная версия базовой языковой модели Llama 2 7B, разработанной Meta. Веса модели сначала были загружены с 4-битной квантизацией NF4 через bitsandbytes, после чего 4-битные линейные слои были расширены до FP16. Репозиторий содержит модель на 6,6 млрд параметров с архитектурой LlamaForCausalLM и контекстом до 4096 токенов; она принимает текст и генерирует текст.

Empower Functions v1.1 — плотная причинная языковая модель семейства Llama, разработанная Empower и дообученная на базе Meta Llama 3.1 8B Instruct для использования функций и инструментов в диалоге. Модель содержит около 7,5 млрд параметров, принимает текст, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors по лицензии Apache-2.0. Модель подходит для автоматического выбора момента вызова инструмента, формирования вызовов функций, параллельных и последовательных вызовов нескольких инструментов, а также обычного общения между вызовами. Предусмотрена потоковая генерация; карточка отмечает применение в длинных разговорах. Модель можно запускать локально или через размещённый API; для версии FP16 разработчик указывает проверку на одном A100 с 40 ГБ памяти, а для GGUF — на MacBook M2 Pro с 32 ГБ ОЗУ. README заявляет высокие результаты на Berkeley Function Calling Leaderboard по оценке от 10 сентября 2024 года, но не приводит численных метрик. Указанные возможности относятся к работе с инструментами через текстовый интерфейс; карточка не подтверждает мультимодальный ввод. Язык модели отдельно не указан в предоставленных метаданных и README.

LlongOrca 7B 16K — языковая модель для генерации текста, разработанная Open-Orca на базе архитектуры LLaMA и представленная в GGUF-формате с квантованными версиями, подготовленными TheBloke. Модель обучалась с использованием набора данных Open-Orca и ориентирована на работу с англоязычными текстами. Модель предназначена для диалоговых сценариев, генерации и продолжения текста, ответов на пользовательские запросы и локального запуска через llama.cpp и совместимые интерфейсы. Заявленный контекст составляет до 16K токенов. Для общения используется шаблон ChatML с ролями system, user и assistant. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества. К сильным сторонам относятся увеличенное контекстное окно, поддержка локального CPU+GPU-инференса и совместимость с широким набором инструментов, включая llama.cpp, text-generation-webui, LM Studio, KoboldCpp и llama-cpp-python. README не содержит подробных результатов оценки качества, поэтому возможности модели в конкретных задачах нельзя надежно сравнить с другими моделями. Модель работает только с текстом; сведения о мультимодальности отсутствуют. Указанная лицензия — Llama 2.

Это набор GGUF-файлов с квантованными версиями модели lpetreadg/Llama-3-8B-merged-2-bf16, опубликованный featherless-ai-quants. Репозиторий предназначен для запуска модели в совместимой с GGUF среде; карточка перечисляет варианты IQ4_XS, Q2_K и Q3_K_L, а также другие варианты квантования. По метаданным модель поддерживает генерацию текста и чат.

Lumimaid-Magnum-12B-GGUF — набор квантизированных моделей в формате GGUF, созданный bartowski на основе Undi95/Lumimaid-Magnum-12B. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Указанный шаблон запросов: <s> [INST] {prompt}[/INST]. В набор входят варианты с точностью от F16 до Q2_K, размером примерно от 5,3 до 24,5 ГБ. Квантизация выполнена с использованием llama.cpp версии b3825 и метода imatrix; доступны варианты, оптимизированные для ARM-процессоров. Основные достоинства — широкий выбор компромиссов между размером, качеством и требованиями к памяти, при этом варианты Q5 и Q6 отмечены как высококачественные и рекомендуемые. Более сильная квантизация снижает качество, а конкретные языки, размер контекста, архитектура исходной модели и мультимодальные возможности в README не указаны. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в карточке исходной модели Undi95/Lumimaid-Magnum-12B и для конкретного файла.

Lumimaid-Magnum-v4-12B-GGUF — это набор квантизированных файлов модели для генерации текста, подготовленный bartowski на основе Undi95/Lumimaid-Magnum-v4-12B. Модель создана в формате GGUF для запуска через llama.cpp и совместимых приложений, включая LM Studio. В README указано, что исходная модель является результатом объединения моделей, однако подробности её архитектуры, языков и контекстного окна не приведены. Доступны варианты от F16 до низкобитных Q2- и IQ-квантизаций размером примерно от 4,79 до 24,50 ГБ. Варианты Q6_K и Q6_K_L обеспечивают очень высокое качество, а Q4_K_M указан как типичный вариант по умолчанию с хорошим балансом качества и размера. Более компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать по качеству. Для взаимодействия рекомендуется формат промпта <s>[INST]{prompt}[/INST]. Квантизация выполнена с использованием imatrix и llama.cpp release b4381. Лицензия в предоставленных данных не указана.

bartowski/meta-llama_Llama-4-Scout-17B-16E-Instruct-old-GGUF — это квантованная версия инструкционно дообученной модели Llama 4 Scout, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения пользовательских инструкций; конкретные прикладные сценарии в README не перечислены. Из доступных данных известны обозначения 17B и 16E в названии модели, а также принадлежность к семейству Llama 4 Scout. Модель относится к классу text-generation, однако сведения о точной архитектуре, размере контекста, поддерживаемых языках, модальностях, вариантах квантования и требованиях к ресурсам отсутствуют. К потенциальным сильным сторонам относятся инструкционное дообучение и возможность использования в экосистеме GGUF, совместимой с рядом локальных средств запуска. Ограничения и фактическое качество зависят от конкретной квантовки и среды инференса; количественные характеристики и результаты тестирования не указаны. Модель распространяется на условиях Llama 4 Community License от Meta. Лицензия предусматривает требования к атрибуции, отображению надписи «Built with Llama», соблюдению Acceptable Use Policy и особые коммерческие условия для продуктов с более чем 700 миллионами ежемесячных активных пользователей.

MFANN-Llama3.1-Abliterated-SLERP-TIES-V2 — объединённая текстовая модель семейства Llama 3.1 от netcat420, созданная с помощью mergekit методом TIES на основе Meta Llama 3.1 8B Instruct Abliterated и двух моделей MFANN. Модель предназначена для диалогов и генерации ответов; в карточке описаны обычный режим помощника и экспериментальный режим SATANN для задач кибербезопасности. Архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, формат весов — safetensors, заявленный контекст — 131 072 токена. README приводит настройки генерации и контекст 8 192 токена для конкретной конфигурации GPT4All. Модель рассчитана на текстовый ввод и вывод. Лицензия — Apache-2.0. Поскольку это объединение abliterated-моделей, ответы могут иметь ослабленные ограничения; для сценариев кибербезопасности качество и поведение следует оценивать отдельно.

MiniCPM5-1B-Agentic-Tooluse-v3-Merged-FP16-GGUF — это компактная языковая модель для генерации текста и агентских сценариев с использованием инструментов. Модель основана на ewin-reg/MiniCPM5-1B-Agentic-Tooluse-v3-Merged-FP16 и дополнительно представлена в формате GGUF; квантованные версии подготовлены mradermacher. В метаданных также указана связь с семейством MiniCPM5 и тег OpenBMB, однако конкретный разработчик базовой модели явно не описан. Модель предназначена для диалоговых приложений, локального запуска и задач tool calling, включая вызов функций и взаимодействие с внешними инструментами в форматах XML и JSON. Она обучалась с использованием набора данных Team-ACE/ToolACE и заявлена для английского языка. Размер модели — около 1 млрд параметров, но сведения об архитектуре, размере контекста и поддержке дополнительных модальностей отсутствуют; по представленным данным это текстовая модель. Основные преимущества — небольшой размер, возможность работы на локальных и периферийных устройствах, а также наличие вариантов GGUF с разной степенью квантования: от Q2_K до Q8_0 и версии f16. Более компактные варианты требуют меньше памяти, но могут терять в качестве; Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как вариант с лучшим качеством среди указанных. Лицензия модели — Apache-2.0.

Undi95 выпустил экспериментальную модель Mistral-11B-v0.1, созданную расширением Mistral-7B-v0.1: некоторые слои исходной модели продублированы, чтобы получить модель примерно на 11 млрд параметров. Это плотная авторегрессионная модель семейства Mistral для генерации текста; в README приведён шаблон запросов Alpaca. Метаданные указывают контекст до 32 768 токенов и формат safetensors; README также описывает сохранение весов в bfloat16. Модель предназначена для генерации ответов на инструкции и других задач продолжения текста. Автор отмечает, что дублирование первых слоёв может путать модель, поэтому качество и поведение следует проверять на целевых запросах. Лицензия — Apache-2.0.

DevQuasar/mistralai.Magistral-Small-2509-GGUF — это квантизированная версия модели Magistral-Small-2509 от Mistral AI, подготовленная сообществом или организацией DevQuasar. Модель предназначена для генерации текста и совместима с форматом GGUF, который обычно используется для локального запуска языковых моделей, однако конкретный вариант квантования в README не указан. Из доступных данных известно только, что модель относится к задачам text-generation. Сведения о размере, архитектуре, количестве параметров, поддерживаемых языках, длине контекста и мультимодальных возможностях отсутствуют, поэтому их нельзя достоверно описать. Вероятным преимуществом является возможность более компактного локального размещения по сравнению с полной версией, но квантизация может влиять на качество и точность генерации. Лицензия и условия использования в README не указаны. Перед применением модели в коммерческих или публичных системах необходимо отдельно проверить лицензию исходной модели Magistral-Small-2509 и условия распространения квантизированной версии.

Mistral-v0.3-7B-ORPO-GGUF — это набор GGUF-квантизаций языковой модели llmat/Mistral-v0.3-7B-ORPO, подготовленный пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio. Указан английский язык, а рекомендуемый формат запроса: <s>[INST] {prompt} [/INST]</s>. В основе лежит Mistral с 7 миллиардами параметров, дообученная методом ORPO. Доступны варианты от полноточного F32 размером 28,99 ГБ до сильно сжатых IQ2_M и Q2_K размером около 2,5–2,72 ГБ. Квантизации с более высокой точностью обычно сохраняют лучшее качество, тогда как варианты Q3 и Q2 рассчитаны на системы с ограниченным объёмом оперативной памяти и сопровождаются заметным снижением качества. Некоторые варианты используют Q8_0 для embedding- и output-весов, что потенциально улучшает качество, но README не подтверждает эффект измерениями. Модальность — текстовая; размер контекста и дополнительные языки не указаны. Модель подходит для локальной генерации текста на совместимом оборудовании и позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Ограничения включают зависимость качества от выбранной квантизации, отсутствие заявленных результатов тестирования и неполную информацию о возможностях исходной модели. Лицензия Apache-2.0.

xammi/municipal-prediction-merged-llama-model-v1.0 — языковая модель разработчика xammi, дообученная на базе unsloth/Meta-Llama-3.1-8B-bnb-4bit с использованием Unsloth и TRL. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для генерации текста; карточка не уточняет конкретные сценарии муниципального прогнозирования или обучающие данные. Метаданные указывают английский язык и контекстное окно до 131 072 токенов. Модель распространяется по лицензии Apache-2.0.

bartowski/NemoRemix-12B-GGUF — набор GGUF-квантизаций модели NemoRemix-12B, разработанной MarinaraSpaghetti и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp или совместимые приложения, включая LM Studio. Исходная модель основана на mergekit-объединении, однако подробности архитектуры, языков, модальностей и размера контекста в карточке не указаны. Доступны варианты от полноразмерных F32 до сильно сжатых IQ2 и Q2, с размером файлов примерно от 4,44 до 49 ГБ. Версии Q6 и Q5 позиционируются как варианты очень высокого или высокого качества, а Q4 — как компромисс между качеством и требованиями к памяти; низкобитные варианты рассчитаны на системы с ограниченным объёмом RAM, но обладают заметно более низким качеством. Часть файлов использует Q8_0 для embedding- и output-весов, что может улучшать качество, хотя автор отмечает, что эффект зависит от наблюдений пользователя. Квантизация выполнена с использованием imatrix и llama.cpp b3509. В карточке не указаны лицензия исходной модели или этой сборки, поэтому условия использования требуют дополнительной проверки. Шаблон чата явно не задан: приведённый формат может быть некорректен, и перед применением рекомендуется свериться с карточкой исходной модели.

Это пакет слоёв GGUF для запуска NVIDIA Nemotron 3 Ultra 550B A55B в распределённой среде Mesh LLM. Его подготовила команда Mesh LLM на основе unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF; вариант UD-Q4_K_S разбивает исходную модель на артефакты по слоям для распределённого вывода на нескольких локальных машинах. Пакет предназначен для локального приватного чат-инференса и сценариев, в которых полная модель слишком велика для одного узла. Mesh LLM может обслуживать запросы через совместимый с OpenAI API, включая endpoint /v1/chat/completions. Модель принимает текст и генерирует текст; в метаданных заявлена задача text-generation и возможность chat. Репозиторий содержит layer-package в формате GGUF и ссылается на квантованный вариант UD-Q4_K_S исходной модели. Размер исходной модели — 550B параметров по её идентификатору, но точный размер пакета и длина контекста в предоставленных данных не указаны. Лицензионные условия следует сверить с карточкой исходной модели, на которую ссылается README.

NVIDIA-Nemotron-Nano-9B-v2-GGUF — набор GGUF-квантизаций модели NVIDIA-Nemotron-Nano-9B-v2, подготовленный пользователем bartowski на основе оригинальной модели NVIDIA. Модель предназначена для генерации текста и локального запуска в llama.cpp, LM Studio и других совместимых проектах. В набор входят варианты от BF16 до низкоразрядных Q2–Q8 и IQ-квантизаций; размер файлов составляет примерно от 5,27 до 17,79 ГБ. Квантизация выполнена с использованием imatrix, что направлено на сохранение качества при уменьшении требований к памяти. В README не указаны архитектура исходной модели, поддерживаемые языки, длина контекста, мультимодальные возможности и точные сценарии применения. Сильной стороной набора является широкий выбор компромиссов между качеством, размером и требованиями к оборудованию: варианты Q5–Q6 и Q4_K_M обозначены как рекомендуемые, а Q3 и Q2 подходят для систем с ограниченным объёмом RAM, но обеспечивают более низкое качество. Лицензия в предоставленных данных не указана; условия использования следует уточнять на странице оригинальной модели NVIDIA-Nemotron-Nano-9B-v2.

OpenInstruct Mistral 7B — языковая модель для генерации текста и выполнения инструкций, созданная Devin Gulliver на базе Mistral 7B и обученная с использованием набора данных monology/VMware-open-instruct-higgsfield. Представлена в формате GGUF, а квантованные файлы подготовлены TheBloke. Модель ориентирована на англоязычные задачи, включая ответы на инструкции, генерацию текста и локальное инференс-применение. Модель содержит около 7 миллиардов параметров и использует архитектуру Mistral. В README не указаны точная длина контекста и поддерживаемые модальности, поэтому подтверждена только текстовая генерация на английском языке. GGUF подходит для запуска через llama.cpp и совместимые интерфейсы и библиотеки, включая text-generation-webui, LM Studio, KoboldCpp и llama-cpp-python. Доступны варианты квантования с разной разрядностью, что позволяет выбирать между требованиями к памяти и качеством. К сильным сторонам относятся возможность локального запуска, поддержка CPU+GPU-инференса и несколько вариантов квантования. Ограничения включают специализацию на английском языке, потенциальную потерю качества при сильном квантовании и отсутствие в README подробных данных о результатах оценки, точном контекстном окне и поведении на других языках. Модель распространяется по лицензии Apache-2.0.

Это набор GGUF-квантизованных версий текстовой генеративной модели OwenArli/Meta-Llama-3-8B-Instruct-Dolfin-v0.1. Квантизацию выполнила организация featherless-ai-quants. Модель предназначена для генерации текста и может использоваться в сценариях, где требуется запуск инструкционной языковой модели в формате GGUF. В основе лежит Meta-Llama-3-8B-Instruct-Dolfin-v0.1; заявленный размер исходной модели — 8 миллиардов параметров. README не содержит сведений о точной архитектуре, поддерживаемых языках, размере контекста, обучающих данных и результатах тестирования. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8,1 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Сильной стороной набора является широкий выбор квантизаций для локального или иного совместимого запуска GGUF-моделей. Ограничения, связанные с конкретной потерей качества, производительностью и совместимостью вариантов, в README не описаны. Лицензия и условия использования также не указаны; их следует уточнить по базовой модели и репозиторию.

Это GGUF-квантизированная версия языковой модели TinyR1-32B-Preview-v0.2, разработанной qihoo360 и подготовленной пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 32B параметров; README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекста. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, с размером файлов примерно от 13,71 до 34,82 ГБ. Более качественными считаются варианты Q6, Q5 и Q4, а младшие варианты экономят оперативную память за счёт снижения качества. Для работы требуется использовать указанный формат prompt и совместимое программное обеспечение. Модель распространяется по лицензии Apache-2.0. Ограничения включают зависимость от llama.cpp-совместимой инфраструктуры, значительные требования к памяти для старших вариантов квантизации и возможное снижение качества у компактных вариантов.

Q-Trust CodeBERT — классификатор исходного кода, разработанный для проекта миграции Q-Trust на постквантовую криптографию. Модель дообучена на базе huggingface/CodeBERTa-small-v1 и определяет, использует ли фрагмент кода криптографию; метка LABEL_1 означает наличие криптографического использования. Архитектура — RoBERTa с классификационной головой, размер — 96,6 млн параметров, контекст — 514 токенов. Доступны веса Safetensors и формат ONNX. Модель предназначена для поиска криптографических вызовов и примитивов в исходных файлах как начального этапа инвентаризации перед миграцией на постквантовые алгоритмы. В README сообщается о F1 0,9525 на отложенной выборке из 2415 примеров; на файлах CryptoAPI-Bench указана полнота 0,877. Модель обнаруживает использование криптографии, но не выявляет неправильное или небезопасное применение. Обучающая выборка содержит 12 462 файла. Лицензия — MIT.

Qwen2-57B-A14B-Instruct-GGUF — это GGUF-квантизированная версия модели Qwen/Qwen2-57B-A14B-Instruct, разработанной командой Qwen и подготовленной пользователем legraphista с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в формате чата, и может запускаться в совместимых средах, поддерживающих формат GGUF, в том числе llama.cpp. В README явно указан английский язык; сведения о поддержке других языков отсутствуют. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая несколько подтипов квантизации. Размер файлов варьируется примерно от 21,06 до 114,84 ГБ; часть наиболее крупных вариантов поставляется в виде разделённых файлов. Ключевое преимущество сборки — возможность выбрать баланс между качеством и требованиями к памяти, однако низкобитная квантизация может снижать точность, а запуск модели требует значительных аппаратных ресурсов. Размер контекста, точные архитектурные характеристики и мультимодальные возможности в README не указаны. Модель распространяется по лицензии Apache-2.0.

TurboQwen3.6 — сборка модели Qwen3.6 27B MTP в формате GGUF с упаковкой TurboQuant, опубликованная YTan2000. Она предназначена для генерации текста в диалогах и ускоренного вывода с draft-MTP speculative decoding; для работы нужны сборка TurboQuant runtime с поддержкой TQ3_4S и MTP, а также совместимый проектор для мультимодального ввода. Размер файла основной модели составляет 13,39 ГиБ; в README рекомендован контекст 32 768 токенов. Модель основана на unsloth/Qwen3.6-27B-MTP-GGUF и распространяется по лицензии Apache-2.0. Карточка приводит локальное сравнение производительности на RTX 3090, однако результаты относятся к указанному runtime и настройкам. Сборки стандартного llama.cpp без расширений TurboQuant и MTP не поддерживаются; мультимодальный проектор размещён отдельно.

giocom/Qwen3.8-27B-MXFP4-GGUF — это вариант модели Qwen3.8-27B, опубликованный пользователем giocom и представленный в формате GGUF. В README указаны технологии MTP и MXFP4, а также приблизительная плотность квантования 5,24 BPW. Базовая модель разработана командой Qwen, однако подробные сведения об архитектуре и размере исходной модели в карточке не приведены. Модель предназначена для задач, поддерживаемых базовой Qwen3.8-27B, с возможностью использования в совместимом с GGUF программном обеспечении. В метаданных указан тип pipeline image-text-to-text, что предполагает работу с изображениями и текстом, но конкретные поддерживаемые модальности, языки, размер контекста и сценарии применения не описаны. Ключевым преимуществом является компактное MXFP4-представление, потенциально снижающее требования к памяти по сравнению с полноразмерными весами. Ограничения связаны с отсутствием подробных результатов тестирования, характеристик производительности и описания качества квантования. README содержит ссылку на лицензию базовой модели Qwen3.8-27B, но точные условия лицензии в карточке не указаны.

Qwen3.8-9B-Distill-uncensored-heretic-Q4_K_M-GGUF — текстовая генеративная модель, преобразованная в формат GGUF из базовой модели petruhonk/Qwen3.8-9B-Distill-uncensored-heretic. В README не указано, кто разработал исходную модель; преобразование в GGUF выполнено для репозитория ge525. Модель предназначена для генерации текста и локального запуска с использованием llama.cpp, включая работу через CLI или сервер. Известно, что модель относится к семейству Qwen, имеет размер 9B и создана методом дистилляции. Заявлены сценарии рассуждений и function calling, однако подробные сведения об архитектуре, длине контекста, мультимодальности и качестве отсутствуют. Указан английский язык. Квантованный вариант Q4_K_M рассчитан на более экономичное использование памяти, но README не содержит точных требований к оборудованию и данных о производительности. Модель распространяется по лицензии Apache-2.0. Для запуска рекомендуется llama.cpp; в README приведены примеры запуска с контекстом 2048 токенов, но это значение может быть лишь параметром конкретной команды, а не максимальным контекстом модели. Ограничения, связанные с безопасностью и поведением uncensored-версии, отдельно не описаны.

vumpt/Qwen3.8-Flash-Next-GGUF — это GGUF-конверсия экспериментальной гибридной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для запуска и инференса через llama.cpp; заявленные сценарии включают обработку текста, а также задач image-text-to-text. Исходные веса имеют формат BF16, а представленная версия использует квантизацию Q4_K_M и занимает около 120 ГБ. Архитектура сочетает Gated DeltaNet, Qwen Sparse Attention, разреженную MoE-структуру с 512 экспертами и таблицу n-граммных эмбеддингов PLE. Всего модель содержит около 125 млрд параметров MoE, из которых активно используется около 6 млрд, дополнительно 51 млрд параметров приходится на n-граммную таблицу и 4 млрд — на MTP; суммарно заявлено около 180 млрд параметров. Эксперты, attention и FFN преимущественно квантизированы в Q4_K_M, эмбеддинги и выходной слой — в Q6_K, а таблица PLE — в Q5_0. Сильной стороной модели является сочетание крупной общей ёмкости с малым числом активных MoE-параметров, что потенциально снижает вычислительную нагрузку при сохранении возможностей большой модели. Основное ограничение — экспериментальная архитектура поддерживается только специальной веткой llama.cpp, связанной с PR #27742; актуальная основная ветка на момент публикации её не загружает. Языки и размер контекстного окна в README не указаны. Лицензия обозначена как qwen-community-1.0.

amd/Qwen3.8-Flash-Next-Quark-MXFP4 — оптимизированная и квантованная версия Qwen3.8-Flash-Next, подготовленная Advanced Micro Devices (AMD) с использованием AMD-Quark. Модель предназначена для генерации текста на основе текстовых, изображений и видео входных данных и работает через Transformers и vLLM. В карточке указана поддержка английского языка. Модель использует архитектуру Qwen4ExpForConditionalGeneration с MoE-компонентами. Все веса и активации экспертов MoE, включая shared expert, квантованы в OCP MXFP4; механизмы внимания, vision tower, роутеры и другие перечисленные компоненты сохранены в формате bfloat16. Модель рассчитана на аппаратные платформы AMD MI350 и MI355, Linux, ROCm 7.2.3 и PyTorch 2.12.0. Размер модели и объём контекстного окна в README не указаны. Ключевое преимущество — снижение требований к вычислениям и памяти при сохранении близкой к исходной точности: на GSM8K модель получила 96,5 против 96,8 у базовой версии, что соответствует восстановлению 99,7% результата. Ограничения включают зависимость от специализированного оборудования AMD и указанного программного стека, а также отсутствие данных о качестве на других задачах и языках. Лицензия обозначена как other; для модификаций указано авторское право Advanced Micro Devices, Inc. за 2026 год, подробные условия приведены в файле LICENSE.

Это пакет слоёв GGUF для запуска Qwen3-VL-235B-A22B-Instruct-UD-Q4_K_XL через Mesh LLM. Его подготовил проект Mesh LLM на основе unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF: веса распределены по отдельным артефактам для распределённого инференса на локальном кластере. Модель относится к семейству Qwen3 и предназначена для диалогового взаимодействия и генерации текста; пакет поддерживает запуск на нескольких машинах и локальный OpenAI-совместимый интерфейс чата. Квантованный вариант UD-Q4_K_XL поставляется в формате GGUF и рассчитан на сценарии, когда полную модель неудобно размещать на одном хосте. Карточка этого пакета не приводит параметры мультимодального ввода, размер контекста, языки или условия лицензии; за этими сведениями README направляет к карточке исходной модели.

Это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen и подготовленной пользователем bartowski. Модель предназначена для запуска локально через llama.cpp и совместимые приложения, включая LM Studio, koboldcpp, Jan AI и Text Generation Web UI. По метаданным она относится к задачам image-text-to-text, то есть рассчитана на сценарии преобразования изображений и текста в текст, однако подробности о поддерживаемых языках и возможностях мультимодального ввода в карточке не приведены. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6, Q5, Q4, IQ4 и Q3 с размером файлов примерно от 17 до 71 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix; для ряда вариантов заявлено высокое качество при меньшем потреблении памяти. Поддерживаются MTP-слои, которые можно задействовать через параметр draft-mtp при наличии соответствующей поддержки в используемом ПО. Точные сведения об архитектуре, размере активируемой части MoE, длине контекста и языках отсутствуют, поэтому эти характеристики нельзя подтвердить по README. Модель распространяется по лицензии Apache 2.0.

QwQ-32B-Preview-abliterated-GGUF — квантизированная версия текстовой генеративной модели QwQ-32B-Preview-abliterated, разработанной huihui-ai и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для диалогового применения и генерации текста, включая локальный запуск через llama.cpp и LM Studio. В README заявлена поддержка английского языка. Модель основана на 32B-версии QwQ и распространяется в нескольких вариантах квантизации: от BF16 размером 65,54 ГБ до более компактных форматов Q3, Q4, Q5, Q6, Q8 и IQ. Для квантизации использовался llama.cpp с imatrix и специальным набором данных. Рекомендуемыми названы варианты Q4_K_M, Q5_K_M, Q6_K и другие близкие по качеству форматы; конкретный выбор зависит от доступной оперативной памяти и аппаратной платформы. К сильным сторонам относятся широкий выбор размеров файлов, возможность локального запуска и сохранение высокого качества в старших вариантах квантизации. Ограничения — значительные требования к памяти, снижение качества в компактных вариантах, а также аппаратные ограничения для некоторых ARM-оптимизированных форматов. Модель помечена как abliterated и uncensored, поэтому поведение и защитные ограничения могут отличаться от исходной версии. Лицензия — Apache-2.0.

Rombo-LLM-V3.0-Qwen-32b-GGUF — это набор GGUF-квантизаций языковой модели Rombo-LLM-V3.0-Qwen-32b, разработанной Rombo-Org и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio и другие проекты на его основе. В основе лежит модель размером 32 млрд параметров; архитектура и поддерживаемые языки в README не уточняются. Представлены варианты квантизации Q8_0, Q6_K_L, Q6_K, Q5, Q4, Q3 и IQ различных уровней, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер файлов варьируется примерно от 13,7 до 34,8 ГБ. Квантизации выполнены с использованием imatrix и llama.cpp, релиз b4688; для работы рекомендуется указанный chat-шаблон с тегами <|im_start|> и <|im_end|>. Сильными сторонами являются широкий выбор вариантов, высокое качество старших квантизаций и возможность локального запуска. Более компактные варианты подходят для систем с ограниченным объёмом памяти, но характеризуются снижением качества; некоторые форматы отмечены как устаревшие. Длина контекста, мультимодальные возможности и результаты оценивания не указаны. Модель распространяется по лицензии Apache-2.0.