II.2Создание и понимание программного кода

Carnice-V3-GGUF — квантованные GGUF-варианты модели Carnice V3 от kai-os, производной от Qwen/Qwen3.8-27B. Модель предназначена для запуска через llama.cpp, включая текстовые, мультимодальные и агентские сценарии с использованием инструментов. В основе лежит объединённая BF16-модель размером 27 781 427 952 параметра; постобучение выполнялось с помощью rank-64 rsLoRA для языковых линейных модулей. Визионные и MTP-модули не дообучались. Заявлена поддержка английского языка, обработки изображений и контекста до 32 768 токенов при указанных настройках запуска. В репозитории доступны варианты Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 15,66 до 27,05 GiB, а мультимодальный проектор поставляется отдельно в формате BF16. Q5_K_M рекомендуется как баланс качества и потребления памяти, Q6_K — когда важнее надёжность агентской работы, а Q8_0 — при приоритете минимальных потерь квантования. Проверки показывают небольшое ухудшение perplexity относительно BF16 и успешный тест вызова инструмента, однако эти результаты не являются широким бенчмарком. Модель может быть полезна для локального инференса, обработки изображений, tool use и Hermes Agent. При этом Carnice V3 не прошла формальную проверку поведенческого качества; внутренние тесты выявили более слабое выполнение длинных задач и соблюдение контрактов инструментов по сравнению с базовой моделью. Модель не рекомендуется для автономных, разрушительных, высокорисковых или производственных агентов без независимой оценки, строгой песочницы и ограничений времени, контекста и числа итераций. Распространение осуществляется по лицензии Apache-2.0.

mlx-community/DeepSeek-R1-Distill-Llama-70B-8bit — это 8-битная версия модели DeepSeek-R1-Distill-Llama-70B, преобразованная в формат MLX сообществом mlx-community. Конвертация выполнена из исходной модели deepseek-ai/DeepSeek-R1-Distill-Llama-70B с использованием mlx-lm версии 0.20.2. Модель предназначена для генерации текста и диалоговых сценариев в экосистеме MLX, включая запуск через библиотеку mlx-lm. README не содержит подробных сведений об архитектуре, числе параметров, поддерживаемых языках, размере контекста, модальностях, результатах тестирования или сильных и слабых сторонах модели. Известно только, что используется 8-битное представление и предусмотрена поддержка chat template при наличии соответствующей конфигурации токенизатора. Для использования требуется установить mlx-lm и загрузить модель по её идентификатору. Лицензия в README не указана, поэтому условия использования определить по предоставленным данным невозможно.

DeepSeek-R1-Q4_K_M-layers — пакет для распределённого запуска квантованной модели DeepSeek-R1 в формате GGUF, подготовленный Mesh LLM на основе unsloth/DeepSeek-R1-GGUF. Веса разделены на артефакты по слоям, чтобы объединять память и вычислительные ресурсы нескольких машин в локальном кластере Mesh LLM. Модель предназначена для локального приватного чат-инференса и сценариев, где полный файл модели не помещается на одном компьютере. Её можно подключать через совместимый с OpenAI API Mesh LLM, включая интерфейс `/v1/chat/completions`. Задача из метаданных — генерация текста; семейство — DeepSeek, вариант квантования — Q4_K_M. Пакет рассчитан на распределённый запуск и не является самостоятельной архитектурой модели. README отсылает к карточке исходной модели за сведениями об архитектуре, шаблоне чата, рекомендациях по генерации и лицензии; условия использования в доступных данных не приведены.

Это пакет слоёв GGUF модели DeepSeek-V3.1-UD-Q4_K_XL для распределённого запуска в Mesh LLM. Пакет подготовлен из unsloth/DeepSeek-V3.1-GGUF и содержит модель, разделённую на артефакты по слоям для совместной обработки несколькими компьютерами. Модель предназначена для локального диалогового инференса, в том числе на нескольких узлах, когда полный файл модели трудно разместить на одной машине. Через локальный API Mesh LLM её можно использовать в сценариях, совместимых с OpenAI Chat Completions. Карточка указывает вариант квантования UD-Q4_K_XL; подробности об архитектуре, размере и лицензии следует сверять с карточкой исходной модели.

DeepSeek-V4-Flash-4bit — модель для генерации текста в формате MLX, опубликованная сообществом mlx-community при поддержке Lambda.ai. Она предназначена для использования с библиотекой mlx-lm и поддерживает сценарии диалоговой генерации через chat template, если такой шаблон доступен в токенизаторе. Из доступных данных известно, что модель представлена в 4-битном варианте, что указывает на применение 4-битного квантования. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, дополнительных модальностях, сильных сторонах, ограничениях или лицензии. Для работы требуется библиотека mlx-lm; конкретные требования к оборудованию в карточке не указаны.

DeepSeek-V4-Flash-GGUF — это квантизированная версия модели DeepSeek-V4-Flash, опубликованная организацией ggml-org на основе исходной модели deepseek-ai. Модель предназначена для генерации текста и запуска в формате GGUF, в том числе с помощью llama.app и совместимых инструментов. В README указано, что модель автоматически конвертируется средствами проекта ggml-org/convert. Доступны варианты с разными уровнями квантизации; для моделей Q2 пока не применялась калибровка imatrix из-за отсутствия соответствующих данных. Сведения об архитектуре, количестве параметров, размере контекста, поддерживаемых языках и модальностях не приведены, поэтому оценить эти характеристики и ограничения по README невозможно. Модель распространяется по лицензии MIT. Условия использования исходной модели следует дополнительно уточнять в карточке deepseek-ai/DeepSeek-V4-Flash.

Emese-Folyó — венгерская разговорная модель семейства Emese, разработанная Emese Tech на базе EuroLLM-22B. Она предназначена для диалогов и выполнения инструкций на венгерском языке, включая ответы на вопросы, перевод, написание кода и многошаговые запросы. Модель использует плотную LLaMA-совместимую архитектуру и содержит 21,9 млрд параметров. Веса этого репозитория представлены в bf16 в формате Safetensors; контекст — до 32 768 токенов. Обучение включало продолжение предобучения на венгерском корпусе, настройку инструкций и оптимизацию предпочтений. Лицензия — Apache-2.0. По результатам тестов из карточки, модель хорошо справляется с венгерским диалогом, переводом, кодом, вопросами по контексту и задачами безопасности. Она может уверенно выдумывать отдельные факты, слаба в многошаговой математике и логических головоломках, а в английском диалоге может продолжать отвечать по-венгерски. Для практического запуска нужны значительные ресурсы памяти; карточка также предупреждает о снижении качества при конвертации в GGUF.

functionary-medium-v3.1-GGUF — это квантизированная версия языковой модели functionary-medium-v3.1, разработанной meetkai и опубликованной в формате GGUF компанией Second State Inc. Модель предназначена для диалоговых приложений и сценариев вызова функций, где требуется формировать вызовы инструментов в заданном формате с аргументами JSON. Поддерживается запуск через LlamaEdge версии 0.14.10 и выше с использованием шаблона prompt functionary-31. Заявленный размер контекста составляет 128 000 токенов. README не содержит сведений о точной архитектуре, количестве параметров, поддерживаемых языках или мультимодальности, поэтому эти характеристики нельзя достоверно определить. Доступны варианты квантизации от Q2_K до Q8_0; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, при этом более сильная квантизация уменьшает размер файла, но может заметно снижать качество. Модель подходит для локального развёртывания, чат-приложений и интеграции с внешними инструментами через function calling. Ограничения включают возможную потерю качества в низкобитных вариантах и значительный объём файлов: от 26,4 до 49,9 ГБ для указанных сборок. Модель распространяется по лицензии MIT.

GLM-5.2-MXFP4xFP8_BLOCK — квантизированная версия языковой модели GLM-5.2, разработанная RedHatAI на базе модели zai-org/GLM-5.2. Это текстовая causal language model с архитектурой GlmMoeDsaForCausalLM: принимает текст и генерирует текст. В README указана поддержка английского и китайского языков, а также готовность к инференсу через vLLM. Модель использует смешанную квантизацию: линейные слои MoE-экспертов квантизированы до 4-битного MXFP4, а линейные слои внимания, dense- и shared-expert-компоненты — до 8-битного блочно-масштабируемого FP8_BLOCK; активации квантизируются в FP8 с динамическим масштабированием. В среднем используется около 4,4 бита на параметр, благодаря чему размер модели на диске сокращён примерно с 1,47 ТБ в формате BF16 до 411 ГБ, а требования к дисковой и GPU-памяти уменьшены приблизительно на 72%. Модель предназначена для запуска крупной GLM-5.2 в условиях ограниченных ресурсов, включая инференс с использованием vLLM, параллелизма по тензорам, FP8 KV-кэша и инструментального вызова. Ключевое ограничение — экспериментальная поддержка этого квантизированного checkpoint в vLLM; размер контекста, точное число параметров, мультимодальные возможности и лицензия в README не указаны. Квантизация выполнена с помощью LLM Compressor методом RTN без калибровочных данных, а модель экспортирована в формате compressed-tensors.

GLM-5.3-Flash-UD-Q4_K_XL-layers — пакет слоёв модели семейства GLM для распределённого инференса через Mesh LLM. Он получен из unsloth/GLM-5.3-Flash-GGUF: исходный GGUF разделён на артефакты по слоям, чтобы запускать модель на локальном кластере из нескольких машин, когда одного узла недостаточно. Поддерживается локальный чат и работа через совместимый с OpenAI API интерфейс Mesh LLM. Пакет предназначен для приватного локального использования, распределённой подачи запросов и подключения к рабочим процессам чата и генерации текста. Репозиторий указывает вариант UD-Q4_K_XL и лицензию MIT. Архитектурные характеристики и подробности о контексте, языках и качестве следует сверять с карточкой исходной модели.

Granite 3.0 1B A400M Instruct — это компактная инструкционная языковая модель семейства Granite, разработанная IBM и опубликованная как ibm-granite/granite-3.0-1b-a400m-instruct. Данный репозиторий содержит её квантованные варианты в формате GGUF, подготовленные bartowski с использованием llama.cpp и imatrix. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, рассуждения, базовые математические задачи, работу с кодом и мультиязычные сценарии. В названии указаны 1B параметров и архитектурная конфигурация A400M; точные сведения об архитектуре, размере контекста и поддерживаемых языках в README не приведены. Доступны варианты от F16 до Q4 и ниже, с размером файлов примерно от 0,77 до 2,67 ГБ. Квантование позволяет запускать модель локально при меньших требованиях к памяти; варианты Q5 и Q6 заявлены как высококачественные, а Q4 — как компромисс между качеством и размером. Для работы рекомендуется использовать совместимое ПО, например LM Studio, с указанным форматом prompt. Модель подходит для локальных приложений, чат-ассистентов и задач, где важны небольшие требования к ресурсам. Ограничения включают меньший размер по сравнению с крупными языковыми моделями и потенциальные потери качества при агрессивном квантовании; приведённые benchmark-результаты относятся к базовой модели и представлены неполно. Лицензия — Apache 2.0.

informatiker-Qwen2-7B-Instruct-abliterated-GGUF — это набор GGUF-квантизаций модели informatiker/Qwen2-7B-Instruct-abliterated. В README указано, что квантизации подготовлены командой featherless-ai-quants; исходная модель основана на Qwen2-7B-Instruct. Модель предназначена для генерации текста и использования в сценариях, поддерживающих формат GGUF. Доступны варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Размер файлов составляет примерно от 2,9 до 7,7 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Архитектура, точный размер контекста, поддерживаемые языки и модальности в README не указаны; по назначению это текстовая, а не мультимодальная модель. Основное преимущество набора — возможность локального или совместимого с GGUF запуска с выбором степени квантизации. Более компактные варианты требуют меньше памяти, но потенциально сильнее уступают исходной модели по качеству; README не содержит результатов бенчмарков или подробностей о характеристиках abliteration. Лицензия модели и условия использования в предоставленных данных не указаны.

Kimi-K2.6-RAM-447GB-GGUF — это смешанно-точная GGUF-квантизация модели moonshotai/Kimi-K2.6, опубликованная baa-ai и созданная с использованием конвейера RAM (Resource-Aware Mixed-precision). Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе на системах с 512 ГБ оперативной памяти или на конфигурациях с двумя модулями по 256 ГБ. В основе лежит архитектура DeepSeek-V3 decoder (kimi_k2) с 61 слоем, 1,03 трлн параметров, скрытым размером 7168, MLA-attention и MoE-структурой из 384 маршрутизируемых экспертов, из которых для каждого токена активируются 8. Экспертные веса квантизированы в Q3_K, а веса attention распределены между Q5_K и Q8_0 на основе чувствительности отдельных тензоров к ошибкам квантования. Размер файла составляет 447 ГБ. Ключевое преимущество варианта — ориентация на более высокое качество по сравнению с менее ресурсоёмкими сборками благодаря неравномерному распределению разрядности для attention-тензоров. Ограничениями являются чрезвычайно высокие требования к оперативной памяти и отсутствие imatrix: его не использовали, поскольку промежуточный файл Q8_0 объёмом 1,1 ТБ превышал доступную память. Экспертные веса исходной модели INT4 были предварительно деквантизированы и повторно квантизированы в GGUF. В карточке указана лицензия modified-MIT с типом license: other. Поддерживаемые языки и мультимодальные возможности в README не описаны.

Limbic-Tool-Use MCP Function Call Evaluator — компактная языковая модель Quotient AI, дообученная методом LoRA на базе Qwen2.5-0.5B-Instruct. Она оценивает вызовы инструментов Model Context Protocol (MCP), сопоставляя их с доступными схемами инструментов и историей диалога. Модель различает корректные вызовы, неверное имя инструмента, неправильные имена параметров и неподходящие значения параметров, возвращая оценку и объяснение в формате JSON. Для работы модели передают список доступных инструментов с их схемами и историю сообщений с запросом пользователя и вызовом инструмента. Архитектура — плотная Qwen2; базовая модель содержит 494 млн параметров, поддерживает контекст до 32 768 токенов и работает с текстовым вводом и выводом. Обучающие данные основаны на инструментах публичных MCP-серверов с дополнением синтетическими примерами. Модель предназначена для оценки качества вызовов инструментов, например в проверочных наборах и системах, использующих MCP. Её узкая специализация не подразумевает общей оценки произвольных ответов или надёжности инструментов вне заданной схемы и контекста. Лицензия — Apache-2.0; опубликованы LoRA-адаптеры размером около 40 МБ.

Midas-FableAgent-8B-i1-GGUF — GGUF-квантизированная версия модели Midas-FableAgent-8B, разработанной EphAsad и подготовленной к квантизации пользователем mradermacher. Модель обучалась с использованием наборов данных OpenThoughts-Agent-v1-SFT, kelexine/fable-5-sft-traces, Glint-Research/Fable-5-traces и armand0e/claude-fable-5-claude-code. Модель предназначена для англоязычной генерации текста, диалоговых сценариев, reasoning, agentic-задач и взаимодействия с инструментами. В метаданных указаны связи с Qwen3, Unsloth и LoRA, однако точная архитектура и параметры базовой модели в README не описаны. Размер базовой модели составляет 8B; поддерживается английский язык. Информация о контекстном окне и мультимодальных возможностях отсутствует. Главное преимущество репозитория — широкий выбор GGUF-квантизаций с различным балансом между размером, скоростью и качеством, включая варианты от i1-IQ1_S до i1-Q6_K. Более низкие уровни квантизации экономят память, но могут заметно снижать качество; для варианта i1-Q4_K_M заявлены высокая скорость и рекомендованный баланс характеристик. Модель ориентирована на запуск в средах, поддерживающих GGUF, но конкретные требования к оборудованию не указаны. Лицензия — Apache-2.0.

Это пакет Mesh LLM с разбиением GGUF-модели Mistral-Small-4-119B-2603-UD-Q4_K_XL на артефакты по слоям для распределённого инференса. Он основан на unsloth/Mistral-Small-4-119B-2603-GGUF и предназначен для запуска чат-модели Mistral на локальном кластере Mesh LLM, в том числе на нескольких машинах, если одной машине не хватает ресурсов. Mesh LLM предоставляет локальный API, совместимый с OpenAI Chat Completions. В репозитории указаны формат GGUF и вариант UD-Q4_K_XL; пакет включает отдельные артефакты для слоёв и общие данные модели. Архитектурные подробности, число параметров, контекст, языки и условия лицензии в предоставленных данных не приведены; за ними README отсылает к карточке исходной модели. Пакет рассчитан на локальный инференс, но требует Mesh LLM и оборудования, достаточного для распределённого запуска. Лицензионные условия следует сверить с карточкой исходной модели.

Mythos Qwen 1.5B Final Heretic — англоязычная специализированная версия Qwen2.5-Coder-1.5B-Instruct от автора richardyoung. Это плотная авторегрессионная модель класса Qwen2 с 1,5 млрд параметров, рассчитанная на генерацию кода и диалоговое взаимодействие; заявленная длина контекста — 32 768 токенов. По карточке, модель получена с помощью Heretic v1.4.0: она снижает частоту отказов отвечать по сравнению с исходной Mythos, сохраняя близость распределения выходов по указанной метрике KL divergence. Модель предназначена для анализа уязвимостей и CVE, изучения механизмов эксплойтов, задач CTF и обучения кибербезопасности, а также для поддержки защитных сценариев — например, анализа журналов и подготовки правил обнаружения. В карточке заявлены примеры по PHP, MyBB и Python, включая десериализацию, SQL-инъекции, XSS и криптографические атаки. Это заявления автора, а датасет и независимая оценка качества описаны ограниченно. Модель ориентирована на авторизованные исследования и обучение; её сниженные отказы требуют осторожного применения. Лицензия — Apache-2.0.

NeuralHermes-2.5-Mistral-7B-GGUF — это квантованная версия языковой модели NeuralHermes-2.5-Mistral-7B, разработанной mlabonne и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель основана на Mistral-7B и предназначена для генерации текста и диалогового использования в инструкционном режиме с применением шаблона ChatML. Модель подходит для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью работы и качеством генерации. Заявлена поддержка преимущественно английского языка; сведения о размере контекста и других модальностях отсутствуют, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся локальный запуск, широкий выбор уровней квантования и совместимость с распространёнными инструментами инференса. К ограничениям относятся возможная потеря качества при низкой разрядности квантования, зависимость производительности от выбранного файла и оборудования, а также отсутствие в предоставленных данных подробных оценок качества, безопасностных характеристик и размера контекста. Модель распространяется по лицензии Apache-2.0.

Qwen-0.5B-Coder-El-Terminalo — компактная модель генерации команд оболочки, разработанная Albinab на основе Qwen2.5-Coder-0.5B-Instruct. Модель дообучена методом LoRA на 5 536 очищенных пар «запрос на естественном языке — команда» и предназначена для локального использования в El Terminalo, а также через Ollama или Transformers. Модель преобразует англоязычные запросы в одну shell-команду без объяснений, альтернатив и Markdown. Она ориентирована на Linux с bash и macOS с zsh и охватывает распространённые задачи Git, Docker, Kubernetes, работы с файлами, системного администрирования, сетевого взаимодействия, баз данных и управления пакетами. В обучении представлены 209 базовых команд. Размер модели — 0,5 млрд параметров; доступна квантованная версия Q8_0 в формате GGUF размером около 500 МБ, с потреблением 800 МБ–1 ГБ RAM при инференсе. Сильные стороны модели — малый размер, локальный запуск без API-ключей и передачи данных в облако, а также специализация на распространённых DevOps- и SRE-сценариях. Ограничения включают генерацию только одной команды за запрос, отсутствие поддержки многошаговых конвейеров и скриптов, возможные вымышленные флаги для редких команд и ограниченное покрытие нишевых инструментов. Механизм отказа для опасных команд обучен на небольшом числе примеров и не должен рассматриваться как надёжный механизм безопасности. Лицензия — Apache 2.0.

Qwen1.5-4B — базовая предобученная языковая модель от команды Qwen, бета-версия семейства Qwen2. Это декодерная Transformer-модель с примерно 3,6 млрд параметров, предназначенная для генерации текста и дальнейшей адаптации под прикладные задачи. Для пользовательского диалога предпочтительна отдельная чат-версия семейства: разработчики не рекомендуют использовать базовую модель для генерации без дополнительного обучения. Модель поддерживает контекст до 32 768 токенов и многоязычный токенизатор, адаптированный также к программному коду. В архитектуре семейства используются активация SwiGLU и смещение в проекциях внимания QKV; описание бета-версии уточняет, что в ней временно отсутствуют GQA (кроме модели 32B) и сочетание скользящего окна с полным вниманием. Модель принимает текст и генерирует текст. Рекомендуемые сценарии — продолжение текста, эксперименты и дообучение с помощью SFT, RLHF или продолжения предобучения. Репозиторий содержит веса в формате safetensors. Указана лицензия other, поэтому точные условия использования следует проверять в файлах лицензии репозитория.

denial07/Qwen2-72B-Instruct-kor-dpo — диалоговая языковая модель на архитектуре Qwen2, улучшенная для корейского языка на основе Qwen2-72B-Instruct. Модель содержит 71,5 млрд параметров, использует плотную архитектуру и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации ответов в диалоге на корейском языке. В карточке приведены результаты оценки на корейских бенчмарках LogicKor и KMMLU, включая задания на рассуждение, математику, письмо, программирование, понимание и грамматику. Метаданные указывают на поддержку генерации текста и чат-возможностей. Модель основана на Qwen2-72B-Instruct и, согласно карточке, улучшена для корейского языка. Репозиторий содержит веса в формате safetensors. Лицензия обозначена как other; конкретные условия использования следует проверить в карточке модели.

MaziyarPanahi/Qwen3-4B-GGUF — это набор файлов модели в формате GGUF для базовой модели Qwen3-4B, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты. В репозитории представлены варианты с квантованием 2, 3, 4, 5, 6 и 8 бит. Формат GGUF поддерживается llama.cpp и рядом клиентских приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и candle. Это позволяет использовать модель с аппаратным ускорением, локальным пользовательским интерфейсом или OpenAI-совместимым сервером, в зависимости от выбранного инструмента. К сильным сторонам относятся несколько уровней квантования и широкая совместимость с экосистемой локального инференса, что помогает выбирать баланс между размером файлов, требованиями к памяти и качеством генерации. README не содержит сведений о точной архитектуре, размере контекста, поддерживаемых языках, модальностях, результатах оценки и ограничениях исходной Qwen3-4B. Лицензия в предоставленных данных не указана.

lmstudio-community/Qwen3-4B-MLX-4bit — это 4-битная версия модели Qwen3-4B, разработанная сообществом lmstudio-community и преобразованная в формат MLX из базовой модели Qwen/Qwen3-4B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, включая сценарии диалогового взаимодействия с применением chat template. Из README известно, что модель использует архитектуру и характеристики базовой Qwen3-4B, однако точные параметры, поддерживаемые языки, размер контекста и мультимодальные возможности здесь не указаны. Ключевая особенность этой версии — 4-битное представление и формат MLX, что ориентировано на эффективный локальный запуск в совместимой среде. Ограничения, качество на конкретных задачах и требования к оборудованию в README не описаны. Лицензия — Apache-2.0.

Это пакет GGUF-весов Qwen3.5-27B-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого запуска модели на локальном кластере. Пакет основан на unsloth/Qwen3.5-27B-MTP-GGUF и разбивает исходный GGUF на артефакты по слоям; библиотека запуска — Mesh LLM. Указанный вариант квантования — Q4_K_XL. Модель предназначена для локального чат-инференса, в том числе на нескольких машинах, когда целиком разместить GGUF на одном узле затруднительно. Mesh LLM позволяет подключить её через локальный API, совместимый с OpenAI Chat Completions. Карточка отсылает к исходной модели за сведениями об архитектуре, шаблоне чата, параметрах генерации и лицензии; здесь эти условия не приведены.

Qwen3.5-9B-abliterated-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, подготовленная tutuchen2000 на основе abliterated-варианта lukey03/Qwen3.5-9B. Модель предназначена для локального запуска через Ollama, llama.cpp и другие совместимые движки вывода. Она поддерживает текстовые сценарии, а специальная vision-версия — обработку изображений вместе с текстом. Доступны текстовые сборки Q4_K_M размером около 5,2 ГБ и F16 размером около 17 ГБ, а также vision-сборка Q4_K_M размером около 6,1 ГБ. Vision-вариант сохраняет встроенный мультимодальный vision-энкодер исходной Qwen3.5-9B; архитектура Qwen3.5 использует нативную мультимодальность с ранним объединением данных. Заявлены поддерживаемые языки: английский, китайский, японский, корейский, французский, немецкий и испанский. Модель имеет около 9 млрд параметров, но размер контекста в README не указан. Главная особенность — удаление отказов от ответа методом abliteration: применены три прохода ортогональной проекции и последующее QLoRA-дообучение для устойчивых категорий отказов. В тесте README модель ответила на 18 из 18 проверочных запросов, тогда как базовая модель не ответила ни на один. Это может быть полезно для исследовательских, образовательных и локальных сценариев, требующих минимального количества встроенных ограничений, однако отсутствие отказов повышает риск небезопасных или неправомерных ответов и требует самостоятельного контроля со стороны пользователя. Модель распространяется по лицензии Apache-2.0. Для vision-функций требуется Ollama версии 0.17.1 или новее; текстовая сборка vision не поддерживает.

Mesh LLM подготовил пакет слоёв GGUF модели Qwen3.6-27B-UD-Q4_K_XL для распределённого запуска в локальном кластере Mesh LLM. Пакет основан на unsloth/Qwen3.6-27B-MTP-GGUF и сохраняет исходное распределение модели по отдельным артефактам слоёв; вариант весов — UD-Q4_K_XL с квантизацией Q4_K_XL. Модель предназначена для локального приватного чата и генерации текста, в том числе при распределении вычислений между несколькими машинами, когда полный GGUF-файл слишком велик для одного узла. Mesh LLM позволяет предоставлять запросы через совместимый с OpenAI API интерфейс чата. Для запуска необходима инфраструктура Mesh LLM. README отсылает к карточке исходной модели за сведениями об архитектуре, контекстном окне, шаблоне чата, рекомендациях по генерации и условиях лицензии; эти характеристики здесь не приведены. Поэтому лицензионные условия следует сверять с исходной моделью unsloth/Qwen3.6-27B-MTP-GGUF.

Qwen3.8-27B-NInfer — мультимодальная модель для генерации текста и работы с изображениями, основанная на Qwen3.8-27B от команды Qwen. Версия подготовлена разработчиком Neroued и преобразована в нативный формат артефактов NInfer с расширениями для Vision, MTP и спекулятивного декодирования DFlash2. Модель предназначена для диалогов, текстовой генерации, рассуждений, решения математических и научных задач, а также анализа изображений и визуальных вопросов. В карточке заявлены высокие результаты на IFBench, AIME 2025 и 2026, GPQA-Diamond, ERQA и RealWorldQA. Артефакт содержит квантизированные Q4/Q5-проекции, а эмбеддинги токенов и выходная голова используют q8_g32_fp16; размер файла составляет около 19,03 ГиБ. Поддерживаются текстовые и визуальные входы, а также видео согласно руководству NInfer. В примерах запуска указан контекст до 240 000 токенов, однако конкретные возможности зависят от конфигурации среды. Модель рассчитана на локальный запуск через NInfer и требует 64-разрядный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a, CUDA Toolkit 13.1 или новее и сборку NInfer не ниже указанной в карточке. Файл не является совместимым с Transformers, Safetensors или GGUF. Использование ограничено форматом NInfer и специализированным оборудованием, поэтому переносимость ниже, чем у универсальных моделей. Лицензия — Apache-2.0.

Это пакет слоёв GGUF модели Qwen3.8-27B-UD-Q8_K_XL, подготовленный Studio Maveric на основе unsloth/Qwen3.8-27B-GGUF для распределённого запуска через Mesh LLM. Пакет сохраняет исходную модель в формате GGUF, разбитую на артефакты по слоям; вариант Q8_K_XL предназначен для локального вывода на оборудовании пользователя и распределения вычислений между несколькими машинами. Модель подходит для диалоговых сценариев и генерации текста через локальный API Mesh LLM, совместимый с OpenAI Chat Completions. Распределённый запуск помогает использовать модель, когда ресурсов одного узла недостаточно. Архитектура относится к семейству Qwen3; размер и контекст модели в предоставленных сведениях не приведены. Пакет распространяется по лицензии Apache-2.0. Подробности архитектуры, языков и ограничений следует сверять с карточкой исходной модели.

Qwen3.8-27B-Uncensored-bughunter-v7-MLX-VLM-4bit — мультимодальная модель на базе orcarouter/Qwen3.8-27B-Uncensored, подготовленная mmp2055 в формате MLX safetensors с 4-битным квантованием. Версия оптимизирована для Apple Silicon и использует MLX/Metal; в состав включены текстовая модель, vision tower и projector. Модель имеет около 27 млрд параметров, поддерживает текст и изображения, а заявленные языки — английский и испанский. Модель предназначена прежде всего для задач bug bounty, offensive и defensive security, пентестинга, исследования уязвимостей, threat hunting, DFIR, анализа сетевого трафика и подготовки отчётов. Она обучена работать с широким спектром веб-, API-, мобильных, серверных и бизнес-логических уязвимостей, а также с практиками реагирования на инциденты и управления уязвимостями. Vision-возможности позволяют анализировать скриншоты WAF, Burp Suite, архитектурных схем, административных панелей и фрагментов кода, однако визуальная часть унаследована от базовой модели и не дообучалась специально на материалах по безопасности. Ключевое преимущество — специализированная настройка под сценарии поиска и анализа уязвимостей при сохранении мультимодальности. Сборка рассчитана на macOS с процессорами Apple M1–M5; на Apple M5 с 32 ГБ unified memory заявлены около 16 ГБ пиковой памяти и 6–9 токенов в секунду при контексте 32k, а обработка изображения добавляет примерно 2–5 секунд на первом проходе. Для Linux, Windows и Intel Mac рекомендуется GGUF-версия. Ограничения включают высокие требования к памяти, зависимость MLX-сборки от Apple Silicon и отсутствие специализированного дообучения vision-компонента. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-FP8 — модифицированная версия Qwen/Qwen3.8-27B, опубликованная OrcaRouter. Модель прошла abliteration: из неё удалено направление, связанное с отказами в ответах, после чего веса были офлайн квантизированы в block-FP8. Это плотная модель на 27 млрд параметров с гибридной архитектурой Gated DeltaNet и полнослойного внимания, встроенной vision-language башней и MTP-головой для спекулятивного декодирования. Модель предназначена для исследовательских задач, включая интерпретируемость, анализ механизмов отказа, AI safety, red teaming, оценку устойчивости и контролируемые эксперименты. Она поддерживает работу с текстом и изображениями, языки English и Chinese, рассуждение, function calling и контекст до 262 144 токенов. Архитектура включает 64 слоя: 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного внимания. Основные линейные веса используют block-FP8 E4M3 с размером блока 128×128 и динамическими активациями, тогда как vision tower, нормы, router, embeddings и lm_head сохранены в BF16. Сильная сторона модели — сохранение возможностей базовой Qwen3.8-27B, включая мультимодальность, инструменты, reasoning, большой контекст и MTP, при совместимости со схемой обслуживания официальной FP8-версии. Главное ограничение — существенное удаление защитного выравнивания: модель может выполнять вредоносные, неэтичные и незаконные запросы и не имеет значимых встроенных защитных механизмов. Поэтому её не следует использовать напрямую в пользовательских или производственных системах без собственных фильтров, модерации и контроля злоупотреблений. Модель распространяется по лицензии Apache 2.0; использование также должно соответствовать применимым законам и условиям лицензии базовой модели.