II.7DevOps, облако и эксплуатация IT-систем

General-Reasoner-Qwen3-14B — языковая модель TIGER-Lab, дообученная на базе Qwen/Qwen3-14B-Base для развития рассуждений в широком круге областей. Она предназначена для ответов на вопросы и решения задач, требующих анализа, включая математику, программирование, физику, химию, финансы и гуманитарные дисциплины. Для обучения использованы более 230 тысяч проверяемых вопросов из веб-источников и модельный верификатор; README описывает подход как обучение без промежуточного этапа supervised fine-tuning. Модель имеет плотную архитектуру Qwen3ForCausalLM, 14 млрд параметров и контекст до 32 768 токенов; репозиторий содержит веса в формате safetensors. Поддерживаются чат и интерфейс вызова инструментов. Лицензия — Apache-2.0. Карточка сообщает о результатах на разнообразных бенчмарках рассуждений, но не приводит здесь подробных численных оценок.

glm-4-9b-chat-GGUF — чат-модель семейства GLM-4 с примерно 9 млрд параметров, разработанная THUDM на базе THUDM/glm-4-9b-chat. Репозиторий содержит GGUF-квантизованные варианты, подготовленные Second State Inc., для локального запуска и интеграции с совместимыми инструментами, включая LlamaEdge. Модель предназначена для диалоговых сценариев: ведения беседы, обработки пользовательских запросов и генерации текстовых ответов. Заявлены китайский и английский языки. Для запуска через LlamaEdge указан контекст до 128 000 токенов и специальный шаблон prompt glm-4-chat; требуется LlamaEdge версии 0.12.3 или новее либо другой совместимый runtime для формата GGUF. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 3,99 до 18,8 ГБ. Более компактные варианты экономят память, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, обеспечивающие баланс между размером и качеством. Лицензия указана как glm-4 с типом other; условия следует уточнять в файле лицензии оригинальной модели.

NVIDIA gpt-oss-120b-Eagle3-short-context — текстовая модель для генерации ответов, основанная на OpenAI gpt-oss-120b и дополненная модулем Eagle3 для спекулятивного декодирования. Базовая gpt-oss-120b использует архитектуру Mixture-of-Experts с 120 млрд общих и 5 млрд активируемых параметров; этот репозиторий содержит 739,4 млн параметров Eagle-модуля. Модель принимает текст и генерирует текст, а её контекстное окно составляет 131 072 токена. Модель предназначена для разработчиков чат-ботов, ИИ-агентов и RAG-систем, а также для диалогов и выполнения инструкций. Вариант short-context обычно предпочтителен для запросов с контекстом менее 8 тысяч токенов. Eagle3 предсказывает кандидаты следующих токенов, которые проверяет базовая модель, ускоряя генерацию при принятии нескольких токенов за шаг. Для запуска NVIDIA указывает TensorRT-LLM и GPU NVIDIA; README описывает совместимость с Blackwell. Модель оптимизирована для инференса на системах с GPU NVIDIA. Карточка заявляет готовность к коммерческому и некоммерческому использованию, но в метаданных лицензия обозначена как other, поэтому перед применением следует проверить условия лицензии репозитория. Качество и безопасность необходимо проверять на данных и сценариях конкретного приложения; опубликованные результаты приводят показатели принятия токенов Eagle на MT-Bench, а не оценку качества ответов.

Карточка модели crusoeai/gpt-oss-20b-BF16 на Hugging Face совпадает с карточкой unsloth/gpt-oss-20b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

granite-4.2-8b-MLX-6bit — это 6-битно квантованная версия языковой модели granite-4.2-8b, разработанной командой ibm-granite. Квантование выполнено командой LM Studio с использованием MLX, поэтому модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии, связанные с рассуждениями, режимом thinking и вызовом инструментов. Модель относится к классу текстовых генеративных моделей, имеет размер 8B в исходной версии и работает с текстовой модальностью. В README заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Размер контекста и дополнительные архитектурные характеристики не указаны. Ключевые преимущества — уменьшенный объём хранения и потенциально более эффективный локальный запуск благодаря 6-битному квантованию и оптимизации MLX для Apple Silicon. Ограничения включают возможные потери качества по сравнению с полной точностью, зависимость от совместимого оборудования и отсутствие в README подробных данных о производительности, точности и размере контекста. Модель распространяется по лицензии Apache-2.0.

Etherll выпустила слитую диалоговую модель на архитектуре Llama 3.1 с плотной структурой и 7,5 млрд параметров. Она создана методом TIES с помощью mergekit на основе Etherll/Herplete-LLM-Llama-3.1-8b и rombodawg/Meta-Llama-3.1-8B-reuploaded. Модель предназначена для генерации текста по инструкциям, диалогов и сценариев с вызовом инструментов. Репозиторий использует Transformers и формат safetensors; заявленная длина контекста составляет 131 072 токена. Карточка не сообщает о специализированной предметной области или отдельной языковой специализации. Условия лицензии в предоставленных данных не указаны.

InternLM2-Base-7B — базовая плотная авторегрессионная языковая модель семейства InternLM2, разработанная командой InternLM. Она содержит 7,4 млрд параметров и предназначена для генерации и продолжения текста, а также служит отправной точкой для дообучения под конкретные области и задачи. Модель принимает текст и поддерживает контекст до 32 768 токенов. Разработчики сообщают об улучшениях в рассуждениях, математике и программировании относительно предыдущего поколения, а также о результатах на длинных текстах; заявленная в README способность обрабатывать до 200 000 символов не совпадает с контекстным пределом из метаданных. Карточка приводит результаты оценок OpenCompass и предупреждает, что ответы могут содержать предвзятые или вредоносные сведения. Код распространяется по Apache-2.0. Для весов указано открытое использование в академических исследованиях; для коммерческого применения требуется получить бесплатное разрешение.

K2-Horizon-MoVA-36B-A4B-GGUF — набор GGUF-квантизаций модели K2-Horizon-MoVA-36B-A4B, разработанной Institute of Foundation Models (IFM) при MBZUAI и выпущенной 3 сентября 2026 года. Модель предназначена для генерации текста, рассуждений и работы с длинным контекстом; заявлена поддержка английского языка. Формат GGUF ориентирован на запуск через llama.cpp и совместимые инструменты. Модель использует архитектуру k2_horizon и сочетает разреженную Mixture-of-Experts (MoE) с механизмом Mixture-of-Values (MoVA), применяющим разреженную маршрутизацию внутри attention. Всего предусмотрено около 36 млрд параметров, из которых примерно 4 млрд активируются для каждого токена. Архитектура включает 48 слоёв, 100 маршрутизируемых экспертов с 8 активными и одним общим экспертом на MoE-слой, а также 64 value-эксперта с 4 активными на attention-слой. Нативное контекстное окно составляет до 524 288 токенов. Доступны варианты от BF16 до низкобитных Q2 и IQ-квантизаций, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. При этом активация только 4 млрд параметров на токен не означает, что модель требует память уровня 4 млрд параметров: все веса объёмом около 10–70 ГиБ должны находиться в RAM или VRAM, а память под KV-кэш и служебные расходы учитывается отдельно. Для загрузки GGUF необходима ветка model/K2Horizon форка llama.cpp от MBZUAI-IFM либо версия upstream после добавления поддержки архитектуры k2_horizon. Лицензия модели — Apache 2.0.

LiquidAI/LFM2.5-8B-A1B-MLX-8bit — языковая text-generation модель, разработанная Liquid AI и преобразованная в формат MLX из базовой модели LiquidAI/LFM2.5-8B-A1B с использованием mlx-lm 0.31.3. Она предназначена для запуска локально, в том числе в качестве персонального ассистента на ноутбуке, генерации текста, диалогового взаимодействия и сценариев с function calling. Модель использует архитектуру Mixture of Experts (MoE); обозначение 8B-A1B указывает на конфигурацию базовой модели, однако подробности архитектуры в README не приведены. Веса квантизированы до 8 бит с group size 64 и affine mode, а MoE-gates сохранены в 8-битном формате. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. Модель работает через mlx-lm, использует ChatML-подобный шаблон и поддерживает явные рассуждения перед итоговым ответом, а также вызов функций. К сильным сторонам относятся оптимизация для MLX, 8-битная квантизация, возможность локального использования и поддержка многоязычного диалога и инструментов. Ограничения связаны с отсутствием в README сведений о размере контекста, точных характеристиках производительности, требованиях к памяти и результатах оценивания; модель также ориентирована на экосистему MLX. Условия использования определяются лицензией LFM Open License v1.0.

MaziyarPanahi/Llama-3-70B-Instruct-32k-v0.1-GGUF — набор файлов модели в формате GGUF для MaziyarPanahi/Llama-3-70B-Instruct-32k-v0.1. Модель разработана и квантизирована MaziyarPanahi, относится к семейству Llama 3 и предназначена для генерации текста и выполнения инструкций. В названии указаны 70 миллиардов параметров и контекст до 32 тысяч токенов; сведения о поддерживаемых языках и точной архитектуре в README не приведены. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством работы. Формат поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов для локального запуска, включая сценарии с GPU-ускорением и OpenAI-совместимым API. README не содержит результатов оценивания, подробного описания сильных и слабых сторон, а также информации о лицензии, поэтому эти характеристики нельзя определить по предоставленным данным.

Это квантизированная версия Meta-Llama-3.1-70B-Instruct в формате GGUF, подготовленная пользователем MaziyarPanahi на основе исходной модели Meta-Llama-3.1-70B-Instruct, разработанной Meta (meta-llama). Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Модель относится к семейству Llama 3.1 и имеет размер 70B; в README указаны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Поддерживаются текстовые входы и выходы, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат GGUF совместим с llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другими инструментами локального инференса. Ключевые преимущества — выбор уровней квантования, возможность локального использования и поддержка GPU в ряде совместимых инструментов. Ограничения и требования к лицензии, точный размер контекста, архитектурные детали, качество на отдельных задачах и необходимые аппаратные ресурсы в README не указаны. Условия лицензирования также не приведены, поэтому их следует уточнить в материалах исходной модели Meta-Llama-3.1-70B-Instruct.

Это GGUF-квантизированная версия Devstral-2-123B-Instruct-2512 — инструкционной модели, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mistralai/Devstral-2-123B-Instruct-2512. Распространяется в форматах GGUF для запуска через llama.cpp, LM Studio и совместимые проекты. Модель предназначена для генерации текста и обработки инструкций. В README отдельно упоминается интеграция с mistral-vibe и поддержка tool calling: одиночные вызовы инструментов работают в тестах, однако цепочки вызовов могут работать некорректно. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством ответа, размером файла и требованиями к оперативной памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5 и некоторые варианты Q4. Размер исходной модели — 123 млрд параметров, а размер файлов зависит от выбранной квантизации и составляет примерно от 56,79 до 132,85 ГБ для указанных вариантов. Сильной стороной являются различные уровни квантизации и совместимость с локальными инструментами на базе llama.cpp. Ограничения включают высокие аппаратные требования, возможное снижение качества на низких уровнях квантизации и неполную надёжность цепочных вызовов инструментов. В метаданных указана лицензия other; конкретные условия лицензирования в README не приведены.

Mistral-Nemo-Instruct-2407-GGUF — это набор файлов модели в формате GGUF для инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций, включая локальные сценарии использования через совместимые приложения и библиотеки. В репозитории представлены варианты с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией. Формат GGUF разработан командой llama.cpp и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и другими инструментами. Ключевое преимущество — возможность запуска квантизированных версий локально с использованием CPU и GPU, однако конкретные требования к ресурсам и производительность зависят от выбранного варианта квантизации и программного окружения. README не содержит сведений об архитектуре, размере, поддерживаемых языках, длине контекста, модальностях, сильных сторонах базовой модели или лицензии. Поэтому эти характеристики нельзя надежно определить по представленным данным.

NeoHorse-1-4B-onw — TokenRhythm/NeoHorse-1-4B для запуска через движок onw на Intel NPU. Текстовая плотная авторегрессионная модель семейства Qwen3.5 с 3,4 млрд параметров и контекстом до 262 144 токенов. В README описана структура из 32 слоёв: 24 слоя Gated DeltaNet и 8 слоёв с gated attention. Веса преобразованы для движка onw и квантованы: группы весов используют INT4, выходной слой — INT8, эмбеддинги — INT4. Модель предназначена для диалогов, следования инструкциям, вызова инструментов и агентных сценариев, а также задач программирования и рассуждений. Поддерживает японский и английский языки, интерфейс вызова инструментов, совместимый с OpenAI API, включая параллельные вызовы. README приводит результаты измерений скорости и совпадения ответов на конкретном тестовом устройстве; эти показатели не гарантированы на другом оборудовании. Для работы нужны движок onw и совместимый Intel Core Ultra с NPU. Лицензия — Apache 2.0.

Nous Hermes 2 Mixtral 8x7B SFT — языковая модель Nous Research, полученная supervised fine-tuning базовой Mixtral 8x7B. Она предназначена для диалогов и следования инструкциям, включая многошаговые беседы в формате ChatML. Обучение использовало более миллиона примеров, преимущественно синтетических данных GPT-4 и материалов из открытых наборов данных. Модель построена на архитектуре Mixtral sparse Mixture of Experts; метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Она принимает текст и генерирует текст, поддерживает английский язык. В README приведены результаты на нескольких бенчмарках, однако они не гарантируют качество для конкретного применения. Для запуска требуются значительные вычислительные ресурсы: в README отмечено, что даже 4-битный вариант требует более 24 ГБ VRAM. Модель распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-3-Ultra-550B-A55B-Base-BF16 — базовая большая языковая модель, разработанная NVIDIA Corporation и выпущенная в версии v1.0 GA. Она предназначена для разработчиков и исследователей, которые создают и адаптируют LLM. Модель предварительно обучена на данных по программированию, математике, науке и общим знаниям; заявлены 550 млрд параметров всего и 55 млрд активных параметров. Архитектура Nemotron Hybrid LatentMoE сочетает слои Mamba-2, MoE и выборочные слои Attention. Слои Multi-Token Prediction помогают ускорить генерацию, в том числе посредством speculative decoding. Метаданные указывают контекст до 262 144 токенов; в README заявлена поддержка до 1 млн токенов. Модель принимает и генерирует текст и поддерживает английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит согласно тегам метаданных; README отдельно называет бразильский вариант португальского и не упоминает арабский и иврит. Модель заявлена для коммерческого и некоммерческого использования, однако в метаданных лицензия обозначена как «other», поэтому конкретные условия следует проверить на странице модели. Для запуска NVIDIA рекомендует GPU-ускоренные системы; README перечисляет интеграцию с NeMo и совместимое оборудование NVIDIA. Перед внедрением требуется проверка на данных конкретного сценария. (Размер файлов BF16 и практические требования к памяти в предоставленных данных не раскрыты.)

Occiglot-7B-it-en-Instruct — генеративная языковая модель Occiglot Research Collective, дообученная следовать инструкциям и поддерживать диалог. Это плотный decoder-only трансформер Mistral с 7,1 млрд параметров; модель принимает текст и имеет контекст до 32 768 токенов. Карточка описывает поддержку английского и итальянского языков, а также кода; обучение включало многоязычные и программные инструкции, а взаимодействие рассчитано на шаблон ChatML. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, генерации текста и помощи с кодом на английском и итальянском. Это ранний выпуск исследовательского проекта, обученный на дополнительных инструкционных данных; приведённые оценки названы предварительными, а неанглоязычные результаты ограничены особенностями тестовых наборов. Модель не прошла safety alignment и может выдавать проблемный контент. Лицензия — Apache 2.0.

OpenHermes-2.5-neural-chat-v3-3-Slerp-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/OpenHermes-2.5-neural-chat-v3-3-Slerp методом SLERP. Модель содержит 7,1 млрд параметров, предназначена для генерации текста и ответов на инструкции в формате диалога. Контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст; в метаданных отмечена возможность чата. Репозиторий содержит веса в формате Safetensors, а конфигурация слияния указывает тип данных bfloat16. Лицензия — Apache 2.0. Подходит для диалоговых приложений и выполнения текстовых инструкций; конкретные языки, оценка качества и ограничения в предоставленных данных не описаны.

OpenHermes-7B-Symbolic-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная из mistralai/Mistral-7B-Instruct-v0.1 и hedronstone/OpenHermes-7B-Symbolic методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Карточка описывает состав и способ объединения моделей, но не приводит сравнительных оценок качества или специальных ограничений.

perplexity-ai/pplx-computer-qwen-3-6-35b-a3b-mlx-20260709 — локальная языковая модель, опубликованная Perplexity и предназначенная для Perplexity Computer. Она используется в сценариях Hybrid Compute на Mac: локально обрабатывает файлы, конфиденциальные сведения и действия на устройстве, тогда как облачная часть системы выполняет поиск, планирование и более сложное рассуждение. Модель доступна в формате MLX для запуска на Apple silicon. Модель относится к семейству Qwen3.6 и имеет 35 млрд параметров при конфигурации с 3 млрд активных параметров (35B-A3B). Для семейства Qwen3.6 указана разреженная hybrid-архитектура с маршрутизацией Mixture-of-Experts, сочетающая рекуррентные состояния фиксированного размера с full attention. Опубликованный checkpoint использует groupwise affine 4-bit quantization и занимает около 19,4–19,5 ГБ. Подтверждённые модальности и языки, размер контекстного окна, результаты оценки и подробности дообучения для данной версии не указаны. Сильные стороны модели — возможность локального выполнения задач с чувствительными данными, уменьшенный объём весов и оптимизация для Apple silicon. Ограничения связаны с необходимостью совместимого Mac на Apple silicon и достаточного объёма unified memory; в Hybrid Compute требуется не менее 24 ГБ, а 32 ГБ рекомендуются для лучших результатов. Лицензионные условия для этого репозитория в доступных первоисточниках явно не указаны, поэтому свободное коммерческое использование и условия перераспределения подтверждать нельзя.

Qwen1.5-110B-Chat-GGUF — это квантизированная GGUF-версия диалоговой языковой модели Qwen1.5-110B-Chat, разработанной командой Qwen при Alibaba Cloud; конкретные файлы квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск совместимых чат-приложений и сценарии, где требуется крупная языковая модель с различным балансом между качеством и потреблением памяти. Модель содержит 110 млрд параметров и работает в текстовой модальности. В метаданных указано английское языковое направление, однако сведения о полном наборе поддерживаемых языков, архитектуре, максимальном контексте и результатах специализированных тестов в README отсутствуют. Доступны варианты квантизации от Q8_0 до IQ1_S с размером файлов примерно от 118,17 до 23,63 ГБ: более высокие разрядности обычно обеспечивают лучшее качество, а низкие позволяют запускать модель при меньшем объёме RAM или VRAM, но заметно снижают качество. Сильной стороной является выбор из множества вариантов квантизации, включая рекомендуемые Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS, что позволяет адаптировать модель к доступному оборудованию. Ограничения связаны с очень большим размером даже у компактных вариантов и с неизбежной потерей качества при агрессивной квантизации; варианты IQ1 и некоторые Q2/Q3 имеют низкое или крайне низкое качество. Для работы следует использовать формат GGUF и соответствующий шаблон чата с маркерами system, user и assistant. Лицензия указана как tongyi-qianwen; подробные условия доступны по ссылке на лицензию исходной модели.

ibrahimkettaneh/Qwen2.5-14B-Instruct-abliterated-v2-AWQ — это квантованная в формате AWQ версия производной модели Qwen2.5-14B-Instruct-abliterated-v2. Репозиторий опубликован пользователем ibrahimkettaneh; исходная базовая модель разработана командой Qwen компании Alibaba. Производная модель создана методом abliteration, направленным на ослабление отказов отвечать на запросы, а её назначение — локальная генерация текста и диалоговое использование. Модель основана на Qwen2.5-14B-Instruct: это causal language model примерно с 14,7 млрд параметров, архитектурой Qwen2 с RoPE, SwiGLU, RMSNorm и grouped-query attention. Базовая модель поддерживает текстовые задачи, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский, английский и китайский. Полное контекстное окно базовой модели составляет до 131 072 токенов, а генерация — до 8192 токенов, однако параметры контекста именно этой AWQ-сборки отдельно не документированы. Ключевое преимущество — существенно меньшие требования к памяти благодаря 4-битной AWQ-квантизации; размер опубликованных весов составляет около 10 ГБ. Ограничения включают отсутствие собственной карточки модели и подробных официальных сведений о качестве, области abliteration и фактическом поведении; ослабление защит может повысить риск небезопасных или нежелательных ответов. Для базовой Qwen2.5-14B-Instruct указана лицензия Apache 2.0, но отдельная лицензия данного производного репозитория в доступной карточке не указана.

SirSahOl подготовил конверсию инструктивной языковой модели Qwen2.5-7B-Instruct для запуска через MLX на устройствах Apple Silicon. Это плотная авторегрессионная модель Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров. Репозиторий содержит веса в формате safetensors с точностью 16 бит; модель поддерживает контекст до 32 768 токенов. Она предназначена для диалогов, генерации текста, кода и структурированных ответов, а также для локальной оценки и сравнения результатов на совместимых устройствах Apple. Модель подходит для разработки и тестирования чат-приложений, помощи с кодом и ответов на инструкции. Для запуска требуется около 15,2 ГБ объединённой памяти по оценке README; фактическая скорость зависит от устройства и длины контекста. Конверсия оптимизирована для GPU Apple Silicon и не предназначена для обычного запуска в других средах MLX. Лицензия — Apache-2.0.

DavidAU создал Qwen2.5-QwQ-35B-Eureka-Cubed — плотную языковую модель для генерации текста и диалогов с акцентом на рассуждения. Она объединяет QwQ-32B с компонентами DeepSeek-R1-Distill-Qwen-32B и TinyR1-32B-Preview методом автора «Cubed»: в README заявлены четыре дополнительных слоя и прирост примерно на 2 млрд параметров. Метаданные указывают архитектуру Qwen2 и 33,9 млрд параметров; модель рассчитана на контекст до 131 072 токенов и распространяется в формате safetensors для использования напрямую или конвертации в другие форматы. Модель предназначена для решения задач, требующих пошагового рассуждения, включая математику и программирование, а также для написания развернутых, творческих и научных текстов. README рекомендует шаблон ChatML без системного промпта и приводит настройки генерации; указанный там дополнительный промпт необязателен. Автор сообщает о более коротких цепочках рассуждений на некоторых задачах и улучшении детализации и креативности ответов, но не приводит независимых оценок. Лицензия в предоставленных данных не указана.

DavidAU/Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — плотная мультимодальная модель семейства Qwen 3.5 с 40 млрд параметров, созданная автором DavidAU на основе DavidAU/Qwen3.5-27B-Deckard-PKD-Heretic-Uncensored-Thinking. По карточке, модель дообучали на внутренних наборах Deckard/PDK и наборе высокоуровневых рассуждений Claude 4.5 Opus; также применялись расширение модели с 27B до 40B параметров и шаблон Unsloth. Архитектура использует 96 слоёв, заявлено окно контекста 256 тысяч токенов и переменная длина рассуждений. Модель предназначена для диалогов, рассуждений, написания художественных текстов, генерации кода и анализа изображений. Автор отмечает сохранённую обработку изображений, проверенную генерацию кода и отсутствие ограничений на взрослый и графический контент. В метаданных указаны задачи image-text-to-text, возможности chat и vision, языки английский и китайский, библиотека Transformers и формат safetensors. Автор сообщает о склонности к зацикливанию при низких квантизациях или слишком коротких запросах и рекомендует более качественные кванты и содержательные промпты. Модель распространяется по лицензии Apache-2.0; заявление о превосходстве над базой основано на бенчмарках автора и не является независимой оценкой.

Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-GGUF — модель, разработанная Jackrong на основе плотной архитектуры Qwen3.5-9B. Она дообучена методом Supervised Fine-Tuning с применением LoRA и библиотеки Unsloth на данных, полученных дистилляцией рассуждений из взаимодействий с Claude 4.6 Opus, а также на наборах Jackrong/Qwen3.5-reasoning-700x и nohurry/Opus-4.6-Reasoning-3000x-filtered. Распространяется в формате GGUF и предназначена для использования с llama.cpp и совместимыми инструментами. Основное назначение модели — решение сложных задач с пошаговым рассуждением, включая научные, математические и инструкционные сценарии. Обучение ориентировано на структурирование анализа, разбиение задачи на подзадачи, проверку ограничений и формирование итогового ответа. В заявленном формате модель использует структуру <think>...</think> перед финальным ответом и стремится сокращать избыточные повторения в рассуждениях. Известно, что модель имеет 9 млрд параметров и поддерживает английский и китайский языки. В метаданных также заявлены мультимодальные возможности image-text-to-text и обработка изображений, однако в описании процесса обучения итоговая модель обозначена как text-only, поэтому практическую поддержку изображений следует проверять отдельно. Размер контекста, конкретная GGUF-квантизация и результаты независимых бенчмарков не указаны. Лицензия — Apache-2.0.

Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1-GGUF — экспериментальная дистиллированная версия Qwen3.5-9B, разработанная Jackrong. Модель дообучена методом supervised fine-tuning с использованием Unsloth и LoRA на отфильтрованных данных рассуждений, созданных на основе GLM-5.1. В README также указана лицензия Apache-2.0. Модель предназначена для локального запуска и генерации ответов в диалоговых, инструкционных, математических, STEM- и кодовых сценариях. Основной акцент сделан на многошаговом рассуждении, декомпозиции задач, соблюдении инструкций и более структурированной организации ответов. Заявлена поддержка английского, китайского, японского и испанского языков. По метаданным репозитория модель относится к multimodal и image-text-to-text моделям с поддержкой vision, однако подробности о поддерживаемых форматах изображений и способах их обработки не приведены. Ключевая характеристика — размер 9 млрд параметров и дистилляция структуры рассуждений GLM-5.1, а не простое копирование ответов учителя. Ожидаемые преимущества включают более стабильное многошаговое рассуждение, лучшую декомпозицию задач и более последовательное следование инструкциям. При этом автор отмечает, что улучшения для модели такого масштаба, вероятно, будут постепенными, а не радикальными. README не содержит сведений о размере контекста, точной архитектуре мультимодальной части, количественных результатах бенчмарков и ограничениях безопасности, поэтому эти характеристики нельзя оценить дополнительно.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель, созданная в коллаборации shaffhausen/DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh на базе Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. В разработке использовались методы Unsloth, датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также дополнительные обучающие материалы Fable, Claude Opus, GPT5 и собственные наборы данных. Лицензия — Apache-2.0; заявлены языки английский и китайский. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, генерации кода, творческого письма, художественной прозы, ролевых сценариев и других универсальных применений. В README заявлена поддержка vision, однако подробности о визуальном энкодере и формате мультимодального ввода не приведены. Архитектурный размер — 27B; точный контекст и базовая архитектура не указаны. Репозиторий содержит обычные и MTP-варианты GGUF-квантов, включая 4- и 8-битные варианты. Кванты используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; в MTP-вариантах MTP-тензоры имеют точность Q8_0. К сильным сторонам относятся заявленные улучшения следования инструкциям, общего интеллекта, решения задач и рассуждений, а также сохранение производительности на низких квантах. Автор сообщает о превосходстве базовой Qwen3.6-27B в шести из семи бенчмарков и о результатах выше Qwen3.6-35B-A3B, но эти утверждения представлены самим автором и не подтверждены независимыми данными в README. Ограничения включают отсутствие подробных результатов тестов, точных требований к оборудованию и данных о контекстном окне. Модель позиционируется как uncensored/heretic, поэтому поведение в чувствительных сценариях и соответствие требованиям безопасности следует проверять отдельно. Для MTP-вариантов рекомендуется температура не выше 1, поскольку более высокие значения могут ухудшать работу multi-token prediction.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B. Её разработка связана с DavidAU и коллаборацией с Nightmedia, TeichAI, armand0e и trohrbaugh; обучение и сборка выполнялись с использованием Unsloth. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, работы с текстом и ролевых сценариев. В README также заявлена поддержка vision, однако конкретные возможности мультимодального ввода не раскрыты. Модель имеет 27B параметров и выпускается в форматах GGUF, включая обычные и MTP-варианты с multi-token prediction. Квантизации используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; для MTP-тензоров заявлена точность Q8_0. По утверждению авторов, дообучение направлено на повышение общего интеллекта, качества инструкций, решения задач и рассуждений без изменения базовых возможностей модели. Указаны английский и китайский языки. Размер контекста в предоставленных данных не указан. Сильными сторонами заявлены высокие результаты на семи бенчмарках, улучшение относительно базовой Qwen3.6-27B, хорошие показатели даже у низких квантизаций и пригодность для запуска на потребительском оборудовании. Эти результаты основаны на заявлениях авторов и тестировании сообщества, поэтому их следует воспринимать как неподтверждённые независимой оценкой. Ограничения включают отсутствие точных сведений о контекстном окне, системных требованиях и подробностях мультимодальности; характер uncensored предполагает ослабленные ограничения на содержание. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная версия Qwen3.8-27B, опубликованная HauhauCS. Это плотная языковая модель с поддержкой текста, рассуждений, агентских сценариев, изображений и видео. Она предназначена для прямых ответов без выраженного отказного поведения и минимального вступления, включая сложные запросы. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, а профиль HauhauCS FastMTP предназначен для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. Поддерживаются английский, китайский и другие языки; для изображений и видео используется отдельный vision-проектор BF16. Сильные стороны модели — мультимодальность, большой контекст, несколько вариантов GGUF-квантизации и ускорение FastMTP. Агрессивный профиль может быть удобен, когда важны краткость и отсутствие отказов, однако для надёжных длинноконтекстных агентских задач автор рекомендует сбалансированный вариант, если он доступен. README не приводит независимых оценок качества и не уточняет риски, связанные с uncensored-поведением. Модель распространяется по лицензии Apache-2.0.