II.7DevOps, облако и эксплуатация IT-систем

Qwen3.6-35B-A3B-FP8 — открытая FP8-квантизированная версия модели Qwen3.6-35B-A3B, разработанная командой Qwen. Модель представлена в формате Hugging Face Transformers и предназначена прежде всего для программирования с использованием агентных сценариев, включая работу с фронтенд-проектами, репозиториями и итеративной разработкой. Также она поддерживает мультимодальные задачи с текстом и изображениями благодаря архитектуре с vision encoder. Это каузальная языковая модель с архитектурой Mixture of Experts: 35 млрд параметров всего, из них 3 млрд активируются при обработке запроса. Она содержит 40 слоёв, 256 экспертов, из которых используются 8 маршрутизируемых и 1 общий, а также механизмы Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. README не указывает полный перечень поддерживаемых языков. К сильным сторонам относятся улучшенная работа с кодом, репозиториями и сохранением контекста рассуждений из предыдущих сообщений. Квантизация fine-grained FP8 с размером блока 128 заявлена как обеспечивающая метрики, почти идентичные исходной модели, при совместимости с Transformers, vLLM, SGLang и KTransformers. Ограничения производительности, требования к оборудованию и подробные сведения о языках в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-OBLITERATED — дообученная версия Qwen3.8-27B, опубликованная Jaredhollins. Модель предназначена для диалогов и генерации текста, включая ответы на запросы, которые базовая модель может отклонять или сопровождать предупреждениями. По карточке, версия V3 устраняет жёсткие отказы и уклончивые ответы, сохраняя близкую к исходной производительность; в приведённом тесте MMLU она набрала 82,3% против 84,5% у базовой модели. В основе лежит плотная архитектура семейства Qwen3.5 с 27 млрд параметров. Репозиторий содержит варианты GGUF от BF16 до нескольких уровней квантования, а также файлы safetensors и MLX. Для GGUF автор рекомендует использовать встроенный шаблон чата; также указаны настройки генерации, помогающие уменьшить повторения и циклы. Лицензия — Apache-2.0. Модель ориентирована на ответы без отказов и подходит для диалоговых, кодовых и агентных сценариев. Указанные автором результаты на ограниченных наборах задач включают 20 из 20 проверок генерации кода, а также успешные примеры рефакторинга, извлечения данных по JSON-схеме и циклов ReAct. Это самооценка автора карточки; приведённые результаты не гарантируют качество на других запросах. В README также отмечено снижение MMLU относительно базовой модели, особенно в STEM, и склонность к повторениям без рекомендуемых настроек.

Ratanak/Qwen3.8-27B-OBLITERATED — текстовая генеративная модель на базе Qwen/Qwen3.8-27B, разработанная в сообществе Ratanak и ориентированная на сценарии, где требуется минимальное количество отказов и защитных рассуждений. Модель предназначена для генерации текста и кода, исследовательских задач в области AI safety и red teaming, а также агентных сценариев, включая автоматизацию программирования и тестирование безопасности. Модель имеет архитектуру Qwen3, размер 27 млрд параметров и доступна в форматах GGUF, Safetensors и MLX. Поддерживает режимы с рассуждением и без него; рекомендуемый режим — без рассуждения. В README не указаны точный размер контекста и перечень поддерживаемых языков. Для генерации рекомендуются температура 0, repetition penalty 1.15 и не менее 2048 новых токенов; для агентных сценариев допустимы температура 0,1–0,3 и более короткие ответы. К сильным сторонам относятся сохранение большей части возможностей исходной модели, генерация рабочего кода и сниженное количество жёстких отказов и формальных защитных отступлений. По приведённым данным, показатель MMLU версии V3 составляет 82,3%, что на 2,1 процентного пункта ниже базовой модели. Ограничения включают возможное зацикливание без repetition penalty, снижение качества при высокой температуре и потенциальные риски использования модели для вредоносных или небезопасных запросов. Указана лицензия Apache-2.0.

Dolphin 2.6 Mistral 7B DPO — языковая модель, созданная Eric Hartford при спонсорской поддержке Convai и дообученная на базе Mistral-7B. Это плотная авторегрессионная модель с 7,1 млрд параметров, рассчитанная на генерацию текста; она принимает запросы в формате ChatML. Контекст модели составляет до 32 768 токенов по метаданным, тогда как README указывает для базовой модели 16 тысяч токенов. Модель предназначена для диалога и особенно для задач программирования. DPO-настройка на предпочтениях повысила её склонность следовать инструкциям. Модель поддерживает английский язык; репозиторий содержит веса в формате safetensors. Лицензия Apache-2.0 допускает коммерческое использование. Автор описывает модель как uncensored и предупреждает, что она может выполнять вредоносные запросы. Перед использованием в сервисе следует самостоятельно настроить меры безопасности и фильтрацию. README не приводит законченных примеров вывода или результатов оценки, поэтому качество для конкретных задач стоит проверять отдельно.

Lacaille-MoT-4B-Supreme2 — языковая модель prithivMLmods на архитектуре Qwen3, дообученная на базе prithivMLmods/Qwen3-4B-ft-bf16. Модель содержит 3,7 млрд параметров и рассчитана на контекст до 40 960 токенов; веса представлены в формате safetensors. Она дообучена на Mixture of Thoughts с кластерами по программированию, математике и естественным наукам, а также на наборе данных для рассуждений о коде. Модель предназначена для генерации текста в технических сценариях: написания и анализа кода, решения математических задач, объяснения научных понятий и создания структурированных материалов в LaTeX, Markdown, JSON, CSV и YAML. Она поддерживает диалог и интерфейс вызова инструментов. В карточке заявлена поддержка английского языка; перечень языков программирования отдельно не уточняется. Разработчик позиционирует модель как компактную для запуска на GPU среднего уровня и в автономных средах. Ограничения: она ориентирована на технические и символьные задачи, может хуже справляться с общим разговором и длинным творческим текстом, а контекст может быть недостаточен для анализа нескольких документов или больших кодовых баз. Лицензия — Apache-2.0.

Meta-Llama-3-8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Репозиторий содержит веса в формате Safetensors; модель насчитывает около 7,5 млрд параметров и имеет контекст до 8192 токенов. Архитектура основана на оптимизированном Transformer с Grouped-Query Attention. Модель предназначена для генерации текста и кода на английском языке. Она подходит для диалогового помощника и может служить основой для задач генерации естественного языка. Карточка описывает семейство Llama 3 с предварительно обученными и настроенными для инструкций вариантами; метаданные этого репозитория не уточняют вариант обучения, поэтому возможности конкретной версии в чате следует оценивать с учётом этого ограничения. Модель статична и обучена на офлайн-данных. Использование регулируется специальной коммерческой лицензией Meta Llama 3 и Acceptable Use Policy; перед применением необходимо соблюдать их условия. Для языков помимо английского карточка допускает дообучение при соблюдении этих правил, но исходное назначение модели ограничено английским языком.

Mistral-7B-Uncensored — разговорная текстовая модель на базе архитектуры Mistral 7B с примерно 7 миллиардами параметров. Согласно карточке, её разработчик и сопровождающий — luvGPT; модель создана посредством дообучения, ориентированного на выполнение инструкций. Указанный язык — английский, основная модальность — текст. Репозиторий содержит квантованную версию для локального запуска. Модель предназначена для диалоговых сценариев, следования инструкциям, творческого письма, открытого обсуждения, помощи с кодом и техническими объяснениями. Она ориентирована на локальное и автономное использование, включая приватные или изолированные среды, исследование prompt engineering и alignment, а также эксперименты с пользовательской настройкой поведения. Поддерживается формат диалога с ролями system, user и assistant; заявлена стабильная работа в продолжительных разговорах и выполнение многошаговых задач. К сильным сторонам относятся компактный для локального развертывания размер, пригодность для квантованных и CPU-ориентированных сред, гибкость и сниженный уровень автоматической фильтрации. Ограничение модели заключается в отсутствии встроенного защитного фильтра: ответственность за применение и управление рисками возлагается на оператора. Модель распространяется по лицензии Apache 2.0.

nvidia_AceInstruct-72B-GGUF — это GGUF-квантизованная версия instruct-модели AceInstruct-72B, разработанной NVIDIA и подготовленной пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста в диалоговом и инструкционном формате, включая задачи общего назначения, программирование и математику. В README указана поддержка английского языка. Модель имеет размер 72B параметров; конкретная архитектура и максимальная длина контекста не указаны. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-квантов с размером файлов примерно от 29 до 77 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше оперативной памяти; варианты Q4_K_M, Q5_K_M и Q6_K отмечены как рекомендуемые. Формат рассчитан на запуск через llama.cpp, LM Studio и другие совместимые проекты. К сильным сторонам относятся широкий выбор вариантов квантизации и возможность локального запуска, а также специализация исходной модели на инструкциях, коде и математике. Ограничениями являются высокие требования к памяти даже у компактных вариантов, снижение качества при низкой квантизации и отсутствие в предоставленных данных подробных результатов тестирования, сведений о мультимодальности и контекстном окне. Распространение указано по лицензии CC BY-NC-4.0, которая ограничивает коммерческое использование.

Ornith-1.5-9B-OBLITERATED — модифицированная версия Ornith-1.5-9B, разработанного DeepReinforce. Модель доработана проектом OBLITERATUS и собрана Pliny the Prompter с применением precision abliteration surgery — удаления поведенческих направлений, связанных с отказами на потенциально опасные запросы. Она предназначена для генерации текста, программирования, рассуждений, исследовательских задач в области alignment и red teaming, а также агентских сценариев и автоматизации. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Qwen3.5 с Gated DeltaNet и полными attention-слоями; редактированию подверглись все 32 трансформерных слоя. Заявлен английский язык, поддерживаются обычный и thinking-режимы, а также текстовая генерация. В репозитории доступны полноточные bf16-веса и варианты GGUF размером от Q2_K до Q8_0; для максимального сохранения характеристик рекомендуются Q8_0 и Q6_K. Указан контекст размером 8192 токена для примера запуска через llama.cpp, однако общий максимальный контекст README явно не подтверждает. Сильной стороной является существенно сниженная склонность к отказам при сохранении возможностей программирования, рассуждений и базовых агентских задач: в приведённых тестах модель показала 3/3 в генерации кода и 5/6 в тесте связности длинного контекста. Ограничения включают падение MMLU примерно на 4 процентных пункта относительно базовой модели, возможные дополнительные отказы в низкобитных квантизациях, частично ухудшенное function calling и риск галлюцинаций в сложных химических и синтетических сценариях. Модель распространяется по лицензии MIT; из-за удаления защитных ограничений результаты требуют независимой проверки и ответственного применения.

AtomicChat/Ornith-9B-GGUF — это квантизированная в формат GGUF версия языковой модели Ornith 1.0 9B, разработанной DeepReinforce и самостоятельно квантизированной командой Atomic Chat на основе оригинальных весов. Модель предназначена для локальной и полностью офлайн-работы, включая генерацию текста, диалоговые сценарии и задачи программирования. Она распространяется в нескольких вариантах квантизации, подходящих для запуска через llama.cpp, Ollama, LM Studio, Jan и Atomic Chat. Модель имеет плотную decoder-архитектуру с 32 слоями, 16 attention heads и 4 KV heads; в README также указана реализация Qwen3_5ForConditionalGeneration. Заявленная длина контекста — до 262 144 токенов, размер словаря — 248 320 токенов. Базовая модель поддерживает текст и изображения, однако данный репозиторий содержит только текстовые GGUF-версии без vision projector. Доступны варианты IQ4_XS, Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0; применение importance matrix должно снижать потери качества при низкой разрядности. Сильными сторонами являются большой контекст, офлайн-запуск, широкий выбор размеров файлов и ориентация исходной модели на coding agents и самоулучшающееся обучение с использованием reinforcement learning. Заявленные benchmark-результаты относятся к базовой модели DeepReinforce, а не к независимым измерениям этого репозитория; качество квантизированных версий может отличаться. Для корректного диалога требуется применять chat template Ornith 1.0 через параметр --jinja. Модель распространяется по лицензии MIT.

ProCreations_grug-35b-GGUF — квантизированная версия языковой модели ProCreations/grug-35b, подготовленная bartowski с использованием llama.cpp и метода imatrix. Модель ориентирована на задачи генерации текста, программирования, агентских сценариев, использования инструментов и рассуждений. В метаданных также указан pipeline_tag image-text-to-text, однако подробности о поддерживаемых визуальных входах в README не приведены. Модель содержит около 35 млрд параметров и распространяется в формате GGUF с вариантами квантизации от BF16 и Q8_0 до более компактных Q2–Q4 и IQ-форматов. Доступны сборки размером примерно от 19 до 69 ГБ; более высокие разрядности обеспечивают лучшее качество, а компактные варианты снижают требования к оперативной памяти. README не указывает контекстное окно, языки, точную архитектуру или результаты тестирования. Сборки предназначены для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Сильными сторонами являются широкий выбор уровней квантизации и поддержка сценариев кода, агентного взаимодействия и tool use. Ограничения — отсутствие подробных сведений о мультимодальности, языках и производительности, а также значительные требования к памяти для качественных вариантов. Модель распространяется по лицензии MIT.

SassyDiffusion/Qwen3.6-27B-heretic-ara-GGUF — GGUF-версия декензурированной модели на базе Qwen3.6-27B. Модель создана SassyDiffusion с использованием Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA). Базовая Qwen3.6-27B разработана командой Qwen и ориентирована на практическую разработку программного обеспечения, агентное кодирование, работу с фронтенд-проектами и рассуждения на уровне репозитория. Это каузальная языковая модель с vision encoder, содержащая около 27 млрд параметров и 64 слоя. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; заявленная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. README не уточняет полный перечень поддерживаемых языков. Формат GGUF предназначен для запуска в совместимых инструментах локального инференса. Главная особенность версии — снижение склонности к отказам: в приведённом сравнении модель отказала в 16 из 100 тестовых запросов против 99 из 100 у исходной модели. При этом декензурирование изменяет поведение базовой модели: указана KL-дивергенция 0,0967, поэтому возможны отличия в качестве, безопасности и устойчивости ответов. Модель распространяется по лицензии Apache-2.0.

Savas65/Qwen3.8-27B-OBLITERATED — текстовая генеративная модель на базе Qwen/Qwen3.8-27B, разработанная сообществом Savas65. Модель предназначена для диалоговой генерации текста, написания и анализа кода, агентских сценариев и исследований поведения моделей безопасности. В README заявлена версия V3, созданная с применением методов abliteration: удалением направлений отказа из весового пространства и последующей итеративной доработкой. Модель имеет архитектуру Qwen3, размер 27B параметров и относится к задачам text-generation. Она доступна в форматах GGUF, Safetensors и MLX. Поддерживает режимы с рассуждением и без него; для GGUF указан встроенный chat template. Точный размер контекстного окна, перечень поддерживаемых языков и набор модальностей в предоставленных данных не указаны. Согласно заявленным результатам, V3 сохраняет близкую к базовой модели производительность: 82,3% на MMLU против 84,5% у исходной Qwen3.8-27B. В README также заявлены рабочая генерация кода в 20 из 20 тестовых заданий и снижение склонности к отказам и формальным предупреждениям. Ограничения включают небольшую потерю качества по сравнению с базовой моделью, возможные циклы при генерации без repetition penalty и зависимость результата от параметров декодирования. Рекомендуются temperature 0, repetition_penalty 1,15 и не менее 2048 новых токенов; для агентских сценариев предлагаются более короткие ответы и периодическое сокращение контекста. Модель распространяется по лицензии Apache-2.0. Заявленные свойства снятия ограничений безопасности требуют осторожного применения и не означают гарантии корректности, надежности или безопасности генерируемого содержимого.

Replete-Coder-Qwen2-1.5b — дообученная Rombodawg модель семейства Qwen2 с 1,5 млрд параметров для генерации кода и ответов общего назначения. Она предназначена для написания и преобразования кода более чем на 100 языках программирования, помощи в вопросах безопасности кода и уязвимостей, математических задач и диалогового использования. Обучение проводилось на инструкционных данных: около 75% посвящено коду и 25% — задачам общего назначения; README описывает набор примерно из 3,9 млн строк и около 1 млрд токенов. Модель поддерживает диалоговый шаблон ChatML и вызов функций. Модель принимает текст и выдаёт текст. Метаданные указывают контекст до 131 072 токенов, однако README сообщает, что дообучение проводилось с окном 8 192 токена и качество при более длинном контексте не гарантируется. Указаны веса в формате safetensors и лицензия Apache-2.0. Заявление об отсутствии ограничений в обучающих данных отражает описание автора, но не гарантирует точность ответов или безопасное поведение модели.

Dolphin-2.9.1-Phi-3-Kensho-4.5B-abliterated-v3 — разговорная языковая модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и сообществом Cognitive Computations; uncensored-настройку выполнил FailSpy. Модель основана на Phi-3-Mini-Instruct-4k в Mistral-совместимой архитектуре и дообучена методом qLoRA на данных для инструкций, диалогов, программирования, математики и вызова функций. Веса также изменены для ослабления отказов на запросы. Модель предназначена для ответов на инструкции, диалогов, помощи с кодом и математическими задачами, а также для начального использования в агентных сценариях и вызова функций. Она принимает текст и генерирует текст, использует шаблон ChatML и имеет контекст 4096 токенов. В репозитории доступны веса Safetensors; при использовании адаптера его следует подключать к базовой модели Unsloth Phi-3-mini-4k-instruct. В метаданных указано 6,4 млрд параметров. Модель ориентирована на английский язык. Ослабленная фильтрация отказов повышает соответствие запросам, поэтому перед предоставлением модели пользователям разработчики рекомендуют добавить собственный уровень ограничений. Лицензия MIT разрешает коммерческое использование; в README также отмечено, что при обучении использовались данные, сгенерированные GPT-4.

GPT-6.1 Sol — модель OpenAI из серии GPT-6, представленная как обновление GPT-6 Sol и расположенная ниже флагманской GPT-6 Astra. Она предназначена для агентного программирования, управления компьютером и работы с документами в профессиональных сценариях. Метаданные каталога классифицируют её как image-text-to-text, что указывает на обработку изображений и выдачу текста. Доступные сведения не позволяют определить размер, архитектуру, языки, контекст или лицензию модели. README обрывается на описании назначения, поэтому её характеристики и условия использования нельзя уточнить.

grug-27b — дообученная модель ProCreations на базе Qwen/Qwen3.6-27B с плотной архитектурой семейства Qwen3.5. Разработчик объединил LoRA-адаптер ранга 32, обученный на текстовых линейных слоях, с базовой моделью и сохранил веса в формате bf16. По карточке, обучение было направлено на компактные, адаптивные рассуждения: короткие для простых задач и более подробные для сложных. Модель предназначена для генерации текста в диалогах, программирования, математических задач и агентных сценариев с использованием инструментов. Карточка приводит результаты на HumanEval, MBPP и GSM8K, а также сообщает о снижении расхода токенов на этих тестах и проверках на зацикливание. Эти результаты получены разработчиком и не гарантируют такого же качества на других запросах. Указана поддержка английского языка; базовая Qwen3.6-27B также описана в каталоге как мультимодальная, но README grug-27b говорит об обучении текстового стека, поэтому работу с изображениями для этой версии подтвердить нельзя. Для запуска приведён контекст длиной 32 768 токенов как параметр сервера, а не заявленный нативный предел модели. Лицензия — Apache-2.0.

Ling-lite-1.5-2506 — обновлённая разговорная языковая модель от inclusionAI для рассуждений, решения сложных задач, программирования и отладки кода. Она построена на архитектуре Bailing MoE и поддерживает генерацию текста в формате чата. В README указаны 16,8 млрд параметров, из которых активируются 2,75 млрд; метаданные Hugging Face указывают 794,8 млн параметров. В карточке также заявлена длина контекста 128K, тогда как метаданные сообщают 32 768 токенов. README описывает улучшения относительно Ling-lite-1.5 и приводит результаты на GPQA Diamond и LiveCodeBench 2408–2501. Модель принимает текст и генерирует текст. Опубликованные веса доступны в формате safetensors, библиотека для работы — Transformers. Лицензия — MIT. Языки в доступных сведениях не перечислены.

PeppX/Ornith-1.0-9B-Uncensored-GGUF — GGUF-квантизированная версия модели PeppX/Ornith-1.0-9B-Uncensored, разработанная PeppX. Это текстовая генеративная модель для локального запуска, ориентированная на программирование, рассуждения, агентские сценарии, генерацию текста, кибербезопасность и red-team-задачи. Модель позиционируется как uncensored и abliterated: из базовой модели удалено направление, связанное с отказами, без дополнительного обучения и тонкой настройки. Модель имеет плотную архитектуру Qwen 3.5 с 32 слоями и примерно 9 млрд параметров, поддерживает контекст до 262 144 токенов и английский язык. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 5,6 до 9,5 ГБ; они рассчитаны на локальный запуск с помощью llama.cpp, LM Studio или Ollama. Заявлены сохранение исходных возможностей в кодировании, математике, рассуждениях и следовании инструкциям, а также низкое расхождение с базовой моделью по KL-дивергенции 0,0827, однако приведённые показатели зависят от методики оценки. Ключевая особенность модели — заявленный авторами нулевой уровень отказов, что может быть полезно для исследовательских, тестовых и red-team-сценариев, но одновременно повышает риск генерации небезопасного или вредоносного контента. Ограничения включают зависимость качества и скорости от выбранной квантизации и оборудования, а также отсутствие в README подробных данных о мультимодальности, обучающем наборе и результатах независимых бенчмарков. Модель распространяется по лицензии MIT.

duyntnet/Phi-3-mini-128k-instruct-imatrix-GGUF — это набор пере-квантизированных GGUF-файлов модели Phi-3 Mini-128K-Instruct, разработанной Microsoft и повторно опубликованной пользователем duyntnet. Модель предназначена для генерации текста в диалоговом формате, следования инструкциям, многошагового общения, решения задач и работы с длинным контекстом. Указана поддержка английского языка и текстовой модальности. Версия ориентирована на улучшенное понимание кода на Python, C++, Rust и TypeScript, более структурированные ответы, многоэтапное следование инструкциям, рассуждения и обработку длинного контекста. В README заявлена длина контекста 128K токенов; также указано, что модель поддерживает системный тег <|system|>. Формат GGUF позволяет запускать её через llama.cpp, JanAI, KoboldCPP, text-generation-webui и Ollama. Данные о точной архитектуре, количестве параметров и конкретных вариантах квантизации не приведены, поэтому характеристики производительности и требования к ресурсам определить нельзя. Модель подходит для локального запуска, чат-ассистентов, генерации и анализа текста, программирования и сценариев, требующих обработки больших документов или продолжительного диалога. Ограничения включают отсутствие заявленной поддержки других языков, а также возможные потери качества, связанные с квантизацией. Лицензия обозначена как other, но её условия в README не раскрыты; перед использованием необходимо ознакомиться с лицензией исходной модели и опубликованного набора файлов.

RedHatAI/Qwen3-30B-A3B-NVFP4 — квантизированная версия языковой модели Qwen/Qwen3-30B-A3B, разработанная RedHatAI. Модель принимает и генерирует текст и предназначена для задач генерации текста, включая диалоговые сценарии и развёртывание через vLLM с OpenAI-совместимым сервером. Модель использует архитектуру Qwen3-30B-A3B, однако в представленном README не указаны подробности о числе параметров активной части, размере контекста и точном наборе поддерживаемых языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в формат FP4; квантизация выполнена с помощью LLM Compressor, а модель подготовлена для инференса в vLLM версии 0.9.1 и выше. Переход с 16 до 4 бит на параметр уменьшает размер модели на диске и требования к памяти GPU примерно на 75%, что является её основным преимуществом. К ограничениям относятся возможная потеря качества по сравнению с неквантизированной моделью и зависимость от совместимого программного стека и аппаратной поддержки. README отдельно ограничивает использование сценариями, соответствующими применимым законам и требованиям экспортного контроля, а также указывает использование на английском языке вне заявленной области применения. Модель распространяется по лицензии Apache-2.0.

Модель hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled — текстовая reasoning-модель, созданная разработчиком @hesamation дообучением Qwen/Qwen3.6-35B-A3B. Она предназначена для задач, требующих последовательных рассуждений: помощи в программировании, планирования, математических задач и подготовки структурированных аналитических ответов. Обучение проводилось методом supervised fine-tuning с LoRA на текстовых рассуждениях, в основном полученных дистилляцией Claude Opus 4.6; адаптер объединён с базовой моделью. В основе — мультимодальная архитектура Qwen3.6 MoE с 35 млрд параметров, из которых активируется около 3 млрд. Базовая модель принимает изображения, однако этот этап дообучения использовал только текст, поэтому улучшения заявлены для текстовых задач, а не для изображений или видео. Нативная длина контекста базовой модели — 262 144 токена; README указывает возможность расширения до 1 010 000 токенов. В метаданных указан английский язык. Карточка приводит результат MMLU-Pro на 70 вопросах как ограниченную сравнительную проверку, а не полноценный бенчмарк релизного качества. Модель выпущена под лицензией Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-GGUF — это GGUF-квантизации модели Qwythos-9B-Claude-Mythos-5-1M, разработанной Empero. Модель предназначена для запуска в llama.cpp, Ollama, LM Studio, jan, KoboldCpp и других совместимых средах. Она создана на основе Qwen3.5-9B и дообучена более чем на 500 миллионах токенов трасс Claude Mythos и Claude Fable с использованием внутреннего инструмента Empero AI rethink. Модель ориентирована на рассуждения, агентские сценарии, вызов функций, анализ кибербезопасности и биомедицинских задач. Она поддерживает нативный function calling по спецификации Qwen3.5, английский язык и контекст до 1 048 576 токенов благодаря масштабированию RoPE YaRN. Это мультимодальная модель с поддержкой изображений: для обработки изображений требуется отдельный файл vision projector mmproj, унаследованный от Qwen3.5-9B. Заявлены возможности описания изображений, OCR, чтения графиков и таблиц, понимания интерфейсов и документов, а также базового пространственного анализа. Доступны варианты квантизации от Q4_K_M до Q8_0 и BF16, включая версии с MTP для спекулятивного декодирования. Q4_K_M указан как рекомендуемый компромисс между размером и качеством. Сильными сторонами являются большой контекст, рассуждения, поддержка инструментов и локального мультимодального запуска. Ограничения включают зависимость производительности и качества от выбранной квантизации, поддержки MTP конкретным рантаймом и наличия отдельного vision projector для изображений; подробные результаты оценки и полное описание возможностей находятся в карточке базовой модели. Модель распространяется по лицензии Apache-2.0.

uukuguy/speechless-mistral-six-in-one-7b — объединённая модель на основе шести дообученных моделей Mistral-7B, опубликованная пользователем uukuguy. Это плотный авторегрессионный трансформер Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; модель предназначена для генерации текста в диалогах, ответов на вопросы, рассуждений и помощи с кодом. В карточке перечислены исходные модели Dolphin, OpenOrca, Platypus, Samantha, CollectiveCognition и Zephyr; заявлены результаты на нескольких бенчмарках, но часть таблиц неполная, поэтому они не дают полной оценки качества. Модель принимает текст и генерирует текст. В метаданных указан английский язык и возможность работы с кодом. Репозиторий содержит веса safetensors, а лицензия обозначена как Llama 2. Модель унаследовала заявленное в карточке базовой Mistral-7B отсутствие механизмов модерации; сгенерированные ответы могут быть ошибочными или нежелательными.

WizardLM-Mistral-CodeLlama-7b — объединённая модель на базе Mistral-7B-v0.1, созданная с помощью mergekit методом TIES из PrunaAI/WizardLM-WizardMath-7B-V1.0-bnb-4bit-smashed и codellama/CodeLlama-7b-Instruct-hf. Она предназначена для генерации текста, в том числе для ответов на вопросы по математике и помощи с программированием. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека Transformers. Лицензия в доступных данных не указана.

unsloth/DeepSeek-R1-GGUF-UD — это GGUF-квантизированная версия модели DeepSeek-R1, разработанной командой DeepSeek и подготовленной в формате динамической квантизации Unsloth Dynamic v2.0. Модель предназначена для локального запуска через llama.cpp и ориентирована на задачи рассуждений, генерации текста, программирования и диалогового использования. В README указан английский язык, библиотека Transformers и поддержка формата GGUF. Доступны варианты с эффективной разрядностью от 1,58 до 2,51 бит: UD-IQ1_S, UD-IQ1_M, UD-IQ2_XXS и UD-Q2_K_XL. Размер файлов составляет примерно от 131 до 212 ГБ. Квантизация выборочно применяет разные разрядности к компонентам MoE, чтобы сохранить больше точности по сравнению со стандартными 1-битными и 2-битными вариантами. В README приведены оценки качества от Fair до Best, однако архитектурные параметры, общее число параметров и размер контекста исходной модели не указаны; для примеров запуска используется контекст 8192 токена. Сильные стороны модели — возможность локального запуска, уменьшенный объём хранения относительно полной точности и повышенная точность благодаря динамической квантизации. Ограничениями являются очень большой размер даже у наиболее компактной версии, необходимость совместимого оборудования и llama.cpp, а также возможная потеря качества на низких уровнях квантизации. Для запуска рекомендуется использовать специальный chat template и параметр --min-p 0.05; доступна выгрузка части слоёв на GPU. Репозиторий распространяется по лицензии MIT.

unsloth/DeepSeek-V3-0324-GGUF — это набор динамически квантованных GGUF-версий модели DeepSeek-V3-0324, подготовленный Unsloth на основе базовой модели deepseek-ai/DeepSeek-V3-0324. Модель предназначена для локального запуска в llama.cpp, LM Studio, Open WebUI и других фреймворках инференса, включая задачи генерации текста и кода. В README указан английский язык; сведения о других языках и мультимодальных возможностях отсутствуют. Доступны варианты с квантованием от 1,78 до 4,5 бит и размером файлов примерно от 186 до 405 ГБ. Используется динамическое селективное квантование, призванное сохранить более высокую точность по сравнению со стандартными вариантами. Рекомендуются конфигурации IQ2_XXS 2,42 бит и Q2_K_XL 2,71 бит как удачный баланс размера и производительности; версия Q4_K_XL 4,5 бит получила наивысшую оценку качества. Для запуска желательно иметь не менее 180 ГБ совокупной VRAM и RAM. Ограничения включают очень высокие требования к памяти, а предварительные версии 1,78 и 1,93 бит могут хуже справляться с некоторыми задачами программирования. Лицензия модели — MIT.

DNA 3.0-9B — мультимодальная модель компании Dnotitia, дообученная на базе Qwen/Qwen3.5-9B. Это плотная модель с 9 млрд параметров и архитектурой Qwen3.5 для работы с текстом и изображениями; поддерживает диалог и интерфейс вызова инструментов. В README указаны поддержка 201 языка и диалектов, контекст 262 144 токена с расширением примерно до 1 010 000 токенов с помощью YaRN. Метаданные указывают формат Safetensors и лицензию Apache-2.0. Модель рассчитана на аналитические рассуждения, программирование и отладку с агентными сценариями, понимание изображений и ответы в роли ассистента, знакомого с продуктами и внутренней терминологией Dnotitia. Её дообучали с уменьшенным числом отказов и корпоративной персоной; по умолчанию она может выдавать блоки рассуждений, которые можно отключить. Для обслуживания авторы рекомендуют выделенный inference-движок и много GPU. К ограничениям относятся сниженное поведение отказа, предвзятость в пользу Dnotitia, унаследованные от базовой модели смещения и возможные галлюцинации; для решений с высокими ставками требуется проверка человеком.

Это дообученная модель Gemma 4 12B от автора llmfan46, созданная на основе yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF. Она предназначена для диалоговой генерации текста, программирования и многошагового использования инструментов, включая сценарии работы с терминалом. Модель поддерживает режим рассуждений и использует встроенный протокол вызова инструментов Gemma 4; для запуска в Transformers требуется версия библиотеки с поддержкой архитектуры gemma4_unified. В README описано дообучение на траекториях агентных задач, проверенных задачах Python и данных для общих инструкций. Также автор сообщает о применении abliteration для снижения частоты отказов: в приведённом тесте она отказала в 13 случаях из 100 против 99 у исходной модели. Это не гарантирует качества или безопасности ответов; результаты MMLU близки к результатам исходной модели. Репозиторий использует формат safetensors и лицензию Apache-2.0.

Это GGUF-сборка Gemma-4-26B-A4B-it, подготовленная ironbcc для запуска через llama.cpp и LM Studio. Комплект включает основную 26-миллиардную MoE-модель Gemma-4 и вспомогательную модель-драфтер gemma-4-26B-A4B-it-assistant от Google для speculative decoding. Основная модель использует 128 экспертов; доступны варианты драфтера с квантованием Q2_K, Q4_K_M, Q8_0 и F16. Указан английский язык, а модель предназначена для генерации текста, диалогов, рассуждений и программного использования через совместимые серверы и клиенты. Максимальный контекст Gemma-4 заявлен как 256K токенов, однако конкретные возможности зависят от runtime и настроек. Ключевое преимущество сборки — ускорение генерации за счёт Multi-Token Prediction и speculative decoding: в приведённом тесте на Apple M5 Max скорость достигала примерно 1,55 раза относительно режима без MTP, а при отключении reasoning — до 143,2 токена в секунду. Q2_K-драфтер рекомендован как наиболее быстрый и показал наивысшую долю принятых токенов в тесте. Ограничения включают необходимость специальной ветки llama.cpp с поддержкой Gemma-4 MTP; на момент подготовки README эта функциональность ещё не была включена в основную ветку, а LM Studio требовал соответствующего runtime. Включение thinking повышает качество рассуждений, но снижает скорость. Основной файл имеет размер около 26 ГБ, поэтому запуск требует значительного объёма памяти; для полного контекста 256K README указывает примерно 31 ГБ RSS при старте с дальнейшим ростом потребления. Распространение заявлено по лицензии Apache-2.0, при этом для доступа к Gemma на Hugging Face необходимо принять условия использования Google.