II.7DevOps, облако и эксплуатация IT-систем

Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2-GGUF — мультимодальная модель, разработанная Jackrong на базе Qwen/Qwen3.5-27B. Это дообученная версия с фокусом на эффективное рассуждение и генерацию текста по изображениям и текстовым запросам; модель рассчитана на conversational-сценарии, решение математических и логических задач, работу с инструкциями, общими знаниями и программированием. Доступен формат GGUF для запуска с llama.cpp и совместимых инструментов, а также поддержка экосистемы Transformers и Unsloth. Заявлены языки English, Chinese и Korean, однако сведения о размере контекста в README отсутствуют. В версии v2 использовано около 14 000 образцов рассуждений в стиле Claude 4.6 Opus, с акцентом на короткие и переносимые шаблоны рассуждений. По данным автора, на HumanEval достигнуто 96,91% pass@1 при примерно 24% меньшей длине цепочки рассуждений и на 31,6% большем числе корректных решений на токен по сравнению с базовой моделью. При этом отмечено снижение результатов на HumanEval+ на 1,24% и на MMLU-Pro на 7,2%; модель может уступать базовой версии в задачах, требующих длинного контекста, сложного многошагового рассуждения и более широких общих знаний. Приведённые оценки получены в условиях инференса BF16 с Unsloth и vLLM и не гарантируют аналогичные результаты в других конфигурациях. Модель распространяется по лицензии Apache-2.0. README не содержит подробных требований к аппаратному обеспечению, точного размера контекстного окна и исчерпывающей информации о возможностях или ограничениях мультимодального ввода.

tinyopsec/Qwen3.5-4B-Unredacted-MAX-GGUF — набор GGUF-квантизованных версий языковой модели prithivMLmods/Qwen3.5-4B-Unredacted-MAX, созданной на базе Qwen/Qwen3.5-4B. Модель предназначена для генерации текста, выполнения инструкций, решения задач, многошагового рассуждения, исследовательских экспериментов и локального запуска на совместимом оборудовании. Указанный разработчик базовой дообученной модели — prithivMLmods, а данный репозиторий содержит общественные квантизации. Модель имеет около 4,5 млрд параметров, архитектуру Qwen2 с 28 слоями и 28 головами внимания, контекст до 32 768 токенов и словарь размером 151 936 токенов. В README указан английский язык. Доступны варианты с точностью от 16 до 2 бит и размером примерно от 8,4 до 1,1 ГБ, что позволяет выбирать между качеством, требованиями к видеопамяти и компактностью. Поддерживаются сценарии локального инференса через llama.cpp, llama-cpp-python, LM Studio и Ollama. Сильными сторонами являются сравнительно небольшой размер, гибкий выбор уровня квантизации, совместимость с форматом GGUF и пригодность для запуска на видеокартах среднего класса, ноутбуках и CPU. Ограничения включают компромисс между качеством и степенью сжатия, а также отсутствие в README подробных результатов бенчмарков, данных о мультимодальности и поддерживаемых языках помимо указанного английского. Лицензия — Apache 2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — языковая мультимодальная модель на базе Qwen3.5-9B, опубликованная trinityomnis. В README указано, что это результат многоэтапного дообучения и слияния нескольких моделей, выполненного автором совместно с Nightmedia; среди использованных базовых моделей названа DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель ориентирована на английский и китайский языки, а лицензия указана как Apache-2.0. Модель предназначена для общих задач, следования инструкциям, рассуждений, программирования, творческого письма, художественной литературы и ролевых сценариев. Она поддерживает режимы thinking/reasoning и instruct, заявлена как полностью uncensored и рассчитана на контекст до 256k токенов. Включена обработка изображений, но для работы с vision требуется отдельно загрузить совместимый файл mmproj и разместить его рядом с GGUF-файлом. Доступны обычные GGUF-квантизации и варианты MTP с multi-token prediction. Все варианты используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; MTP-варианты дополнительно используют Q8_0 для MTP-тензоров и могут обеспечивать более высокую скорость при достаточном уровне token acceptance. В README приведены результаты на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где модель превосходит указанную базовую Qwen3.5-9B и в отдельных показателях сопоставима с более крупными моделями. При этом заявленные бенчмарки не гарантируют превосходство в любых задачах, а производительность MTP зависит от температуры, параметров генерации, приложения и оборудования; при низком token acceptance обычная квантизация может быть быстрее.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B. Разработка выполнена в сотрудничестве DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; модель распространяется в формате GGUF, включая обычные варианты и варианты с multi-token prediction (MTP). Доступны квантизации с использованием NEO IMATRIX, а выходной тензор в описании заявлен как частично сохранённый в 16-битной точности. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, ролевых сценариев и других универсальных применений. Заявлена поддержка текста и изображений, а также английского и китайского языков. Размер модели — 27B параметров; конкретный максимальный размер контекста в README не указан. Дообучение ориентировано на повышение общего интеллекта, способности к рассуждению и качеству следования инструкциям, без намеренного изменения базовых возможностей Qwen. Модель позиционируется как uncensored и heretic. К сильным сторонам относятся наличие нескольких вариантов квантизации для запуска на потребительском оборудовании, улучшенная точность GGUF благодаря NEO IMATRIX и заявленные автором высокие результаты на ряде бенчмарков. При этом приведённые показатели и превосходство над другими моделями являются утверждениями README и требуют независимой проверки. Возможны ограничения, связанные с качеством конкретной квантизации, требованиями к памяти и производительности оборудования, а также с отсутствием точных данных о контекстном окне и детальных условиях работы с изображениями. Лицензия модели — Apache-2.0.

Qwen3.6-27B-uncensored-abliterated-i1-IQ4_XS-GGUF-Smaller — квантованная GGUF-версия модели Qwen3.6-27B, опубликованная lemonyins. В основе используется abliterated-версия Huihui-Qwen3.6-27B от mradermacher, ориентированная на локальный инференс и исследовательское использование. Модель поддерживает обработку текста и, опционально, изображений при подключении vision-модуля mmproj-BF16.gguf. В модели применена гибридная квантование: ключевые attention-слои используют IQ4_XS, а FFN-слои — более компактный IQ3_S. Это уменьшает размер весов и позволяет эффективнее использовать память под KV-кэш; при поддержке TurboQuant заявлен контекст до 160–200 тысяч токенов при потреблении около 15,3–15,4 ГБ VRAM. На NVIDIA RTX 4060 Ti 16GB скорость текстового инференса составляет примерно 18–20 токенов в секунду. Основные преимущества — существенно больший доступный контекст и сохранение внимания к качественно важным attention-слоям, однако снижение точности FFN-квантования может ухудшать результаты отдельных задач, включая некоторые сценарии фактического запоминания. Приведённые показатели памяти требуют сборки llama.cpp с поддержкой TurboQuant; без неё расход VRAM будет выше. Лицензия — Apache-2.0.

Это сжатая версия весов Qwen3.6-35B-A3B, опубликованная fraQtl для генерации текста и диалогов. Модель использует архитектуру MoE и предназначена для инференса, в том числе при длинном контексте; в метаданных указан размер 2,9 млрд параметров и нативный контекст до 262 144 токенов. README сообщает о сокращении размера весов примерно в 2,74 раза и работе с контекстом до 128K на одной A100-80GB; приведённые замеры включают сравнение с FP16, но имеют предварительный характер. Для загрузки необходим пакет fraqtl-runtime и Transformers версии не ниже 4.51; README указывает поддержку Linux x86_64 с CUDA. Репозиторий содержит сжатые веса в safetensors, а дообучение не входит в назначение артефакта. Лицензия обозначена как other, поэтому конкретные условия следует проверять в карточке модели. Заявленные показатели качества и длинного контекста основаны на односидовых проверках; многоязычная производительность после сжатия отдельно не оценивалась.

Qwen3.6-35B-A3B-MTP-Holo3-Qwopus-BF16 — мультимодальная модель семейства Qwen, опубликованная Nightmedia. Это объединение нескольких моделей, включая Hcompany/Holo3-35B-A3B, Qwen3.6-35B-A3B и варианты Qwopus; в карточке также упоминается MTP. Модель предназначена для диалогов и следования инструкциям, рассуждений, программирования и анализа изображений. Архитектура — Qwen3.5 MoE; в названии указан вариант BF16, а среди файловых форматов метаданные указывают safetensors. Карточка описывает шаблон управления режимом рассуждений, но не приводит длину контекста или независимую оценку качества. Метаданные указывают поддержку английского, китайского, японского и испанского языков. Лицензия — Apache-2.0. README содержит отдельные результаты для квантизованного варианта qx86-hi, которые не следует считать характеристиками этого BF16-репозитория. Модель может ошибаться, а приведённые в карточке оценки и хвалебный отзыв не являются независимой проверкой качества.

Qwen3.8-27B-Ridge-GGUF — квантизированная GGUF-версия официальной модели Qwen3.8-27B, разработанная Empero. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, jan, KoboldCpp и других совместимых средах, включая задачи генерации текста, рассуждений и работы с изображениями. Модель использует гибридную архитектуру из 64 слоёв: на каждые три слоя Gated-DeltaNet приходится один слой полноценного внимания, а также сохраняет встроенную MTP-голову для ускорения генерации. Основной файл имеет квантизацию Ridge с эффективностью 3,69 бит на параметр и размером 11,73 GiB. Поддерживаются английский и китайский языки. Для обработки изображений требуется отдельный BF16-файл mmproj размером около 0,87 GiB. Заявлены нативное контекстное окно 262 тысячи токенов и расширение YaRN до 1 миллиона токенов, однако такие режимы существенно увеличивают требования к памяти. Сильная сторона сборки — специальное распределение точности, учитывающее чувствительность состояния Gated-DeltaNet: соответствующий путь хранится в Q8_0, а микшеры — в Q4_K. По измерениям из карточки, perplexity на Wiki-подобном наборе составляет 7,82 против 7,15 у BF16-версии. Ограничения связаны с потерями качества квантизации, большими затратами памяти при длинном контексте и необходимостью отдельного vision-проектора для изображений. Лицензия — Apache-2.0.

t-firefly выпустил сборку Qwen3.8-27B для работы на ускорителе Rockchip RK1828 через LlamaPi. Это плотная мультимодальная модель генерации текста по текстовым и визуальным входам; исходную модель разработала команда Qwen. Она предназначена для диалога, анализа изображений и видео, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Модель принимает изображения и видео, включая документы и STEM-диаграммы; в исходной карточке заявлено понимание видео длительностью до часа. Режим рассуждения включён по умолчанию, его глубину можно настраивать. Репозиторий содержит GGUF и safetensors и помечен как совместимый с LlamaPi. Лицензия — Apache-2.0. Для запуска через LlamaPi требуется соответствующая среда на RK1828; практическое качество и поддержка конкретных входных форматов зависят от реализации.

Qwen3.8-Flash-Next-DERISKED-MTPLX-Optimized-Speed — локальная модель генерации текста, разработанная на основе чекпойнта Blackfrost-AI/Qwen3.8-Flash-Next-DERISKED-BF16 и адаптированная для запуска через MTPLX на компьютерах Apple Silicon. Она предназначена для чата, генерации текста и кода, локального использования, а также контролируемых исследований безопасности и red-team-оценки. Модель не является безопасным production-чекпойнтом: её поведение и поверхность отказов были изменены на уровне весов для операторских исследований. Это квантованная версия архитектуры Qwen 3.8 Flash-Next с гибридной MoE-архитектурой GDN, Qwen Sparse Attention, памятью n-gram на 51 млрд параметров и встроенной головой multi-token prediction. Основная часть экспертов и плотных матриц представлена в 4-битном формате, отдельные компоненты внимания, маршрутизации, эмбеддинги и выходная голова — в 8-битном, а ряд рекуррентных и нормализующих параметров сохраняет 16-битную точность. Модель поддерживает текстовые и визуальные веса, имеет контекстное окно 262 144 токена, адаптивную глубину MTP до трёх токенов и требует около 115,3 ГБ для загрузки. Для работы рекомендуется Apple Silicon Mac с unified memory от 96 ГБ; таблица n-gram объёмом 32 ГБ по умолчанию размещается на SSD. Сильные стороны модели — оптимизация под Apple Silicon, сохранение повышенной точности в ключевых компонентах внимания и ускорение спекулятивной генерации: на M5 Max заявлены 66,2 токена в секунду против 46,6 токена в секунду в авторегрессионном режиме. Ограничения включают высокие требования к памяти и дисковому пространству, зависимость от MTPLX и отсутствие встроенной системы авторизации или полноценной границы безопасности. Рекомендуется использовать аутентифицированные точки доступа, отдельное журналирование запросов и инструментов, минимальные привилегии, песочницы и ручное подтверждение необратимых действий. Указана лицензия qwen-community-1.0 с типом license other; ссылка ведёт на файл LICENSE. Модель наследует статус и ограничения базового DERISKED-чекпойнта Blackfrost-AI.

mlx-community/Qwen3-Next-80B-A3B-Instruct-4bit — это 4-битно квантизированная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.27.1. Модель предназначена для генерации текста и выполнения задач по инструкциям в приложениях, использующих экосистему MLX, включая локальный запуск через библиотеку mlx-lm. Из README известно, что модель является текстовой и относится к pipeline text-generation. В её названии указаны размер 80B и конфигурация A3B, однако подробности архитектуры, поддерживаемые языки, длина контекста и набор модальностей не приведены. Ключевое преимущество версии — 4-битное представление, потенциально уменьшающее требования к памяти при локальном использовании, но README не содержит данных о качестве, производительности или ограничениях квантизации. Модель распространяется по лицензии Apache-2.0.

SpydazWeb AI — дообученная языковая модель Leroy Dyer для диалогов, генерации текста и работы в сценариях с планированием и агентным взаимодействием. Она основана на SpydazWeb_AI_ChatQA_005/006 и использует плотную архитектуру Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для ответов на вопросы, составления сводок, генерации и объяснения кода, перевода, выявления сущностей и тем, а также ролевых диалогов. В README также заявлены сценарии RAG, планирования и вызова функций; карточка упоминает обучающие данные из OpenHermes, SlimOrca, Cosmopedia, CulturaX и других наборов. Заявления автора о широких знаниях и точности не являются независимой оценкой качества. Модель принимает текст и генерирует текст. В тегах указаны английский, испанский, каталонский, хинди, суахили, игбо, сомалийский, коса, зулу, хауса, акан, африкаанс, бамбара и сунданский языки; README описывает многоязычное обучение, но не подтверждает одинаковое качество для всех перечисленных языков. Лицензия — Apache-2.0. Модель обозначена как uncensored и предназначена в том числе для ролевых диалогов; медицинские ответы могут быть ненадёжными и требуют проверки специалистом.

Карточка модели sabeshbesh/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

jondurbin/bagel-8x7b-v0.2 — экспериментальный SFT-чекпойнт, созданный jondurbin на основе Mixtral-8x7B-v0.1 с помощью инструментария Bagel. Это языковая модель с архитектурой Mixtral MoE и 7,1 млрд параметров; она поддерживает контекст до 32 768 токенов и представлена в формате safetensors. Модель предназначена для диалогов и следования инструкциям, ответов на вопросы по предоставленному контексту, задач на рассуждение, математику, программирование и SQL, а также для ролевых диалогов. Для настройки использовались обучающие части разнообразных наборов данных: среди прочего, датасеты для чтения и понимания текста, общих знаний, математики, кода, чатов и ролевых сценариев. Карточка описывает модель после этапа SFT и до применения DPO; для общения предусмотрено несколько шаблонов промптов, а шаблон по умолчанию основан на Llama 2. Модель лицензирована по Apache 2.0. README называет настройку экспериментальной, поэтому качество на отдельных задачах следует проверять в целевом сценарии.

C4AI Command-R v01 — авторегрессионная плотная языковая модель Cohere и Cohere For AI на 35 млрд параметров, выпущенная с открытыми весами. Она предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и работы с RAG; также обучена формировать вызовы инструментов в специальном формате диалога. Модель принимает и генерирует текст. Она построена на оптимизированном трансформере, после предварительного обучения прошла дообучение с учителем и обучение на предпочтениях. Контекст составляет 128K токенов. Модель рассчитана на английский, французский, немецкий, испанский, итальянский, бразильский португальский, японский, корейский, упрощённый китайский и арабский; русский входил в дополнительные языки предобучения, но не указан среди языков, на которых модель специально оптимизирована. Весам требуется следовать лицензии CC-BY-NC-4.0 и Политике допустимого использования C4AI. Для вызова инструментов рекомендуется использовать предусмотренный шаблон диалога: отклонение от него может снизить качество. README указывает на сильные возможности RAG, но для их использования нужно предоставить модели найденные документы и соответствующий формат запроса.

Dirk-Qwen3.8-27B-MLX-oQ6e — это квантизированная MLX-версия базовой модели Qwen/Qwen3.8-27B, разработанная автором peculiar-ragdoll. Модель представляет собой плотную vision-language модель с поддержкой текста и изображений, ориентированную на работу на компьютерах Apple Silicon через MLX и совместимые среды, включая oMLX и mlx-vlm. Заявленная языковая поддержка включает английский и китайский языки. Модель использует смешанную квантизацию oQ6e с калибровкой imatrix и размером около 22,1 ГБ, примерно 6,9 бит на вес. Веса, vision tower и MTP-head сохранены; MTP может применяться для speculative decoding и ускорения генерации в совместимых runtime. Максимальное окно контекста в примере конфигурации составляет 262144 токена. В комплект включён Sharp chat template v22.5.0, который по умолчанию задаёт компактные ответы и средний уровень рассуждений; уровень reasoning effort можно менять от low до xhigh, а рассуждения — отключать. Модель предназначена для диалогов, анализа изображений, программирования, агентских сценариев и задач, где важны краткость и скорость получения ответа. К её сильным сторонам относятся сохранённая мультимодальность, поддержка MTP, готовый шаблон чата и несколько уровней глубины рассуждений. Ограничения связаны с требованиями к памяти: вариант oQ6e рассчитан примерно на системы с 32 ГБ памяти, а MTP поддерживается не всеми загрузчиками. Для корректной работы требуется использовать mlx-vlm версии не ниже 0.6.3, а не mlx-lm. README также приводит предварительные результаты бенчмарков, которые ещё находятся в процессе измерения, поэтому их нельзя считать окончательными. Модель распространяется по лицензии Apache-2.0.

DiscoLM 70b — языковая модель команды DiscoResearch, обученная Бьёрном Плюстером на базе LeoLM 70B. Это плотная авторегрессионная модель семейства Llama 2 с 68,7 млрд параметров и контекстом до 8192 токенов. После дополнительного предобучения на 65 млрд токенов немецкого текста модель дообучили на наборах инструкций и диалогов, включая SlimOrca, OpenHermes, MetaMathQA и UltraChat DE. Модель предназначена для генерации текста и ответов на инструкции и подходит для диалогов, письма, рассуждений, решения математических задач и написания кода. Усилена поддержка немецкого языка при сохранении возможностей английского; карточка также приводит результаты тестов по нескольким задачам. Разработчики называют модель ранней альфа-версией и предупреждают о возможном загрязнении тестовых данных. Для использования заявлена лицензия Llama 2 с её ограничениями и ограничениями обучающих наборов; авторы указывают исследовательское назначение.

Qwen3.6-27B-Uncensored-HauhauCS-Aggressive — модификация базовой модели Qwen3.6-27B, разработанная HauhauCS. Это мультимодальная модель для работы с текстом, изображениями и видео, представленная в формате GGUF и предназначенная для запуска в llama.cpp, LM Studio и других совместимых средах. Она ориентирована на агентное программирование, использование инструментов, рассуждения, творческое письмо и ролевые сценарии, а версия Aggressive специально настроена на прямые ответы без предварительных оговорок на жёсткие запросы. README заявляет отсутствие отказов в тесте из 465 запросов, однако это утверждение следует считать характеристикой автора сборки, а не независимой гарантией поведения модели. Модель содержит 27 млрд плотных параметров, 64 слоя и гибридную архитектуру с 48 слоями линейного внимания Gated DeltaNet и 16 слоями полноценного Gated Attention. Нативный контекст составляет 262 тыс. токенов и может быть расширен примерно до 1 млн с помощью YaRN. Указана поддержка английского, китайского и других языков, а также встроенная мультимодальность; для обработки визуальных данных поставляется отдельный компонент mmproj. Доступны квантизированные варианты от Q8 до Q2, включая специализированные K_P-квантизации, оптимизированные для сохранения качества. Сильными сторонами являются большой контекст, поддержка текста, изображений и видео, широкий выбор вариантов квантизации и отсутствие изменений в заявленных исходных возможностях Qwen3.6-27B. Ограничение версии Aggressive — менее сдержанная манера поведения и отсутствие защитных отказов, что повышает риски при использовании. Модель распространяется по лицензии Apache-2.0; сведения о требованиях к аппаратному обеспечению в README не приведены, но размер файлов квантизаций составляет примерно от 10 до 32 ГБ, не считая mmproj размером 928 МБ.

EXAONE-Deep-7.8B — плотная языковая модель для рассуждений, разработанная LG AI Research. Она предназначена для генерации ответов и решения задач на рассуждение, включая математику и программирование; поддерживает диалоговый режим. Модель дообучена на EXAONE-3.5-7.8B-Instruct и содержит 7,4 млрд параметров. Архитектура — ExaoneForCausalLM с 32 слоями и групповым запросом внимания (32 Q-головы и 8 KV-голов); длина контекста — 32 768 токенов. Модель рассчитана прежде всего на английский и корейский языки. Для запуска рекомендуются Transformers версии 4.43.1 или новее; также перечислены TensorRT-LLM, vLLM, SGLang, llama.cpp, Ollama и LM Studio. В репозитории доступны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в самой карточке и сопутствующей документации. Модель может выдавать неточные, устаревшие, предвзятые или неподходящие ответы; результаты требуют проверки.

Это экспериментальная GGUF-квантизация GigaChat3.1-10B-A1.8B, подготовленная ENOSYS на основе ai-sage/GigaChat3.1-10B-A1.8B-bf16. Модель предназначена для генерации текста и диалогового использования; базовая модель — компактная многоязычная MoE-модель GigaChat для диалогов, рассуждений, кода и вызова инструментов. В репозитории приведены варианты квантования с целевой точностью 2,750, 2,875 и 3,000 бит на вес, а также таблица сравнительных метрик. Для калибровки использованы наборы данных с примерами инструментов, математики, кода и английского и русского текста. Тензоры сохранены в F16 для совместимости с архитектурой Nvidia Pascal. Квантование выполнено на нестандартной ветке LLaMA.cpp с дополнительными патчами. Варианты GGUF позволяют запускать модель в совместимых инструментах с поддержкой этого формата. Квантизация снижает точность относительно исходных весов; приведённые метрики указывают на заметные изменения perplexity и распределений выходных вероятностей. Лицензия репозитория — MIT.

unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

Grafted-Hermetic-Platypus-D-2x7B — разговорная языковая модель, созданная слиянием Platyboros-Instruct-7B и Hermes-Instruct-7B-v0.2. Она использует архитектуру Mixtral с разреженной экспертной моделью (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоге и выполнения инструкций. В качестве формата запросов подходят шаблоны Mistral-Instruct и Alpaca; токенизатор по умолчанию настроен на Alpaca. В карточке приведены результаты нескольких тестов языковых моделей, включая AI2 Reasoning Challenge и HellaSwag. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка не сообщает о поддержке конкретных естественных языков, поэтому языки не перечислены. Результаты бенчмарков не гарантируют качество на конкретных пользовательских задачах.

granite-4.2-3b-GGUF — это квантованная версия языковой модели granite-4.2-3b, разработанной IBM (ibm-granite) и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста, задач рассуждения, диалоговых сценариев и вызова инструментов. Она принимает только текстовые данные и поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель содержит около 4 млрд параметров. Квантование выполнено с использованием llama.cpp и метода imatrix; доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантов размером примерно от 1,57 до 7,32 ГБ. В README не указаны архитектура и размер контекстного окна, а speculative decoding не поддерживается. Более компактные варианты экономят оперативную память, но могут снижать качество; Q4_K_M обозначен как сбалансированный вариант для большинства сценариев, а Q5–Q6 — как варианты с более высоким качеством. Модель распространяется по лицензии Apache-2.0. Для корректной работы рекомендуется использовать указанный шаблон prompt с секцией рассуждений <think> и совместимый рантайм llama.cpp.

granite-4.2-8b-MLX-8bit — 8-битная квантованная версия модели granite-4.2-8b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии рассуждений, «thinking» и вызова инструментов. В README указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель имеет 8 миллиардов параметров в исходной версии; конкретное значение контекстного окна и сведения о мультимодальности не указаны. Ключевые преимущества — сниженное потребление памяти благодаря 8-битному представлению и оптимизация для Apple Silicon. Ограничения включают зависимость от совместимой MLX-среды и возможное появление неточного, вредного или неподходящего контента. Модель распространяется по лицензии Apache-2.0. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность, доступность или соответствие конкретным требованиям.

Hermes-3-Llama-3.1-70B-GGUF — это квантизированная в формате GGUF версия языковой модели Hermes-3-Llama-3.1-70B, разработанной NousResearch. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи ассистирования, ролевого общения, работу с синтетическими данными и дистилляцией, вызов функций и формирование структурированных ответов в JSON. Модель основана на Llama 3.1 с 70 млрд параметров и ориентирована на англоязычные сценарии. Она поддерживает инструкционный формат общения ChatML, режим JSON и function calling; в README приведён специальный шаблон промпта с системными, пользовательскими и ассистентскими сообщениями. Доступно множество вариантов квантизации с разным соотношением качества, размера и требований к памяти: от Q8_0 размером около 75 ГБ до крайне компактных IQ1_M и IQ2-вариантов. Рекомендуемыми названы, в частности, Q6_K, Q5_K_M и варианты Q4. Сильной стороной модели является высокое качество старших вариантов квантизации и поддержка расширенных сценариев инструкционного использования, включая структурированный вывод и вызов функций. Ограничения связаны с большим размером 70-миллиардной модели, значительными требованиями к оперативной или видеопамяти и неизбежной потерей качества у низкобитных вариантов. Сведения о длине контекста и мультимодальных возможностях в README не указаны. Лицензия обозначена как llama3.

TelperionAI/Huihui-Qwen3.8-27B-abliterated-NVFP4 — это 27-миллиардная смешанно-квантизованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, подготовленная с помощью llm-compressor. Основные MLP-слои используют NVFP4, часть модулей — FP8, а эмбеддинги, нормализации, vision tower и MTP-голова сохранены в BF16. Размер модели составляет около 24,7 ГБ. Для нативного NVFP4 требуется GPU архитектуры Blackwell; запуск ориентирован на vLLM и поддерживает tensor parallelism. Максимальный размер контекста в README не указан. Модель предназначена для высокопроизводительной генерации текста, включая программирование, математику, STEM, диалоги и мультиязычные сценарии. В комплекте присутствует MTP-голова для speculative decoding, однако её acceptance rate не измерен. На Blackwell заявлена существенно более высокая скорость декодирования по сравнению с INT4-сборкой, но с большей потерей точности относительно BF16-версии. Оценка проводилась только на одном корпусе и без downstream-бенчмарков; vision tower не квантизован, а модель тестировалась преимущественно как текстовая. Базовая модель была подвергнута abliteration: upstream из неё удалены направления, связанные с отказами, и это поведение наследуется данной версией. Модель распространяется по лицензии Apache-2.0.

Jack-3.8-27B-V2-VL-16GB-VRAM — мультимодальная модель независимого исследователя Джонатана Майкла Лэнгфорда и проекта Jack, созданная на основе Qwen/Qwen3.8-27B и рассчитанная на локальный запуск через llama.cpp. Репозиторий содержит веса GGUF и BF16 мультимодальный проектор для работы с изображениями; заявленное назначение — диалоговая и агентная работа с длинным контекстом, включая программирование и многошаговые задачи. Модель использует протокол Jack V2: структурирование рабочего состояния в XML после основного рассуждения, отделение наблюдений и предположений, учёт актуальности сведений и проверку точных результатов детерминированными инструментами. По описанию автора, это предназначено для задач, где важно не смешивать устаревшие планы, конфигурации и результаты. Автор ориентирует релиз на GPU класса 16 ГБ; для полного режима обработки изображений требуется загрузить приложенный проектор. В README рекомендуется отключить MTP; Q4 KV cache описан как результат ранних локальных наблюдений, а не универсальная настройка. Модель имеет 27 млрд параметров; контекстное окно в предоставленных данных не указано. Лицензия — Apache-2.0. Заявленные преимущества протокола и поведение при локальном тестировании основаны на описании автора; независимые сравнительные оценки в предоставленных материалах отсутствуют.

Модель KARAKURI Inc. karakuri-lm-8x7b-instruct-v0.1 — диалоговая языковая модель на архитектуре Mixtral Mixture of Experts, дообученная на базе tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1. Она предназначена для генерации ответов и инструкций на английском и японском языках, включая сценарии вызова инструментов и работы с RAG. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В шаблоне диалога предусмотрены девять управляемых атрибутов ответа: полезность, корректность, связность, сложность, многословность, качество, токсичность, юмор и креативность. Модель дообучали примерно на 1 млрд токенов данных, в том числе на наборах для диалогов, программирования, вызова функций, математики, SQL и RAG. Репозиторий использует формат safetensors и библиотеку Transformers. Известное ограничение: модель может пытаться вызывать инструменты, которые не предоставлены приложением; такие вызовы следует отфильтровывать при постобработке. Лицензия — Apache 2.0.

Llama-3.1-8B-Magpie-Align-SFT-v0.2 — диалоговая языковая модель семейства Llama 3.1, разработанная Magpie-Align. Это дообученная версия Meta Llama 3.1 8B, обученная на наборах Magpie-Llama-3.1-Pro-500K-Filtered и Magpie-Reasoning-150K. Модель предназначена для диалогов, выполнения инструкций и рассуждений в текстовом формате; для лучшего результата следует использовать официальный шаблон чата Llama 3. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В README сообщается о результатах, сопоставимых с Llama 3.1 8B Instruct при обучении только методом SFT, включая оценки AlpacaEval 2 и Arena Hard. Модель принимает текст и генерирует текст. README не перечисляет поддерживаемые естественные языки, поэтому язык в описание не добавлен. Использование регулируется лицензией Meta Llama 3.1 Community License.

Llama-3_1-Nemotron-51B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Llama-3_1-Nemotron-51B-Instruct, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp и LM Studio. Указан английский язык. Модель имеет 51 млрд параметров и доступна в форматах от F16 до различных вариантов 3-, 4-, 5-, 6- и 8-битного квантования. Размер файлов варьируется примерно от 23,49 до 103,01 ГБ. Квантизация выполнена с использованием imatrix; в карточке также отмечено исправление RoPE. Для работы следует использовать указанный шаблон инструкций с системным, пользовательским и ассистентским сообщениями. Контекст модели, архитектурные детали исходной версии и дополнительные модальности в README не указаны; по имеющимся данным это текстовая модель. Сильными сторонами являются широкий выбор вариантов квантования, возможность подобрать баланс между качеством и требованиями к памяти, а также поддержка llama.cpp и LM Studio. Более компактные варианты экономят память, но могут уступать полноразмерной версии по качеству. Для использования применяются условия NVIDIA Open Model License; конкретные ограничения следует проверять в тексте лицензии по указанной ссылке.