II.7DevOps, облако и эксплуатация IT-систем

Qwen 3.8 27B ROCmFP4 FAST — это квантизированная GGUF-версия модели Qwen 3.8 27B, разработанной командой Qwen и адаптированной пользователем julianmb. Модель предназначена для генерации текста и оптимизирована прежде всего для AMD Strix Halo с графикой Radeon 8060S, а также дискретных AMD Radeon GPU, использующих ROCm или Vulkan. Модель имеет плотную архитектуру с 27 млрд параметров и представлена в формате ROCmFP4 с эффективной точностью 4,26 бит на вес и размером файла около 13,55 GiB. Заявлены поддерживаемые языки английский и китайский. Версия ориентирована на ускоренное авторегрессионное декодирование и может использовать speculative decoding с MTP; на Ryzen AI Max+ 395 указана скорость до 36,04 токена в секунду, при устойчивом MTP-декодировании K=4 — 33,80 токена в секунду. Без спекулятивного декодирования измеренная скорость составляет 14,02 токена в секунду. Сильные стороны модели — сниженное потребление памяти, оптимизация под оборудование AMD и высокая скорость генерации при сохранении заявленного качества, близкого к исходной модели. Дополнительно описана экспериментальная гибридная NPU-акселерация AMD XDNA 2 для уменьшения задержки выдачи первого токена на длинных запросах, но она не повышает устойчивую скорость декодирования. Реальная производительность зависит от GPU, драйверов, конфигурации MTP и программного окружения, поэтому приведённые показатели нельзя считать универсальными. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-ULTIMATE-UNCENSORED-MTP-IQ4-GGUF-16GB — квантизированная GGUF-версия модели Qwen3.8-27B, подготовленная lemonyins на основе аблитерированной и «uncensored» сборки AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Модель предназначена для локального запуска и исследовательских или разработческих сценариев, где требуется модель класса 27B с уменьшенным потреблением памяти и без исходных контентных ограничений базовой сборки. Используется гибридная квантизация: основные attention-слои имеют формат IQ4_XS, а слои FFN — IQ3_S; применяется GGUF и поддержка TurboQuant для компактного KV-кэша. Вариант ориентирован на видеокарты с 16 ГБ VRAM. По данным README, на NVIDIA RTX 4060 Ti 16GB заявлена скорость около 20 токенов в секунду без MTP и около 30 токенов в секунду с multi-token prediction; с TurboQuant доступен контекст порядка 100–110 тысяч токенов без MTP и около 80 тысяч с MTP. Поддержка изображений возможна при подключении отдельного vision-проектора mmproj-BF16.gguf, при этом доступный контекст уменьшается примерно на 20 тысяч токенов. Сильные стороны модели — низкое потребление памяти, высокая скорость локального вывода, большой контекст и возможность speculative decoding через MTP. Ограничения связаны с потерями качества из-за квантизации FFN до IQ3_S, которые могут проявляться, например, в задачах на фактическое запоминание, а также с обязательной зависимостью заявленных показателей памяти от TurboQuant-enabled сборки llama.cpp. Приведённые показатели perplexity, VRAM и скорости требуют отдельной проверки именно для Qwen3.8. В README указана лицензия Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, опубликованная HauhauCS. Модель распространяется в формате GGUF и предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео через отдельный vision-проектор. Указаны языки English, Chinese и multilingual, однако точный перечень поддерживаемых языков не приведён. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Встроенная поддержка MTP/NextN сохранена, а профиль HauhauCS FastMTP предназначен для ускорения генерации; заявлены преимущества в скорости для документных и reasoning-сценариев. Для изображений и видео требуется отдельный BF16 vision-проектор. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказов, что может быть полезно для задач, где важны быстрота и непрерывность генерации. Это одновременно является ограничением: README рекомендует для надёжной работы с длинным контекстом и агентскими задачами сбалансированный вариант, если он доступен. Модель не вносит изменений в датасеты или заявленные возможности базовой Qwen3.8-27B, но применяет профиль «uncensored». Доступны различные уровни квантизации, включая пользовательские K_P и IQ-варианты, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Лицензия — Apache-2.0.

Qwen3.8-9B-Distill-uncensored-heretic-GGUF — GGUF-квантизированная версия модели Qwen3.8-9B-Distill, подготовленная пользователем petruhonk на базе empero-ai/Qwen3.8-9B-Distill. Модель подвергнута «abliteration» с помощью Heretic v1.4.0 для снижения числа отказов при ответах на запросы, которые исходная модель отклоняет. Она предназначена для генерации текста, диалоговых приложений, агентских сценариев и функционального вызова инструментов через llama.cpp. Модель содержит 9 млрд параметров, 33 блока и сохранённую MTP-голову для speculative decoding с режимом draft-mtp. В репозитории опубликованы только текстовые веса в формате GGUF, предположительно с квантизацией Q8_0; для запуска с мультимодальными возможностями необходим отдельный файл mmproj. Исходная архитектура поддерживает изображения и видео, однако данный репозиторий не содержит соответствующих компонентов. Встроенный шаблон чата поддерживает tools и <tool_call>, а пример запуска рассчитан на контекст до 32768 токенов. К сильным сторонам относятся сохранённая MTP-голова, совместимость со speculative decoding и существенно меньшее число отказов по сравнению с исходной моделью: 6 из 100 против 100 из 100 в указанном тесте. Ограничения включают неполную мультимодальную поставку, зависимость качества и потребления памяти от выбранной квантизации, а также возможные изменения поведения из-за abliteration; показатель KL-дивергенции относительно исходной модели составляет 0,0306. Модель распространяется по лицензии Apache-2.0.

Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, опубликованная RedHatAI на базе Qwen/Qwen3-8B-Base. Это плотная архитектура Qwen3 с 7,6 млрд параметров; модель предназначена для получения векторных представлений текста и задач ранжирования и поиска. Метаданные указывают контекст до 40 960 токенов, а README описывает поддержку последовательностей до 32 тысяч токенов и векторы размерностью от 32 до 4096. Модель понимает пользовательские инструкции для настройки представлений под конкретную задачу. Модель подходит для семантического поиска по текстам и коду, многоязычного и межъязыкового поиска, классификации и кластеризации текстов, сопоставления параллельных текстов и оценки сходства. В README заявлена поддержка более 100 языков и приведены высокие результаты на бенчмарках MTEB; эти показатели относятся к оценкам разработчика и зависят от сценария применения. Для многоязычных сценариев README рекомендует формулировать инструкции на английском. Модель выпущена в формате safetensors и распространяется по лицензии Apache-2.0. Для загрузки через Transformers требуется версия 4.51.0 или новее, поскольку в более ранних версиях может возникать ошибка распознавания архитектуры Qwen3.

Qwen3-Next-80B-A3B-Thinking-8bit — языковая модель для генерации текста, представленная сообществом mlx-community. Она преобразована из базовой модели Qwen/Qwen3-Next-80B-A3B-Thinking в формат MLX с использованием mlx-lm 0.27.1; исходная модель разработана командой Qwen. Модель предназначена для текстовых сценариев, включая диалоговое взаимодействие и генерацию ответов с применением режима Thinking. В названии указаны масштаб 80B, конфигурация A3B и 8-битное представление весов. Модель поддерживает работу через библиотеку mlx-lm и рассчитана на запуск в экосистеме MLX. В README не указаны языки, размер контекста, точная архитектура, перечень модальностей и результаты бенчмарков. Сильной стороной модели является адаптация для MLX и 8-битное представление, потенциально снижающее требования к памяти по сравнению с полноточными вариантами. Ограничения и фактические требования к оборудованию в README не описаны. Модель распространяется по лицензии Apache-2.0.

NobodyWho/Qwen_Qwen3.5-0.8B-GGUF — GGUF-квантизированная версия модели Qwen3.5-0.8B, разработанной командой Qwen компании Alibaba Group. Модель подготовлена для использования с NobodyWho, содержит встроенные рекомендованные параметры семплирования Qwen и проверена тестовым набором NobodyWho. Модель предназначена для быстрого диалогового общения и генерации текста, выполнения инструкций, нативного tool calling и локального запуска на устройствах с ограниченными ресурсами. Она поддерживает мультимодальный ввод текста и изображений через дополнительную проекционную модель mmproj-BF16.gguf, режим рассуждений, включённый по умолчанию, а также широкий набор языков. Заявлена поддержка контекста до 262 144 токенов. Модель содержит 0,8 млрд параметров и использует архитектуру qwen35. Доступны варианты BF16, Q8_0 и Q4_K_M; каждый показал результат 13 из 14 тестов tool calling, при этом сложные схемы остаются ограничением. Основные преимущества — малый размер, низкие требования к памяти, мультимодальность, длинный контекст и возможность локального использования. Для работы с изображениями требуется отдельный файл проекционной модели. Распространяется по лицензии Apache 2.0.

RWKV-7 World — базовая авторегрессионная языковая модель семейства RWKV от BlinkDL, предназначенная для генерации текста и использования в качестве основы для дообучения. Модель обучалась на корпусе примерно из 3,1 трлн токенов для версии World-v3; в обучающих данных преобладает английский язык, также представлены другие языки и программный код. В README указаны варианты семейства от 0,1B до примерно 7B параметров, но размер именно этой публикации не уточнён. Модель рассчитана на продолжение текста, диалоговые и вопросно-ответные сценарии при использовании рекомендованных шаблонов запросов. Архитектура RWKV-7 поддерживается пакетом rwkv версии 0.8.28 и выше. Карточка сообщает о обучении более чем на 100 языках; метаданные перечисляют 12 языков, включая русский, китайский, английский, французский, испанский, немецкий, португальский, итальянский, японский, корейский, вьетнамский и арабский. В README приведены результаты MMLU для нескольких вариантов RWKV-7-v3 и сравнение с RWKV-6, но эти оценки не являются характеристиками конкретного файла модели. Это базовая модель, а не специализированный чат-чекпойнт; качество ответов и следование инструкциям могут зависеть от шаблона и дополнительного дообучения. Лицензия — Apache-2.0.

Карточка модели JetLM/SDAR-4B-Chat-b16 на Hugging Face совпадает с карточкой JetLM/SDAR-8B-Chat-b32, поэтому описание составлено по ней. JetLM/SDAR-8B-Chat-b32 — чат-модель семейства SDAR, разработанная авторами SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая обеспечивает эффективное обучение, а диффузионный подход позволяет генерировать токены параллельно. В репозитории указана плотная архитектура SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации текста; в карточке также заявлен интерфейс вызова инструментов. Авторы сообщают о сопоставимой с сильными авторегрессионными моделями общей производительности и преимуществах в некоторых научных задачах рассуждения для моделей SDAR того же масштаба. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Языки и отдельные результаты именно этой версии в карточке не приведены.

Solar-Open2-250B-Mixed-Quant-GGUF — независимая конверсия модели upstage/Solar-Open2-250B в формат GGUF с рецептом смешанной точности MXQ-v1. Автор репозитория Baekpica; это не официальный выпуск Upstage. Вариант состоит из 11 файлов общим размером около 88,973 ГиБ и сохраняет исходную архитектуру Mixture-of-Experts: 48 слоёв, 320 маршрутизируемых экспертов в каждом слое и один общий эксперт. Указанный размер артефакта — около 3,05 бит на вес. Модель предназначена для генерации текста и диалогового применения, включая работу с инструкциями, рассуждениями, кодом и многоязычными запросами. В калибровке использованы английский, корейский, японский и другие многоязычные данные; карточка базовой модели указывает контекст до 1 048 576 токенов, однако автор не заявляет такую длину для работы на DGX Spark. Проверки описывают загрузку и генерации на нескольких GPU-конфигурациях, а также замеры производительности на DGX Spark с конкретным ПО и настройками. Это производный квантованный артефакт для запуска в совместимом с GGUF программном обеспечении; для него приведены контрольные суммы, рецепт квантования и результаты структурной проверки. Репозиторий указывает лицензию «other», но не приводит её условия в предоставленных данных, поэтому коммерческие и иные права использования следует сверить с карточкой Hugging Face и базовой моделью. Результаты проверок качества ограничены описанными тестами и не являются гарантией качества на произвольных задачах.

Supertron2.1-0.6B — компактная инструкционно дообученная языковая модель от Surpem на базе Qwen3-0.6B. Это плотный Transformer с примерно 507,9 млн параметров; модель использует архитектуру, токенизатор и формат чата Qwen3 и предназначена для генерации текста и диалогов. Контекстное окно составляет 40 960 токенов. Модель подходит для ответов на вопросы, объяснения понятий, пошаговых рассуждений, арифметики и алгебры, написания и разбора кода, кратких пересказов и переписывания текста, а также прототипирования ассистентов и агентных сценариев. Карточка заявляет поддержку программирования на нескольких языках, но основной язык в метаданных — английский; отдельные языки программирования не считаются естественными языками. Небольшой размер позволяет запускать модель на потребительском оборудовании. При этом она может выдумывать факты, давать неверные решения задач и ошибки в коде; сложные рассуждения могут превышать её возможности, а качество зависит от настроек генерации. Результаты следует проверять, особенно в ответственных областях. Лицензия — Apache 2.0.

TheBloke/wizardLM-7B-HF — полноразмерная модель WizardLM-7B в формате Hugging Face для генерации текста и выполнения инструкций. Она основана на Llama 7B: к исходным весам применены delta-веса WizardLM, полученные методом Evol-Instruct, после чего объединённая модель преобразована в float16. В репозитории указано около 6,6 млрд параметров и контекст до 2048 токенов. Модель предназначена для ответов на запросы и выполнения разнообразных инструкций на естественном языке; файлы подходят для инференса на GPU и как основа для дальнейшей квантизации или конвертации. Карточка отмечает, что ранняя WizardLM уступала ChatGPT на полном тестовом наборе и оставалась на начальном этапе развития, хотя показывала преимущество на сложных инструкциях. Лицензия в метаданных обозначена как other.

Yi-1.5-9B-Chat-GGUF — квантизированная GGUF-версия чат-модели Yi-1.5-9B-Chat, разработанной 01-ai и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая запуск в локальных приложениях и сервисах на базе LlamaEdge. Модель относится к архитектуре Yi и содержит около 9 миллиардов параметров. Она работает с текстом, использует шаблон запросов ChatML и поддерживает контекст размером до 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; размеры файлов составляют примерно от 3,35 до 17,7 ГБ. В README рекомендуются варианты Q4_K_M, Q5_K_M и Q5_K_S как сбалансированные по качеству и размеру. Ключевое преимущество модели — возможность локального запуска при существенно меньших требованиях к памяти по сравнению с полноразмерной версией, особенно при использовании низко- и среднебитных вариантов. При этом сильная квантизация может заметно снижать качество генерации, а варианты Q2_K и Q3_K имеют значительные потери качества. Языки, специальные возможности и результаты сравнительных тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

bhenrym14 создал экспериментальную модификацию Airoboros 33B GPT-4 1.4.1 на архитектуре Llama. Это плотная авторегрессионная языковая модель примерно на 32,3 млрд параметров, дообученная с помощью QLoRA и RoPE scaling; веса опубликованы в формате safetensors. README описывает обучение на синтетическом наборе airoboros-gpt4-1.4.1 и расширение контекстного окна до 8192 токенов, однако метаданные указывают native context в 2048 токенов, поэтому фактическую поддержку длинного контекста следует считать экспериментальной. Модель предназначена для диалоговых ответов, следования инструкциям, ответов по предоставленному контексту, ролевых сценариев, загадок и задач на программирование. Обучающие данные включают примеры кода на десяти языках программирования; естественные языки в карточке явно не перечислены. Автор сообщает о хороших впечатлениях от отдельных экспериментов, но отмечает, что влияние на задачи вне оценки perplexity не установлено. README не сообщает лицензию.

airoboros-m-7b-3.1.2-dare-0.85-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием методом SLERP моделей Mistral-7B-Instruct-v0.2 и airoboros-m-7b-3.1.2-dare-0.85. Она построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Модель принимает текст и генерирует текст; её контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Данные карточки не описывают её качество на конкретных задачах или подробные ограничения, поэтому результаты следует проверять на целевом сценарии.

DeepSeek-V4-Flash-8bit — это 8-битная версия модели DeepSeek-V4-Flash, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.31.3. Исходная модель разработана deepseek-ai. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm; README показывает использование диалогового шаблона и генерацию ответа по текстовому prompt. Из указанных характеристик известны формат MLX, 8-битное представление весов и текстовая модальность. Размер модели, архитектура, поддерживаемые языки и длина контекста в README не указаны. К преимуществам относятся адаптация к экосистеме MLX и уменьшенное по сравнению с полноточным представлением потребление памяти, однако ограничения качества, производительности и совместимости отдельно не описаны. Модель распространяется по лицензии MIT.

DeepSeek-R1-Distill-Llama-8B-GGUF — это GGUF-версия модели DeepSeek-R1-Distill-Llama-8B, подготовленная Unsloth на базе DeepSeek-R1-Distill-Llama-8B. Модель предназначена для текстового диалога, генерации ответов и задач, требующих рассуждений; в примере README она формирует рассуждение перед итоговым ответом. Заявленный язык — английский. Модель основана на Llama 3.1 с размером 8B параметров и рассчитана на запуск через llama.cpp. Доступны квантизированные варианты GGUF, включая Q4_K_M; README также упоминает динамические квантизации Unsloth с разрядностью 1,58 и 2 бита, направленные на улучшение точности по сравнению со стандартными 1- и 2-битными вариантами. Поддерживается выгрузка части слоёв на GPU, что может ускорить обработку при наличии подходящего оборудования. Сильными сторонами являются относительно компактный размер, возможность локального запуска и наличие квантизированных сборок для снижения требований к памяти. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования; контекстное окно, мультимодальные возможности и подробные результаты оценки в README не указаны. Лицензия обозначена как llama3.1.

Это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Qwen-7B, базирующейся на модели deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Квантизации подготовлены пользователем Dhptl с использованием quant-kit 18 июня 2026 года. Модель относится к классу text-generation и предназначена для диалогов, генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Доступны варианты Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 размером примерно от 2,81 до 7,54 ГБ. Рекомендуемый вариант Q4_K_M занимает 4,36 ГБ и требует около 5,9 ГБ RAM; Q3_K_M ориентирован на системы с 8 ГБ RAM, а Q8_0 — на максимальное приближение к качеству исходной модели при потребности примерно в 9 ГБ RAM. Квантизация уменьшает размер и требования к памяти, но более агрессивные варианты могут заметно снижать качество. Для модели указан английский язык; контекст, точное число параметров архитектуры и мультимодальные возможности в карточке не раскрыты. Модель подходит для локального использования на компьютерах с ограниченными ресурсами и поддерживает работу на CPU или GPU в совместимых инструментах. Приведённые значения сохранения качества около 97–99% являются ориентировочными, а фактические результаты бенчмарков в README отсутствуют. Лицензия — MIT.

QuantTrio/DeepSeek-V3.2-Exp-AWQ — AWQ-квантизированная версия экспериментальной языковой модели DeepSeek-V3.2-Exp, разработанной DeepSeek AI и опубликованной QuantTrio. Модель предназначена для генерации текста, диалоговых приложений и серверного инференса через Transformers и vLLM, включая сценарии с автоматическим выбором инструментов и вызовом функций. В основе лежит архитектура DeepSeek-V3.2-Exp с механизмом DeepSeek Sparse Attention (DSA), рассчитанным на повышение эффективности обучения и инференса при работе с длинными последовательностями. В README заявлена поддержка контекста до 32 768 токенов. Модель является текстовой; сведения о размере, количестве параметров и поддерживаемых языках не указаны. Размер файлов модели составляет около 373 ГБ. К сильным сторонам относятся снижение вычислительных затрат при обработке длинного контекста благодаря разреженному вниманию и совместимость с оптимизациями vLLM, включая expert parallelism и speculative decoding. Ограничения включают экспериментальный статус, необходимость специализированной конфигурации и минимум шести GPU для указанного односерверного запуска. На момент публикации заявлена поддержка только датацентровых GPU Hopper и Blackwell; производительность и совместимость с другим оборудованием могут отличаться. Модель распространяется по лицензии MIT.

Falcon3-10B-Instruct-abliterated-GGUF — это квантизированная версия инструкционной языковой модели Falcon3-10B-Instruct-abliterated, опубликованная в формате GGUF пользователем bartowski. Базовая модель разработана huihui-ai и относится к семейству Falcon3. Квантизация выполнена с помощью llama.cpp, версии b4381, с использованием метода imatrix и специализированного набора данных. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, совместимых с llama.cpp и форматом GGUF. Поддерживаются английский, французский, испанский и португальский языки. Архитектура, размер контекста, точные параметры исходной модели и поддержка модальностей, кроме текста, в README не указаны; по назначению это текстовая модель без заявленной обработки изображений или других типов данных. Для общения используется шаблон с ролями system, user и assistant. Доступны варианты от F16 размером 20,62 ГБ до компактных IQ3_M и Q3-разрядных сборок. Версии Q4–Q6 заявлены как обеспечивающие хорошее или очень высокое качество при меньшем потреблении памяти, а Q3-варианты рассчитаны на системы с ограниченным объёмом RAM, но имеют более низкое качество. Ограничения качества зависят от выбранного уровня квантизации, при этом конкретные результаты тестирования не приведены. Модель распространяется по лицензии Falcon LLM License; условия доступны по ссылке, указанной в карточке.

qwp4w3hyb/gemma-2-27b-it-iMat-GGUF — это GGUF-квантизированная версия инструкционно дообученной модели Gemma 2 27B IT, разработанной Google. Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям на английском языке. В основе лежит модель Google Gemma 2 27B IT с размером 27 миллиардов параметров. Доступен широкий набор вариантов квантизации от Q8_0 до IQ1_S, включая экспериментальные типы с суффиксом _L. Для снижения потерь качества при квантизации использована importance matrix, рассчитанная на специализированном калибровочном наборе данных. Файлы подготовлены с использованием llama.cpp с учётом исправлений, связанных с финальным logit soft-capping, sliding window и токенизатором. Основное преимущество модели — выбор вариантов GGUF для запуска в llama.cpp с разным компромиссом между качеством, размером и требованиями к ресурсам; importance matrix должна улучшать сохранение качества после квантизации. Ограничения включают зависимость характеристик от выбранного типа квантизации и отсутствие в предоставленной карточке подробностей о контекстном окне, архитектурных параметрах, мультимодальности и результатах тестирования. Лицензия указана как gemma.

bunnycore/Gemma-2-2B-TitanFusion-v2 — разговорная языковая модель, созданная слиянием предварительно обученных моделей Gemma 2 с помощью mergekit и метода Model Stock. В качестве базовой использована bunnycore/Gemma-2-2b-TitanFusion; в слияние также вошли варианты All-in-One, Gemma2-2B-mixed и Mixer-Lora. Модель предназначена для генерации текста в диалогах и ответов на инструкции. Каталог также указывает помощь с рассуждениями и кодом как возможности базовых моделей. Архитектура — плотная Gemma 2 для авторегрессионной генерации, размер — 2,7 млрд параметров, контекст — до 8192 токенов. Модель распространяется в формате Safetensors для Transformers. Сведения о лицензии в доступных данных отсутствуют.

ThomasBaruzier/gemma-2-9b-it-GGUF — это набор GGUF-квантизаций инструкционно дообученной текстовой модели Gemma 2 9B IT, первоначально разработанной Google. Квантизации созданы с помощью llama.cpp и метода imatrix на основе калибровочного файла Bartowski; исходная модель — google/gemma-2-9b-it. Модель представляет собой decoder-only большую языковую модель для генерации и преобразования текста. Она предназначена для диалогов, ответов на вопросы, суммаризации, рассуждений и других задач текстовой генерации на английском языке. Доступны варианты с разными уровнями квантизации и размером примерно от 2,3 до 17,6 ГБ: от IQ1_S и IQ1_M до Q8_0 и F16. Более компактные варианты требуют меньше ресурсов, но могут сильнее терять качество; по приведённой таблице варианты Q4–Q8 близки к F16 по измеренным показателям perplexity и accuracy. Сильная сторона набора — возможность запускать Gemma 2 9B IT локально или на инфраструктуре с ограниченными ресурсами через llama.cpp, выбирая компромисс между размером и качеством. README не содержит сведений о длине контекста, точной архитектуре, поддерживаемых модальностях кроме текста или полном наборе языков; указано только, что модель доступна на английском языке. Использование регулируется лицензией Gemma от Google; для доступа к модели на Hugging Face требуется принять условия этой лицензии.

gemma-4-E2B-it-Uncensored-MAX-GGUF — языковая модель с поддержкой изображений, разработанная prithivMLmods на основе google/gemma-4-E2B-it. Это instruction-tuned и alignment-modified вариант, предназначенный для генерации текста, подробных ответов, следования инструкциям, reasoning и агентских сценариев. Модель также позиционируется для запуска через llama.cpp, vLLM и другие совместимые инструменты, поддерживающие формат GGUF. Модель относится к классу MoE и имеет 2 млрд параметров согласно описанию. Заявлен английский язык. Наличие файлов mmproj указывает на поддержку обработки изображений, однако подробные сведения о визуальной архитектуре, размере контекста и точном наборе поддерживаемых модальностей не приведены. Доступны варианты BF16, F16, F32 и Q8_0 размером примерно от 4,95 до 18,6 ГБ, а также соответствующие мультимодальные компоненты. Ключевая особенность — снижение внутренних отказов от ответа с помощью анализа refusal-направлений и abliteration-based training при сохранении способностей к reasoning и instruction-following. Это может быть полезно для приложений, которым нужны менее ограниченные ответы, но одновременно означает повышенные риски получения небезопасного или нежелательного контента. Качество и требования к ресурсам зависят от выбранной квантизации. Модель распространяется по лицензии Apache-2.0.

GLM-4.7-Flash-Uncensored-Heretic-NEO-CODE-Imatrix-MAX-GGUF — это GGUF-квантизированная версия модели GLM-4.7-Flash, разработанная DavidAU на базе Olafangensan/GLM-4.7-Flash-heretic и исходной модели ZAI-ORG. Модель предназначена для генерации текста, рассуждений, программирования, творческого письма, создания сюжетов и сцен, ролевых сценариев, а также работы с жанрами science fiction, horror и romance. Заявлена как uncensored/heretic-версия с удалёнными или ослабленными отказами, однако для получения более откровенного, грубого или эксплицитного текста может потребоваться явное указание желаемой лексики и уровня детализации. В основе используется MoE-архитектура на 30B параметров с тремя или четырьмя? активными экспертами; README указывает четыре активных эксперта и около 2B активных параметров при генерации. Поддерживаются английский и китайский языки. Модель работает на GPU и CPU, поставляется в формате GGUF, использует NEO и Code imatrix-квантизацию, а также 16-битный выходной тензор для повышения качества финального текста и рассуждений. Заявлен контекст до 200 тысяч токенов без RoPE, при этом рекомендуется использовать не менее 8–16 тысяч токенов для длинных ответов. Для запуска требуется актуальная версия llama.cpp; для некоторых конфигураций рекомендуется отключать Flash Attention из-за возможного снижения скорости. Сильными сторонами являются сочетание малой вычислительной нагрузки активной части MoE, поддержка длинного контекста, улучшения для кода и рассуждений, а также возможность локального запуска на CPU и GPU. Возможные ограничения включают зависимость качества и скорости от конкретного кванта, параметров семплирования и программного окружения, а также склонность к длинным или повторно «полирующимся» ответам. Модель распространяется по лицензии MIT.

Модель PS4Research/IKn8jwlNamPNIS15 — дообученная PS4Research языковая модель семейства Granite на базе ibm-granite/granite-4.2-30b. Она предназначена для генерации текста и диалогового взаимодействия; интерфейс также поддерживает вызов инструментов. Модель содержит 28,9 млрд параметров, использует плотную архитектуру GraniteForCausalLM и принимает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Базовая модель IBM описана как многоязычная и предназначенная для рассуждений, диалога, программирования и вызова инструментов, однако README не уточняет, какие именно навыки были предметом дообучения этой версии. Модель распространяется в формате safetensors по лицензии Apache-2.0; для ускорения обучения использовались Unsloth и библиотека TRL.

InternLM3-8B-Instruct-GGUF — это 8-миллиардная instruction-модель семейства InternLM, опубликованная командой InternLM и представленная в формате GGUF. Данный набор квантованных версий подготовлен bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая запуск локально через llama.cpp или LM Studio. Формат prompt не указан, поэтому для корректного применения следует обратиться к странице исходной модели. Доступны варианты от полноточных F32 и F16 до квантований Q8, Q6, Q5, Q4, Q3 и Q2, размером примерно от 3,82 до 35,22 ГБ. Квантованные версии снижают требования к памяти, сохраняя различный уровень качества; README рекомендует несколько вариантов Q6, Q5 и Q4 как оптимальные по соотношению качества и размера. Сведения о поддерживаемых языках, длине контекста, модальностях и конкретной архитектуре в README не приведены. Модель распространяется под лицензией Apache-2.0.

Ling-3.0-tiny-GGUF — это конвертация модели Ling-3.0-tiny в формат GGUF для запуска через llama.cpp. Базовую модель разработала команда inclusionAI, а данный вариант опубликован пользователем bloomer010. Модель предназначена для генерации текста, диалоговых сценариев и агентских задач, включая вызов инструментов и раздельный режим рассуждений. Архитектура использует mixture-of-experts: всего 7,9 млрд параметров, из которых 1,3 млрд активируются на каждом токене. Модель содержит 24 слоя, включая 18 KDA- и 6 MLA-слоёв, 128 маршрутизируемых экспертов с 8 активными экспертами на токен и одного общего эксперта. Поддерживаются Q-LoRA с рангом 256 и KV-LoRA с рангом 512, контекст до 131 072 токенов, а также режим рассуждений, включённый по умолчанию. Информация о поддерживаемых языках и мультимодальности в README не указана. Доступны варианты квантования от BF16 до сильно сжатых IQ- и Q-форматов, что позволяет выбирать между качеством и требованиями к памяти; рекомендуемый UD-Q8_K_XL обеспечивает качество, близкое к полной точности. Модель протестирована на CPU и CUDA, включая RTX 4070 и RTX 3060. Ограничения включают возможное преждевременное завершение ответа внутри блока рассуждений и проблемы с агентским использованием и tool calling в llama.cpp без поддержки двух указанных изменений. Для MXFP4_MOE рекомендуется GPU с нативной поддержкой MXFP4, иначе возможна более низкая скорость. Распространяется по лицензии MIT.

Llama 2 13B Chat — языковая модель Meta, представленная в формате GGUF и квантизированная TheBloke. Она основана на исходной модели Meta Llama 2 13B Chat и предназначена для генерации текста и ведения диалогов с использованием инструкций в формате Llama-2-Chat. Модель ориентирована на сценарии чат-ассистентов, локального запуска, генерации текста и интерактивных приложений. Указан английский язык. Архитектура — Llama, размер — 13 миллиардов параметров; модель работает в текстовой модальности. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию, а также совместим с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Сильными сторонами являются возможность локального запуска на CPU и GPU, поддержка множества инструментов инференса и наличие нескольких вариантов квантизации. Ограничения включают зависимость характеристик от выбранного уровня квантизации; сведения о размере контекста, точных архитектурных деталях и качестве на конкретных задачах в README не указаны. Модель распространяется по лицензии Llama 2.

Dampfinchen/Llama-3.1-8B-Ultra-Instruct — объединённая разговорная языковая модель на архитектуре Llama 3.1, созданная автором репозитория с помощью mergekit и метода DARE TIES. В основе объединения лежит NousResearch/Meta-Llama-3.1-8B; также использованы Llama-3.1-Storm-8B, llama3.1-airoboros3.2-QDT-8B, llama3.1-gutenberg-8B и Llama-3.1-8B-Stheno-v3.4. Модель предназначена для диалоговой генерации текста и выполнения инструкций с шаблоном Llama 3 Instruct. Она содержит 7,5 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. В карточке приведены результаты оценки, включая 80,81 балла на IFEval (0-shot), однако подробные выводы о качестве для отдельных сценариев из этих данных сделать нельзя. Модель распространяется по лицензии Llama 3.1. Автор рекомендует использовать её с осторожностью; применяются условия и ограничения лицензии исходного семейства.