II.4Отладка, тестирование и качество ПО

YOYO-AI/Qwen2.5-14B-YOYO — объединённая 14-миллиардная языковая модель на архитектуре Qwen2 для генерации текста и диалогов. Автор карточки описывает её как слияние, созданное с помощью mergekit методом DELLA на основе Qwen/Qwen2.5-14B с добавлением Qwen/Qwen2.5-14B-instruct. Модель предназначена для генерации ответов в чате и других сценариев, где требуется продолжать или создавать текст. Она поддерживает контекст до 131 072 токенов и распространяется в формате safetensors для Transformers. В метаданных также указаны интерфейсы чата и вызова инструментов. Карточка не уточняет поддерживаемые естественные языки, сравнительное качество или ограничения в конкретных сценариях. Лицензия в предоставленных данных не указана.

Qwen3-14B-MLX-4bit — это 4-битная версия языковой модели Qwen3-14B, разработанная Qwen и преобразованная сообществом lmstudio-community в формат MLX с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и запуска локальных сценариев на устройствах, совместимых с MLX, включая применение через библиотеку mlx-lm. Модель основана на Qwen/Qwen3-14B и содержит 14 миллиардов параметров. Она относится к моделям text-generation и поддерживает работу с текстовыми запросами; в README не указаны точные языки, длина контекста, дополнительные модальности или подробности архитектуры. При наличии chat template модель может использоваться в формате диалога с ролями пользователя и ассистента. Ключевые преимущества — компактное 4-битное представление, адаптация к экосистеме MLX и возможность локального запуска через стандартные инструменты mlx-lm. Ограничения связаны с потерями качества, возможными для квантизированной версии, а также с отсутствием в README подробных данных о производительности, поддерживаемых языках и требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-32B-MLX-8bit — языковая модель для генерации текста, представленная сообществом lmstudio-community и созданная на основе Qwen/Qwen3-32B. Модель преобразована в формат MLX с использованием mlx-lm версии 0.24.0 и предназначена для запуска и генерации текста в экосистеме MLX, в том числе через библиотеку mlx-lm с поддержкой чат-шаблона, если он задан в токенизаторе. Ключевые характеристики модели — размер базовой модели 32B параметров, 8-битное представление и специализация на текстовой генерации. Формат MLX ориентирован на использование в совместимой среде, однако README не содержит сведений о поддерживаемых языках, длине контекста, архитектуре, мультимодальности, производительности и ограничениях. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Thinking-2507-MLX-4bit — это 4-битно квантованная версия языковой модели Qwen3-4B-Thinking-2507, подготовленная для запуска на устройствах Apple Silicon. Исходную модель разработала команда Qwen, а квантование в формате MLX предоставила команда LM Studio с использованием mlx_lm. Модель предназначена для генерации текста и задач, требующих рассуждений, включая работу в локальных приложениях на базе LM Studio и других совместимых инструментов MLX. В README указано, что это модель класса text-generation с размером 4B параметров; она оптимизирована для Apple Silicon и использует 4-битное представление, что снижает требования к памяти по сравнению с полной версией. Сведения о поддерживаемых языках, максимальной длине контекста и мультимодальных возможностях не приведены, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся локальный запуск на совместимых компьютерах Apple и уменьшенное потребление памяти благодаря квантованию. Ограничения включают возможную потерю качества относительно исходной модели, зависимость производительности от оборудования и отсутствие гарантии точности, безопасности или соответствия результатов задаче. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-V2-abliterated-uncensored-Q4_K_M-GGUF — мультимодальная модель семейства Qwen, выпущенная Lemura Labs. Она основана на Qwen/Qwen3.6-27B и производной Jackrong/Qwopus3.6-27B-v2, дополнительно обработанной методом abliteration для снижения количества отказов. Модель предназначена для генерации текста, диалогов, рассуждений и работы с изображениями совместно с текстовыми запросами. Модель содержит около 27 млрд параметров и распространяется в формате GGUF с 4-битной квантизацией Q4_K_M и эффективной плотностью около 4,92 BPW. Размер языковой части составляет примерно 15,4 ГБ, а комплектный визуальный проектор mmproj.gguf занимает около 928 МБ и сохраняет vision tower Qwen3.6-VL. Поддерживаются английский, китайский и, согласно карточке, мультиязычные сценарии. Для запуска рекомендуется llama.cpp; ориентировочные требования составляют от 16 ГБ GPU или 24 ГБ оперативной памяти на Apple Silicon. К сильным сторонам относятся мультимодальность, совместимость со стандартными сборками llama.cpp, относительно компактный размер для модели такого класса и существенно сниженная частота отказов: 4 из 100 против 91 из 100 у исходной версии в указанном тесте. При этом Q4_K_M уступает более точным вариантам по сохранению исходных характеристик, а для обработки изображений требуется отдельный mmproj.gguf. Показатели отказов и сохранения возможностей приведены разработчиком и могут зависеть от методики оценки; абляция защитных механизмов также может повышать риски небезопасного или нежелательного использования. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GGUF — это общественная квантованная сборка базовой модели Qwen/Qwen3.8-27B, подготовленная сообществом bowmanslayer для запуска через llama.cpp. Это неофициальный релиз, не одобренный и не связанный с командой Qwen или Alibaba Cloud. Модель предназначена прежде всего для генерации текста, локального инференса и сценариев, где важны большой контекст и работа на одной видеокарте. Лицензия артефакта — Apache-2.0. Основные веса представлены в формате GGUF с importance-matrix-квантизацией, доступны варианты от Q3_K_M до Q8_0. В зависимости от варианта требуется примерно от 14 до 26,6 ГиБ памяти; для одной видеокарты на 24 ГиБ автор рекомендует Q4_K_M для скорости или Q6_K для качества, а для 16 ГиБ — IQ4_XS. Модель имеет гибридную архитектуру: из 64 слоёв только 16 используют полноценное attention, остальные 48 используют Gated DeltaNet, благодаря чему снижается расход KV-кэша и поддерживается контекст до примерно 111 872 токенов для Q4_K_M на RTX 3090. Точные характеристики исходной модели, включая языки и число параметров, в README дополнительно не раскрыты, однако название указывает на класс 27B. Мультимодальный режим с изображениями поддерживается через отдельный файл mmproj размером около 0,9 ГиБ; он позволяет, например, описывать изображения, но специализированные Qwen3-VL-модели должны быть лучше для плотного OCR и подсчёта небольших объектов. Также доступен отдельный MTP-файл для speculative decoding, который на CUDA в приведённом тесте увеличивал скорость генерации до 36 процентов при определённой настройке. Ограничения включают компромисс между качеством, скоростью и объёмом памяти при выборе квантизации, заметное замедление IQ4_XS по сравнению с Q4_K_M и слабую эффективность MTP на Vulkan. Для работы требуются совместимые сборки llama.cpp; режим draft-mtp поддерживается начиная со сборки b10502.

gjtgjt создал abliteration-версию Qwen/Qwen3.8-27B с помощью Heretic v1.4.0. Это доработка готовых весов, а не новое предобучение или SFT: изменена часть проекций языковых слоёв, тогда как токенизатор, шаблон чата, визуальный энкодер и блок MTP сохранены. Модель использует плотную гибридную архитектуру Qwen3.5 с 64 языковыми слоями: 48 Gated DeltaNet и 16 Gated Attention. Она принимает текст и изображения и предназначена для диалогов, анализа изображений и многошаговых запросов; описание базовой модели также указывает на поддержку видео и программирования. Языковые теги карточки — английский и китайский. Изменение направлено на снижение шаблонных отказов на английских запросах. В приведённой оценке число маркеров отказа на 100 вредоносных запросов снизилось с 98 у базовой модели до 27; KL-дивергенция на 100 безвредных запросах составила 0,0446. Это не гарантия безопасности и не подтверждение качества на других языках или модальностях. Для режима без рассуждений README рекомендует передавать enable_thinking=False. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Opus-Distill-GGUF — квантованная мультимодальная модель, разработанная barozp на базе Qwen3.8-27B. Исходная модель дообучена с помощью LoRA на 14 250 трассах рассуждений Claude Opus; адаптеры объединены с базовыми весами. Модель распространяется в формате GGUF для запуска через llama.cpp и предназначена для текстовых и визуально-текстовых задач, включая ответы на вопросы, анализ изображений и задачи, требующие рассуждений. Модель содержит 27 млрд параметров, встроенную vision tower и обученную MTP-голову для self-speculative decoding. Vision tower поставляется отдельно в виде файла mmproj размером около 0,9 ГБ. Доступны варианты от BF16 и Q8_0 до крайне низкоразрядных IQ-квантов; Q4_K_M рекомендован как сбалансированный вариант. Для IQ-квантов используется importance matrix, рассчитанная на данных рассуждений. Точные сведения о поддерживаемых языках и размере контекста в README не указаны. Сильной стороной является улучшение показателей на задачах рассуждений: в описанном тестировании прирост относительно базовой модели составил 4,2 процентного пункта на ARC-Challenge и 26 пунктов на GPQA Diamond, при почти неизменных показателях общих знаний и языкового моделирования. Производительность MTP для этой конкретной модели не измерялась, поэтому приведённые оценки ускорения относятся к родственному Qwen3.6 и не гарантируют такой же результат. Известна проблема с зацикливанием рассуждений при одновременном использовании ограничений «без прозы» и другого ограничения формата; рекомендуется избегать такой комбинации или увеличить лимит генерации. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями требуется отдельный файл mmproj; текстовые сценарии могут использовать модель без него.

Qwen 3.8 27B ROCmFP4 FAST — это квантизированная GGUF-версия модели Qwen 3.8 27B, разработанной командой Qwen и адаптированной пользователем julianmb. Модель предназначена для генерации текста и оптимизирована прежде всего для AMD Strix Halo с графикой Radeon 8060S, а также дискретных AMD Radeon GPU, использующих ROCm или Vulkan. Модель имеет плотную архитектуру с 27 млрд параметров и представлена в формате ROCmFP4 с эффективной точностью 4,26 бит на вес и размером файла около 13,55 GiB. Заявлены поддерживаемые языки английский и китайский. Версия ориентирована на ускоренное авторегрессионное декодирование и может использовать speculative decoding с MTP; на Ryzen AI Max+ 395 указана скорость до 36,04 токена в секунду, при устойчивом MTP-декодировании K=4 — 33,80 токена в секунду. Без спекулятивного декодирования измеренная скорость составляет 14,02 токена в секунду. Сильные стороны модели — сниженное потребление памяти, оптимизация под оборудование AMD и высокая скорость генерации при сохранении заявленного качества, близкого к исходной модели. Дополнительно описана экспериментальная гибридная NPU-акселерация AMD XDNA 2 для уменьшения задержки выдачи первого токена на длинных запросах, но она не повышает устойчивую скорость декодирования. Реальная производительность зависит от GPU, драйверов, конфигурации MTP и программного окружения, поэтому приведённые показатели нельзя считать универсальными. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-4B — текстовая причинно-следственная модель на 4 млрд параметров, разработанная Empero. Это полное дообучение Qwen/Qwen3.5-4B методом дистилляции: модель обучали на примерно 45 тысячах отобранных трасс рассуждений более крупной модели учителя, включая математику, общие рассуждения и следование инструкциям. Модель предназначена для диалогов, решения математических задач, рассуждений и выполнения инструкций; она также поддерживает вызов инструментов в формате Qwen3.5. Контекст составляет 262 144 токена. Весам в формате bf16 требуется около 8 ГБ памяти, а квантованные варианты позволяют запускать модель на ноутбуках и потребительских видеокартах. Карточка сообщает об улучшении результата на MMLU относительно базовой модели, но о снижении на GSM8K. Модель принимает текст и ориентирована на текстовую генерацию. Возможности зрения унаследованы от мультимодальной базовой архитектуры, однако дообучение было текстовым, а зрительные способности не оценивались. Для запуска нужен свежий Transformers с поддержкой Qwen3.5; без специализированных CUDA-ядер некоторые слои работают медленно и потребляют больше памяти. При длинной генерации возможны циклы повторений, особенно при жадном декодировании. Лицензия — Apache-2.0; веса предоставлены «как есть» для исследований и экспериментов.

Qwen3-8B-Base-SFT-R-64 — базовый чекпойнт размером 7,6 млрд параметров, подготовленный David6995 как общая основа для доменных экспертных моделей семейства Qwen3-8B. Это плотная авторегрессионная языковая модель архитектуры Qwen3ForCausalLM; репозиторий содержит полные веса BF16, конфигурацию и токенизатор в формате safetensors. Модель работает с текстом, поддерживает чатовый интерфейс и интерфейс вызова инструментов, а её родной контекст составляет 65 536 токенов. Чекпойнт предназначен для использования как общая база при создании или применении доменных экспертов Qwen3-8B и для генерации текста. Указана лицензия Apache-2.0. README не приводит сведений о конкретных доменах экспертов или оценках качества этой версии.

Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.

bartowski/Qwen_Qwen3-14B-GGUF — набор GGUF-квантизаций базовой языковой модели Qwen3-14B, разработанной командой Qwen. Квантизации выполнены bartowski с использованием llama.cpp версии b5200 и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Доступны варианты от исходных весов BF16 размером 29,54 ГБ до сильно сжатых форматов объёмом около 5,32 ГБ, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS, Q3- и Q2-варианты. Более крупные квантизации обычно обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но заметно уступают по качеству. Для диалогового режима в README указан шаблон с ролями system, user и assistant. README не содержит сведений об архитектурных деталях, поддерживаемых языках, длине контекста, мультимодальности или лицензии. Условия использования необходимо уточнять по документации исходной модели Qwen/Qwen3-14B и репозиторию квантизаций.

Qwen_Qwen3-4B-Thinking-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Thinking-2507, разработанной Qwen. Квантизацию выполнил bartowski с использованием llama.cpp версии b6096 и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 4B параметров и ориентирована на сценарии, требующие локального текстового вывода при ограниченных ресурсах. Доступны варианты от BF16 до Q2 и различные форматы квантизации; рекомендованными названы, в частности, Q4_K_M, Q5_K_M, Q6_K и Q6_K_L. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти, тогда как низкие уменьшают размер за счёт качества. Для работы используется шаблон промпта с секциями system, user и assistant, включающей тег <think>. Сильными сторонами являются локальный запуск, широкий выбор размеров файлов и оптимизация imatrix-квантизаций под llama.cpp. Ограничения связаны с потерей качества в более агрессивно сжатых вариантах, а также с тем, что в предоставленной карточке не указаны контекстное окно, поддерживаемые языки, точная архитектура, модальности и лицензия исходной модели или квантов. Условия распространения следует уточнять на странице оригинальной модели Qwen/Qwen3-4B-Thinking-2507.

Rombo-LLM-V2.7-gemma-2-9b — языковая модель Rombo-Org на 9 млрд параметров, основанная на Google Gemma 2 9B Instruct. По описанию, в модели объединены предварительно обученная и инструктивно настроенная версии Gemma 2 9B. Она предназначена для дальнейшего дообучения и генерации текста, в том числе в диалоговом режиме. Модель использует плотную архитектуру Gemma 2, формат safetensors и контекст до 8192 токенов. Модель можно применять для диалогов, ответов на вопросы и генерации текста; базовая Gemma 2 Instruct также описана как подходящая для суммаризации. В README не приведены результаты оценки качества или сведения о поддерживаемых языках, поэтому их нельзя подтвердить. Указана лицензия Gemma; условия её использования определяются этой лицензией.

RWKV7-G1i-1.5B-20260805 — базовая предварительно обученная языковая модель архитектуры RWKV-7, разработанная Бо Пэном, Ю Чжаном, Сонглином Яном, Жуйчуном Чжаном и Чжиюанем Ли при поддержке RWKV Project под эгидой LF AI & Data Foundation. Модель содержит 1,5 млрд параметров и использует рекуррентную архитектуру без attention: состояние фиксированного размера и вычисления на каждый генерируемый токен постоянны, при этом обучение допускает параллелизацию. Для работы применяется формат flash-linear attention и токенизатор RWKV World с размером словаря 65 536 токенов. Модель предварительно обучена на веб-текстах, коде, синтетических данных, инструкциях, чатах и материалах для рассуждений. Она предназначена для генерации текста, оценки, последующего обучения и тонкой настройки; шаблон чата задаёт формат промпта, но сам по себе не означает, что модель является безопасным или согласованным ассистентом. Метаданные каталога указывают контекст 2048 токенов и поддержку английского, китайского, японского, корейского, французского, арабского, испанского и португальского языков. Лицензия — Apache-2.0.

Карточка модели JetLM/SDAR-1.7B-Chat-b32 на Hugging Face совпадает с карточкой JetLM/SDAR-8B-Chat-b32, поэтому описание составлено по ней. JetLM/SDAR-8B-Chat-b32 — чат-модель семейства SDAR, разработанная авторами SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая обеспечивает эффективное обучение, а диффузионный подход позволяет генерировать токены параллельно. В репозитории указана плотная архитектура SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации текста; в карточке также заявлен интерфейс вызова инструментов. Авторы сообщают о сопоставимой с сильными авторегрессионными моделями общей производительности и преимуществах в некоторых научных задачах рассуждения для моделей SDAR того же масштаба. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Языки и отдельные результаты именно этой версии в карточке не приведены.

Карточка модели JetLM/SDAR-4B-Chat-b16 на Hugging Face совпадает с карточкой JetLM/SDAR-8B-Chat-b32, поэтому описание составлено по ней. JetLM/SDAR-8B-Chat-b32 — чат-модель семейства SDAR, разработанная авторами SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая обеспечивает эффективное обучение, а диффузионный подход позволяет генерировать токены параллельно. В репозитории указана плотная архитектура SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации текста; в карточке также заявлен интерфейс вызова инструментов. Авторы сообщают о сопоставимой с сильными авторегрессионными моделями общей производительности и преимуществах в некоторых научных задачах рассуждения для моделей SDAR того же масштаба. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Языки и отдельные результаты именно этой версии в карточке не приведены.

Карточка модели JetLM/SDAR-4B-Chat-b64 на Hugging Face совпадает с карточкой JetLM/SDAR-8B-Chat-b32, поэтому описание составлено по ней. JetLM/SDAR-8B-Chat-b32 — чат-модель семейства SDAR, разработанная авторами SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая обеспечивает эффективное обучение, а диффузионный подход позволяет генерировать токены параллельно. В репозитории указана плотная архитектура SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации текста; в карточке также заявлен интерфейс вызова инструментов. Авторы сообщают о сопоставимой с сильными авторегрессионными моделями общей производительности и преимуществах в некоторых научных задачах рассуждения для моделей SDAR того же масштаба. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Языки и отдельные результаты именно этой версии в карточке не приведены.

Steelskull_L3.3-Electra-R1-70b-GGUF — это квантизированная версия языковой модели L3.3-Electra-R1-70b, разработанной Steelskull и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 70 миллиардов параметров и поддерживает текстовый сценарий работы. В README приведён специальный шаблон запросов с системными и пользовательскими сообщениями, совместимый с форматом токенов модели. Доступны варианты квантизации Q2–Q8 и IQ, размером примерно от 27 до 75 ГБ; для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K. Квантизация выполнена с использованием imatrix и датасета, указанного автором сборки. Сильной стороной являются высокое качество крупных вариантов квантизации и возможность локального запуска без обращения к облачным сервисам. Ограничения включают значительные требования к оперативной памяти или видеопамяти, а также возможное снижение качества в компактных вариантах. Языки, размер контекста, точная архитектура, мультимодальные возможности и результаты оценки в README не указаны. Лицензия модели также не указана, поэтому условия использования следует уточнять в репозитории исходной модели.

T3qm7xNeuralsirkrishna_Experiment28Inex12 — объединённая языковая модель семейства Mistral, созданная на основе automerger/T3qm7xNeuralsirkrishna-7B и automerger/Experiment28Inex12-7B. Она содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и распространяется в формате safetensors. Модель предназначена для генерации текста и диалогов по текстовым запросам. Контекстное окно составляет до 32 768 токенов, что позволяет учитывать длинные входные тексты в пределах этого лимита. В метаданных указана лицензия Apache-2.0.

TriMistral-7B-MODELSTOCK — объединённая чат-модель на архитектуре Mistral, созданная с помощью LazyMergekit из HuggingFaceH4/zephyr-7b-beta, NousResearch/Hermes-2-Pro-Mistral-7B и instructlab/merlinite-7b-lab. В README указан метод объединения model_stock, а базовой моделью конфигурации названа Zephyr-7B-β. Модель содержит 7,1 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоге, ответов на вопросы и выполнения пользовательских инструкций. README приводит результаты оценки на наборах AI2 Reasoning Challenge и HellaSwag. Метаданные и карточка не подтверждают поддержку конкретных языков, поэтому языки не перечислены. Модель распространяется по лицензии Apache-2.0.

Vesemir 1.5B — небольшая языковая модель семейства Cirilla, разработанная AnthonyPa57. Это плотная авторегрессионная модель на 1,5 млрд параметров с архитектурой VesemirForCausalLM; она совместима с Transformers и рассчитана на контекст до 8192 токенов. В архитектуре используются Differential Attention, Grouped-Query Attention и блоки SwiGLU с предварительной нормализацией RMSNorm. Модель обучалась с нуля на польских и английских текстах, затем прошла дообучение на инструкциях, примерах RAG и Python, переводах и DPO-данных. Её можно применять для диалогов, генерации и продолжения текста, ответов на инструкции, перевода, задач по Python и работы с контекстом документов. Поддерживаются английский и польский языки; репозиторий содержит веса Safetensors в формате BF16. Автор отмечает, что обучение проводилось на сравнительно небольшом объёме данных и модель следует рассматривать как основу для дальнейшей разработки. Для загрузки через AutoModelForCausalLM и AutoTokenizer требуется trust_remote_code=True. Лицензия — MIT.

Yi-1.5-34B-Chat-GGUF — это набор GGUF-квантизаций чат-модели Yi-1.5-34B-Chat, разработанной организацией 01.AI и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp версии b2854 с использованием метода imatrix и набора данных Kalomaze. Модель предназначена для генерации текста в диалоговом формате и локального запуска через совместимые инструменты, включая llama.cpp. Модель содержит около 34 миллиардов параметров; README не указывает точную архитектуру, поддерживаемые языки, размер контекстного окна или дополнительные модальности, поэтому подтверждённые характеристики ограничиваются текстовой генерацией. Доступны варианты от Q8_0 до IQ1_S размером примерно от 7,49 до 36,54 ГБ. Квантизации Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-варианты отмечены как рекомендуемые за сочетание качества и экономии памяти, тогда как самые компактные варианты обеспечивают существенно более низкое качество. Сильная сторона набора — широкий выбор уровней квантизации, позволяющий адаптировать модель к доступному объёму памяти; наиболее качественные варианты близки к исходной модели, а некоторые компактные варианты сохраняют приемлемую работоспособность при ограниченных ресурсах. Ограничения связаны с потерями качества при сильной квантизации и необходимостью использовать корректный шаблон промпта Yi-1.5-34B-Chat. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-9B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi-1.5-9B-Chat, разработанной 01.AI. Модель распространяется в формате GGUF для использования с llama.cpp; квантизацию выполнил bartowski с применением imatrix и набора данных Kalomaze. Модель предназначена для генерации текста и ведения диалогов, включая сценарии локального запуска при ограниченных ресурсах. В репозитории представлены варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3_K, IQ3, Q2 и IQ1 с размером файлов примерно от 2,01 до 9,38 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти; Q6_K, Q5_K и Q4_K обозначены как рекомендуемые, тогда как IQ1 и некоторые варианты с низким битрейтом имеют существенно более низкое качество. Поддерживаются текстовые диалоги с указанным форматом промпта. Сведения о точной архитектуре, языках и размере контекста в README не приведены. Лицензия — Apache-2.0. Для работы требуется совместимое программное обеспечение, например llama.cpp, а выбор конкретного файла зависит от доступной памяти и допустимого компромисса между качеством и размером модели.

fiveflow/8b_128 — генеративная языковая модель, опубликованная пользователем fiveflow на Hugging Face. По метаданным она относится к семейству Qwen3, предназначена для генерации текста и поддерживает conversational-сценарии.

Albatross-8B-Instruct — диалоговая языковая модель на архитектуре Llama, созданная автором репозитория слиянием нескольких моделей через TIES в mergekit. В слияние вошли NousResearch/Hermes-3-Llama-3.1-8B, unsloth/Meta-Llama-3.1-8B-Instruct и qingy2024/NaturalLM3-8B-Instruct-v0.1; в качестве базовой модели указана unsloth/Meta-Llama-3.1-8B. Модель содержит 7,5 млрд параметров, использует формат safetensors и библиотеку Transformers, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста в диалоге и выполнения инструкций; метаданные также указывают интерфейс вызова инструментов. Карточка не приводит результатов оценки качества или подробного описания языкового охвата, поэтому её сильные стороны в конкретных задачах и практическую надёжность нельзя оценить по имеющимся данным. Лицензия в предоставленных данных не указана.

GLM-4-32B-Base-32K-GGUF — это квантизированная версия базовой языковой модели GLM-4-32B-Base-32K, разработанной arcee-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с форматом GGUF, включая llama.cpp и LM Studio. Модель имеет размер 32 млрд параметров и поддерживает контекст до 32 000 токенов. В карточке указаны китайский и английский языки. Доступны варианты от BF16 и Q8_0 до более компактных Q2–Q6 и IQ-квантизаций, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Более компактные варианты подходят для систем с ограниченной оперативной памятью, но могут заметно уступать по качеству версиям с высокой точностью. Модель является базовой, поэтому её поведение в диалогах и форматирование ответов могут требовать самостоятельной настройки промптов; готовый формат промпта в README не указан. Для запуска необходима совместимая среда и объём памяти, соответствующий выбранному файлу: размер вариантов варьируется примерно от 13,66 до 65,14 ГБ. Лицензия модели — MIT.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-GGUF — мультимодальная модель в формате GGUF, созданная автором Genesis на основе HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive с переносом данных из Hermes-файнтюна DJLougen/hermes-qwen3.5-35b-a3b-GGUF. Модель ориентирована на диалоговые сценарии, агентские задачи, следование инструкциям и function calling; в карточке также заявлена поддержка обработки изображений и текста. Заявленная архитектура — MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров. Указаны английский, китайский и другие языки, однако точный перечень языков и размер контекстного окна не приведены. Автор применил собственный метод Genesis для численной коррекции весов GGUF без дополнительного обучения, включая анализ тензоров, восстановление нулевых блоков и снижение шума с использованием кастомного SVD и распределения Марченко—Пастура. К сильным сторонам относятся заявленные улучшения стабильности, ясности контекста, следования инструкциям и агентского поведения, а также отсутствие ограничений на отказы в базовой модели по внутреннему тесту автора. Ограничения включают отсутствие независимых бенчмарков и подробных результатов оценки, а также необходимость корректной настройки MoE, GPU offload и KV-cache. В карточке указана лицензия Apache-2.0; совместимость с лицензиями базовой модели и компонентов следует дополнительно проверить.

BreezePipe-7B-merge — объединённая языковая модель, собранная автором Heng666 из MediaTek-Research/Breeze-7B-Instruct-v0.1 и Azure99/blossom-v4-mistral-7b с помощью LazyMergekit. В конфигурации используется метод passthrough: слои 0–31 взяты из Breeze, а слои 24–31 — из blossom-v4-mistral-7b. Модель основана на архитектуре Mistral и содержит 8,9 млрд параметров. Она предназначена для генерации текста; контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.