II.4Отладка, тестирование и качество ПО

ProCreations_grug-27b-GGUF — это GGUF-квантизация модели grug-27b, разработанной ProCreations. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; базовая модель связана с датасетами ProCreations/grug-think-v3-10k и ProCreations/grug-think. Модель ориентирована на задачи рассуждений, экономного использования токенов, агентских сценариев и работы с инструментами. В карточке также указана модальность image-text-to-text и поддержка английского языка. Модель содержит 27 миллиардов параметров. Доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные форматы. Высококачественные варианты обеспечивают близкое к исходной модели качество, а менее точные требуют меньше оперативной памяти и подходят для локального запуска на ограниченных ресурсах. Файлы предназначены для использования с llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другими совместимыми инструментами. В README не указаны архитектура исходной модели, размер контекстного окна, точные мультимодальные возможности и результаты бенчмарков, поэтому их нельзя оценить по имеющимся данным. Для работы требуется приложение с поддержкой соответствующей модели и формата prompt; в качестве лицензии указана Apache-2.0.

unsloth/Qwen3-0.6B-GGUF — GGUF-версия языковой модели Qwen3-0.6B, разработанной командой Qwen от Alibaba Cloud и подготовленной Unsloth. Это авторегрессионная causal language model с 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding, и 28 слоями. Модель предназначена для локального запуска и интеграции с llama.cpp, Ollama и совместимыми интерфейсами, а также для дообучения и экспорта в различные форматы. Модель поддерживает переключение между режимами thinking и non-thinking: первый ориентирован на сложные задачи рассуждения, математику и программирование, второй — на более эффективный общий диалог. Заявлены возможности instruction following, многошагового диалога, генерации кода, творческого письма, ролевого взаимодействия и работы с внешними инструментами. Контекстное окно составляет 32 768 токенов, используется Grouped Query Attention с 16 головами для Q и 8 для KV. Qwen3 заявляет поддержку более 100 языков и диалектов, однако в метаданных этой карточки указан язык en. К сильным сторонам относятся компактный размер, поддержка двух режимов рассуждения, задачи агентного взаимодействия и мультиязычность. Ограничения, конкретные результаты бенчмарков, требования к оборудованию и показатели производительности для этой версии в README не приведены; из-за малого размера модели её качество следует проверять на целевых задачах. Карточка указывает лицензию Apache-2.0.

Qwen3.5-40B-Claude-4.5-Opus-High-Reasoning-Thinking — плотная мультимодальная модель на 40 млрд параметров от DavidAU, созданная расширением Qwen3.5-27B и дообученная на датасете TeichAI/claude-4.5-opus-high-reasoning-250x. Она рассчитана на диалоги с рассуждениями, творческое и художественное письмо, генерацию кода, анализ изображений и работу с инструментами. В README заявлен контекст 256 тысяч токенов, режим с переменной длиной рассуждений и исправленный шаблон чата для снижения повторов и циклов. Карточка описывает примеры генерации рассказов, включая хоррор, и сообщает, что обработка изображений и генерация кода проверялись автором. Модель ориентирована на английский и китайский языки; формат репозитория — Safetensors, библиотека — Transformers. Автор рекомендует для инструментальных вызовов квантизации не ниже Q6, но доступные метаданные указывают формат Safetensors. Лицензия — Apache-2.0. README отмечает, что на низких квантизациях или недостаточно содержательных запросах возможны циклы и повторы; качество и результаты бенчмарков независимо не подтверждены.

Qwen3.5-9B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING-MAX-NEOCODE-Imatrix-GGUF — GGUF-квантизированная доработанная версия плотной модели Qwen3.5-9B, разработанная DavidAU. Модель дообучена с использованием Unsloth на наборах данных Claude-4.6-OS и дополнена матрицами DI-MATRIX на основе наборов NEO и NEO-CODE, улучшениями тензоров Unsloth и пользовательским шаблоном Jinja для стабилизации работы и снижения избыточного «обдумывания». Лицензия — Apache-2.0. Модель предназначена для широкого спектра текстовых задач, включая рассуждения, генерацию и продолжение художественных текстов, создание сюжетов и подсюжетов, ролевые сценарии, диалоги и работу с различными жанрами. Заявлена поддержка английского и китайского языков. Модель позиционируется как uncensored и heretic-вариант с существенно сниженным числом отказов; при этом для получения особенно грубого или откровенного стиля иногда требуются дополнительные указания в запросе. Контекст по умолчанию заявлен до 256K токенов. Поддержка изображений протестирована и заявлена как рабочая, но для неё требуется отдельный файл mmproj, размещённый вместе с GGUF; видеовозможности не тестировались. В README приведены результаты тестов на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где версия показывает более высокие значения, чем указанная базовая версия Qwen3.5-9B в режиме thinking, однако результаты зависят от квантизации и настроек запуска. Для работы рекомендуется использовать совместимый рантайм GGUF; автор также указывает специальные параметры сглаживания и рекомендуемые варианты квантизации, поэтому итоговое качество и поведение зависят от программного окружения.

rico03/Qwen3.8-27B-Claude-Opus-Reasoning-Distilled-GGUF — набор GGUF-квантизаций модели, разработанный пользователем rico03 на базе Qwen/Qwen3.8-27B. Модель дообучена методом LoRA с использованием Unsloth и дистиллирована на рассуждениях и ответах Claude Opus 4.6/4.7. Лицензия — Apache-2.0. Модель предназначена для генерации текста и задач, требующих развитого пошагового рассуждения. Она использует плотную архитектуру на 27 млрд параметров с гибридным сочетанием полной и линейной attention-механики Gated DeltaNet, а также Multi-Token Prediction (MTP) head. Базовая Qwen3.8-27B является мультимодальной vision-language моделью, однако дообучение затрагивало только текстовый путь; зрительная часть сохранена без изменений. В README заявлен английский язык, размер контекста не указан. Доступны варианты от F16 до Q4_K_M, что позволяет выбирать между качеством, размером и требованиями к памяти. MTP поддерживает само-спекулятивное декодирование и, по приведённым замерам на H100 NVL, может ускорять генерацию примерно в 1,6 раза без изменения распределения выходов. Ограничения модели включают неполностью скомпоновавшееся дообучение: это проверочный запуск на 150 шагах, а не полностью сходимая fine-tune-версия. Кроме того, значительная часть обучающих рассуждений была реконструирована отдельной моделью, а не взята из внутреннего процесса Claude Opus. Для работы требуется свежая сборка llama.cpp с поддержкой гибридной архитектуры Gated DeltaNet и MTP; старые версии могут не загрузить модель корректно.

dbirks/Qwen3.8-27B-NVFP4-AutoRound — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная с помощью Intel AutoRound и упакованная в формате compressed-tensors для развертывания через vLLM. Модель предназначена для генерации и обработки текста, а также сохраняет архитектурные компоненты исходной мультимодальной модели, включая vision tower, хотя квантизация применяется только к языковому декодеру. В основе лежит гибридная архитектура из 64 слоёв: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания, с поддержкой контекста до 262 тысяч токенов. Основная часть линейных слоёв языкового декодера сжата до NVFP4 W4A4: квантизируются веса и входные активации с группами размера 16. Проекции управления рекуррентностью, vision tower, MTP head и lm_head оставлены в BF16 для сохранения качества. Модель поддерживает английский язык; размер файла составляет около 20,6 ГБ против примерно 52 ГБ у BF16-версии. Сильная сторона модели — существенное снижение требований к памяти при сохранении качества, близкого к базовой BF16-модели: в приведённых тестах результаты GSM8K, HumanEval и MMLU-Pro находятся в пределах доверительных интервалов базовой версии. Модель в первую очередь рассчитана на GPU NVIDIA Blackwell с поддержкой FP4 tensor cores (SM100/SM120). На Ada и Hopper полноценного ускорения нет, возможен откат к более медленному режиму Marlin; для таких GPU рекомендуется родственная W4A16-версия. Лицензия — Apache-2.0.

DavidAU представил Qwen3-MOE-4x0.6B-2.4B-Writing-Thunder-V1.2 — компактную текстовую MoE-модель общего назначения на базе четырёх моделей Qwen3 по 0,6 млрд параметров, объединённых в структуру с 1,54 млрд параметров. Она предназначена для быстрой генерации текста, творческого письма, диалогов, ролевых сценариев, программирования и других общих задач; автор отмечает улучшения в кодировании относительно предыдущих версий. Модель поддерживает контекст до 40 960 токенов и режим рассуждений; в MoE по умолчанию активны два эксперта, а для сложного кода автор рекомендует повышать их число и использовать более точное представление весов. В метаданных указаны архитектура Qwen3 MoE, формат safetensors и лицензия Apache-2.0. Карточка также перечисляет слияние базовой Qwen3-0.6B с кодовой, математической и медицинской экспертными моделями. README предупреждает, что ответы могут заметно различаться между генерациями при одинаковых настройках; для программирования и сложных задач рекомендуются Q8 или полная точность. Автор модели — DavidAU; исходные модели созданы их соответствующими авторами и командой Qwen.

JetLM/SDAR-8B-Chat — разговорная языковая модель семейства SDAR, разработанная авторами проекта SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая поддерживает эффективное обучение, а диффузионная позволяет выполнять параллельный вывод. Модель предназначена для диалогов и генерации текста; в метаданных также отмечен интерфейс вызова инструментов. Модель имеет плотную архитектуру SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Карточка сообщает о сопоставимой с сильными авторегрессионными моделями общей производительности и о преимуществах на сложных задачах научного рассуждения для SDAR в целом; эти утверждения не следует считать отдельной оценкой именно версии 8B-Chat. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0.

Verbatim-RAG Extractor — англоязычный классификатор токенов от KRLabsOrg для выделения в тексте фрагментов, которые прямо отвечают на вопрос. Модель дообучена на базе Alibaba-NLP/gte-reranker-modernbert-base и использует архитектуру ModernBERT; она содержит около 149 млн параметров и поддерживает контекст до 8192 токенов. Модель принимает вопрос и текстовый контекст, оценивает токены контекста как доказательные или недоказательные, а затем объединяет подходящие токены в фрагменты с символьными границами и оценками. Её можно использовать после поиска или переранжирования документов в RAG-системе, чтобы показывать пользователю подтверждающие цитаты или передавать их генеративной модели. Обучающий набор охватывает научные тексты, вопросы и ответы из разных областей, финансовые таблицы, юридические и медицинские материалы, руководства и выводы инструментов для программирования. В описанных авторами оценках модель превзошла публичные базовые экстракторы по Word-F1 на четырёх срезах, включая QASPER, который не входил в обучающую смесь. Это не гарантирует такого же качества на произвольных данных: модель рассчитана на английский язык, выделяет текстовые фрагменты и может пропускать нужные доказательства либо выбирать лишний текст. Выпускается в формате safetensors под лицензией Apache-2.0.

Fidel 1.1 — компактная текстовая авторегрессионная модель от 4E-AI для локальной генерации текста и диалогов. Вариант репозитория содержит веса SafeTensors, токенизатор и реализацию для Transformers; лицензия Apache-2.0 разрешает использование, изменение и распространение на её условиях. Архитектура сочетает восемь блоков Mamba3 MIMO с блоком внимания и латентной смесью экспертов: в каждом блоке маршрутизация выбирает два эксперта из шестнадцати. Метаданные указывают около 498,6 млн параметров, тогда как README сообщает примерно 1,403 млрд элементов с учётом весов и буферов; обозначение 1B относится к семейству модели. Модель принимает текст, поддерживает шаблон чата и включает компоненты для задач программирования. Заявленный предел совокупного ввода и вывода — 8192 токена. Модель предназначена для локальных чат-интерфейсов, генерации и дополнения кода, а также для экспериментов с черновиками, перефразированием, суммаризацией и ответами по переданным текстам. Авторы описывают эти сценарии как направления для самостоятельной проверки, а не гарантии качества. Включённая реализация рассчитана на Transformers и PyTorch; генерация повторно обрабатывает полный префикс без кеширования, поэтому длинные диалоги требуют больше вычислений. Указаны ограничения на точность, батчинг с дополнением, распределение по нескольким устройствам и альтернативные движки обслуживания; ответы и код могут быть ошибочными.

QuantFactory/gemma-2-9b-it-GGUF — это квантизированная версия текстовой instruction-tuned модели google/gemma-2-9b-it, созданная QuantFactory с использованием llama.cpp. Базовая модель разработана Google и относится к семейству Gemma, созданному на основе исследований и технологий Gemini. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, суммирование, рассуждения и другие задачи обработки текста. Это decoder-only языковая модель формата text-to-text, рассчитанная на работу с английским языком. Квантизация в формате GGUF может упростить локальный запуск и снизить требования к ресурсам по сравнению с исходными весами, включая использование на пользовательском компьютере или собственной облачной инфраструктуре. В названии базовой модели указано 9 миллиардов параметров, однако точный формат квантизации и контекстное окно этой версии в README не уточняются. Модель работает только с текстом; сведения о поддержке других модальностей отсутствуют. К сильным сторонам относятся относительно компактный размер семейства Gemma и instruction tuning, а ограничения включают англоязычную специализацию и возможное снижение точности из-за квантизации. Лицензия указана как gemma; условия использования приведены в Terms of Use Google.

ThomasBaruzier/gemma-2-9b-it-GGUF — это набор GGUF-квантизаций инструкционно дообученной текстовой модели Gemma 2 9B IT, первоначально разработанной Google. Квантизации созданы с помощью llama.cpp и метода imatrix на основе калибровочного файла Bartowski; исходная модель — google/gemma-2-9b-it. Модель представляет собой decoder-only большую языковую модель для генерации и преобразования текста. Она предназначена для диалогов, ответов на вопросы, суммаризации, рассуждений и других задач текстовой генерации на английском языке. Доступны варианты с разными уровнями квантизации и размером примерно от 2,3 до 17,6 ГБ: от IQ1_S и IQ1_M до Q8_0 и F16. Более компактные варианты требуют меньше ресурсов, но могут сильнее терять качество; по приведённой таблице варианты Q4–Q8 близки к F16 по измеренным показателям perplexity и accuracy. Сильная сторона набора — возможность запускать Gemma 2 9B IT локально или на инфраструктуре с ограниченными ресурсами через llama.cpp, выбирая компромисс между размером и качеством. README не содержит сведений о длине контекста, точной архитектуре, поддерживаемых модальностях кроме текста или полном наборе языков; указано только, что модель доступна на английском языке. Использование регулируется лицензией Gemma от Google; для доступа к модели на Hugging Face требуется принять условия этой лицензии.

GLM-5.3-Flash-NVFP4 — это квантизированная версия модели GLM-5.3-Flash от zai-org, опубликованная пользователем tattrongvu. Модель предназначена для генерации текста, рассуждений и работы с изображениями и текстом; в карточке она классифицирована как image-text-to-text. Это reasoning-модель, рассчитанная на серверное применение с SGLang и распределённым инференсом на нескольких GPU. В основе используется MoE-архитектура с 45 основными слоями и одним дополнительным multi-token-prediction слоем. Маршрутизируемые эксперты MoE в слоях 3–45 сжаты методом NVFP4: веса представлены в 4-битном формате с группами по 16 элементов, тогда как активации остаются в bf16. В bf16 также сохранены механизмы внимания, маршрутизатор, общие эксперты, некоторые плотные MLP-слои, embeddings, lm_head и вся vision tower. Размер весов уменьшен с 328,4 до 194,6 ГБ. Данные о поддерживаемых языках и размере контекстного окна в карточке не указаны. Сильная сторона модели — значительное сокращение объёма весов при сохранении близкой к пределу формата точности реконструкции, а также единая схема квантизации всех routed experts, включая MTP-слой. В приведённых тестах модель показала 72,64% на bfcl_v4, 77% на aa_lcr и 97,62% на завершённых задачах aime26; результаты зависят от лимита генерации, настроек оценки и не являются прямым сравнением с опубликованными результатами базовой модели. Ограничения включают очень высокие требования к памяти и необходимость совместимого стека инференса; для SGLang требуется специальный образ и параметр modelopt_fp4, а поддержка vLLM в карточке обозначена как ожидаемая, но не проверенная. Лицензия — MIT.

Это текстовый контрольный пункт Gemma 4 26B A4B, структурно сокращённый автором jayzou3773 методом Less-is-MoE. В модели удалено 50% нейронов FFN маршрутизируемых экспертов; при подготовке использовались 128 калибровочных примеров и настройки последовательности длиной 8192 токена. Оптимизационных шагов не выполнялось, веса сохранены в BF16. Контрольный пункт содержит языковую башню causal language model без визуальной башни, поэтому предназначен для генерации текста, а не для обработки изображений. Модель подходит для текстовой генерации на базе Gemma 4, например для диалогов, рассуждений и программирования, унаследованных от базовой модели. В метаданных указаны 2 млрд параметров и нативный контекст 262144 токена; эти значения описывают контрольный пункт в каталоге, тогда как README сообщает о последовательности калибровки длиной 8192 токена. Лицензия — Apache-2.0. README не приводит оценок качества после структурного сокращения, поэтому фактическую сохранность возможностей базовой модели следует проверять на целевых задачах.

Ling-3.0-flash REAP288 — экспериментальная версия разговорной гибридной MoE-модели Ling-3.0-flash, опубликованная bloomer010 на основе inclusionAI/Ling-3.0-flash. В ней оставлено 288 из 512 маршрутизируемых экспертов на слой; README указывает 73 млрд параметров всего и 5,1 млрд активных, тогда как метаданные каталога указывают 3,5 млрд параметров. Модель предназначена для генерации текста в диалоговом формате; базовая Ling-3.0-flash также позиционируется для программирования и многошаговых агентных задач. Эксперты отбирались методом REAP по оценке, учитывающей значение маршрутизатора и норму выхода на калибровочных данных объёмом 1 млн токенов. После удаления экспертов не проводились дообучение или восстановительное обучение. Модель работает с контекстом до 262 144 токенов, распространяется в BF16 Safetensors и использует архитектуру BailingMoeV3; для загрузки требуется trust_remote_code=True и пользовательский код bailing_hybrid. README называет модель исследовательским артефактом и экспериментальной REAP-версией. Лицензия в предоставленных данных не указана. Ключевое ограничение — эксперты удалены без последующего обучения для восстановления качества, поэтому характеристики базовой модели нельзя автоматически переносить на эту версию; приведённые в README и метаданных размеры параметров также расходятся.

TheBloke/Llama-2-7B-Chat-GPTQ — это квантизированная версия диалоговой языковой модели Llama 2 7B Chat, разработанной Meta, подготовленная TheBloke в формате GPTQ. Модель предназначена для генерации текста и ведения диалогов: ответов на вопросы, помощи пользователю и других сценариев, где требуется текстовый ассистент. Для работы рекомендуется использовать шаблон промпта Llama-2-Chat с системными инструкциями и пользовательским запросом. Модель основана на архитектуре Llama и содержит 7 миллиардов параметров. Она работает с текстом, поддерживает английский язык и рассчитана прежде всего на GPU-инференс. В репозитории доступны варианты с разными параметрами квантизации GPTQ, включая разрядность, размер групп, порядок активаций и другие настройки; конкретные варианты позволяют выбирать компромисс между требованиями к VRAM и точностью. Некоторые файлы совместимы с ExLlama, который поддерживает Llama-модели в 4-битном формате. К сильным сторонам относятся сниженные требования к памяти по сравнению с полноразмерной версией и наличие нескольких вариантов квантизации для различного оборудования. Ограничения связаны с потерями точности, возможными при квантизации, отсутствием мультимодальности и тем, что модель не предназначена для генерации фактически гарантированно достоверных ответов. Модель распространяется по лицензии Llama 2; её использование регулируется условиями лицензии Meta Llama 2.

Llama-3.1-Minitron-4B-Width-Base — базовая текстовая языковая модель NVIDIA для генерации текста и последующей адаптации под задачи обработки естественного языка. Это авторегрессионный трансформер-декодер семейства Llama 3.1 с 3,9 млрд параметров, 32 слоями, Grouped-Query Attention и RoPE. Модель получена сокращением размерностей Llama-3.1-8B с последующим продолженным обучением и дистилляцией на 94 млрд токенов. Модель принимает текст и генерирует текст. Обучающий корпус включал английские и многоязычные тексты, а также код; среди тематик данных были право, математика, наука и финансы. Контекст модели — до 131 072 токенов по метаданным, хотя в README отмечено, что она хорошо работает с входами длиной до 8 000 символов. Модель предназначена для коммерческого использования; лицензия указана как other, поэтому перед внедрением следует проверить применимые условия NVIDIA. Это базовая, а не готовая к диалогу инструкционная модель: для прикладных сценариев может потребоваться дообучение или настройка промптов. Модель может выдавать неточные, неполные, нерелевантные или повторяющиеся ответы, а также воспроизводить токсичность и смещения, присутствующие в обучающих данных.

Merge-Mixtral-Prometheus-8x7B — языковая модель для генерации текста и диалогов, созданная объединением моделей prometheus-eval/prometheus-8x7b-v2.0 и mistralai/Mixtral-8x7B-Instruct-v0.1 с помощью LazyMergekit. Для слияния использован линейный метод с равными весами; архитектура Mixtral — модель типа Mixture of Experts с классом MixtralForCausalLM. Репозиторий содержит веса в формате safetensors. Модель подходит для генерации ответов на запросы и диалогового взаимодействия, а также может применяться для оценивания ответов в сценариях, связанных с Prometheus. Заявленная длина контекста составляет 32 768 токенов, размер — 7,1 млрд параметров. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH. Лицензия — Apache-2.0.

Meta-Llama-3-12B — плотная языковая модель семейства Llama, опубликованная mlabonne. Это экспериментальная сборка из пяти диапазонов слоёв одной и той же NousResearch/Meta-Llama-3-8B с помощью LazyMergekit и метода passthrough; метаданные указывают около 11 млрд параметров, архитектуру LlamaForCausalLM и формат safetensors. Модель предназначена для генерации текста, включая диалоговые сценарии и код, на основе текстовых запросов. В карточке указано контекстное окно 8192 токена; базовая модель ориентирована на английский текст и код. Лицензия обозначена как other, поэтому условия использования следует проверять в репозитории модели и у правообладателя базовой модели. Поскольку исходные диапазоны берутся из одной модели, README не подтверждает прирост качества от этой сборки.

elias2515/odysseus-Qwen2.5-Coder-7B-16bit — дообученная разговорная языковая модель на архитектуре Qwen2, предназначенная для генерации текста. В основе лежит unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель содержит 7,1 млрд параметров, имеет контекст длиной до 32 768 токенов и распространяется в формате safetensors. Карточка указывает английский язык. Лицензия — Apache-2.0. Данных о конкретных наборах обучения, качестве на задачах и дополнительных ограничениях в карточке нет.

Open-Instruct Unnatural Instructions 7B — языковая модель семейства LLaMA, дообученная Allen Institute for AI на наборе Unnatural Instructions для следования инструкциям и генерации текста. Это модельный diff: для её использования требуется исходная модель LLaMA в формате Hugging Face, а инструкция по применению предполагает заданный формат входных данных. Модель имеет плотную архитектуру LlamaForCausalLM и около 6,6 млрд параметров. Она принимает текст и генерирует текст, поддерживает английский язык и рассчитана на контекст до 2048 токенов. В карточке приведены результаты тестирования на задачах вопросов и ответов, математики, рассуждений, программирования и следования инструкциям. Модель распространяется по лицензии AI Model License вместе с исходной лицензией LLaMA. Результаты в карточке показывают ограничения на ряде тестов, в частности на математических задачах и ответах на вопросы без контекста; качество зависит от соблюдения обучающего формата ввода.

AtomicChat/Ornith-1.5-9B-GGUF — набор GGUF-сборок модели Ornith-1.5-9B, разработанной ornith-ai и конвертированной и протестированной командой AtomicChat. Модель предназначена для локального запуска через llama.cpp, диалоговых сценариев, работы с изображениями и задач, связанных с агентным программированием. Поддержка изображений обеспечивается отдельным vision projector; для текстового режима проектор можно не использовать. Это модель примерно на 9 млрд параметров, доступная в вариантах от BF16 до низкобитных квантований. Размер файлов составляет примерно от 2,81 до 17,9 ГБ, а вариант vision projector занимает около 0,92 ГБ. Для запуска с изображениями рекомендуется учитывать также дополнительное потребление памяти; в README приведены ориентиры для контекста 8K. Языки и точное устройство базовой архитектуры в карточке не указаны. Сильная сторона сборок — наличие вариантов под видеопамять от 4 до 24 ГБ и специализированных importance-aware квантований AD, которые на некоторых уровнях дают лучшее соотношение размера и точности, чем стандартные пресеты llama.cpp. В частности, AD-Q5_K-Q4_K показывает 93,10% совпадения следующего токена с BF16-эталоном, тогда как самые агрессивные варианты существенно снижают качество: у AD-IQ2_XXS-IQ1_M совпадение составляет 53,74%. Поэтому малые файлы опубликованы главным образом для совместимости, а не как рекомендуемые варианты. Распространение указано под лицензией MIT. Для работы с изображениями требуется совместимый vision projector, а запуск зависит от llama.cpp и доступного объёма памяти.

unsloth/Qwen2.5-0.5B-Instruct-bnb-4bit — это 4-битная версия instruction-tuned языковой модели Qwen2.5-0.5B-Instruct, подготовленная Unsloth на базе модели Qwen, разработанной Alibaba Cloud. Она предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, работы со структурированными данными и форматами вывода, включая JSON, а также для задач программирования и математики. Модель является каузальной языковой моделью с архитектурой Transformers, RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, 24 слоя и использует Grouped Query Attention: 14 голов для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество версии bnb-4bit — сниженное потребление памяти благодаря 4-битному представлению, что упрощает запуск и дообучение модели на ограниченных GPU-ресурсах. Небольшой размер делает её подходящей для локального использования и ресурсоограниченных приложений, однако по возможностям и качеству ответов она уступает более крупным моделям. README не содержит подробных результатов оценки именно этой 4-битной версии. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-MOE-2X7B-DeepSeek-Abliterated-UNCensored-19B-gguf — текстовая generative-модель от DavidAU, основанная на архитектуре Qwen2.5 MOE и объединяющая два 7B-компонента DeepSeek/Qwen 2.5: обычный и abliterated (в основном uncensored) варианты. За счёт shared expert итоговый размер составляет немного более 19 млрд параметров. Модель распространяется в формате GGUF и предназначена для генерации текста. Модель ориентирована на универсальное применение: рассуждения и «thinking», решение математических и логических задач, мозговой штурм, ответы на вопросы, создание историй, сюжетов и другого художественного текста. Она поддерживает английский и китайский языки, имеет контекстное окно 128k токенов и, по описанию автора, особенно склонна к математическим, логическим и научным задачам. Архитектура MOE обеспечивает необычное поведение и потенциально более сильное рассуждение по сравнению с отдельной 7B-моделью, но модель не обязательно превосходит полноценные 14B- или 32B-модели. К сильным сторонам относятся широкий диапазон рабочих температур, способность сохранять рассуждение при различных настройках sampling и сочетание reasoning с творческой генерацией. Ограничения включают возможное появление китайских символов при англоязычных запросах, нестабильность рассуждений на высоких температурах и заметную вариативность ответов; для сложных задач может потребоваться несколько генераций или разбиение задачи на этапы. Для корректной работы требуется использовать встроенный Jinja Template, предпочтительно DeepSeek Tokenizer; рекомендуются контекст от 8k токенов и квантизации IQ4/Q4 или выше. Модель распространяется по лицензии Apache-2.0.

llmfan46/Qwen3.5-40B-Claude-4.5-Opus-High-Reasoning-Thinking-uncensored-heretic-GGUF — GGUF-квантизация модели, разработанная независимым автором llmfan46 на базе llmfan46/Qwen3.5-40B-Claude-4.5-Opus-High-Reasoning-Thinking-uncensored-heretic. В README также указано использование набора данных TeichAI/claude-4.5-opus-high-reasoning-250x. Точные сведения о методе обучения и конкретных параметрах квантизации не приведены. Модель предназначена для диалогов, программирования, творческого письма, генерации и продолжения сюжетов, ролевых сценариев, а также работы с различными жанрами художественного текста. Заявлены английский и китайский языки. Модель относится к reasoning-моделям: по умолчанию она использует режим пошагового рассуждения с токенами <think>, при этом поддерживается instruct-режим без рассуждений через настройку chat template или параметров инференса. В README заявлена мультимодальная архитектура Qwen3.5 с поддержкой текста, изображений и видео, а pipeline обозначен как image-text-to-text. Указанный размер — 40B параметров. Среди сильных сторон заявлены высокое качество рассуждений, творческого письма и сниженное количество отказов по сравнению с исходной моделью. Ограничения включают отсутствие данных о размере контекстного окна, системных требованиях, точных характеристиках GGUF-файлов и результатах независимого тестирования; режим с уменьшенными отказами также может повышать риски небезопасной генерации. Лицензия указана как Apache-2.0.

Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored-NM-DAU-NEO-MTP-GGUF — крупная fine-tune-модель на базе Qwen3.8 27B, разработанная DavidAU. Она создана с применением многоэтапного обучения и слияния моделей, включая методы Cold Fusion и Fable Fusion, и выпущена в форматах GGUF, включая обычные и MTP-квантизации. Заявлены поддерживаемые языки English и Chinese; метаданные также указывают на сценарий image-text-to-text, однако подробности мультимодальных возможностей в README не приведены. Модель ориентирована на широкий круг задач: рассуждение, решение задач, программирование, творческое письмо, создание художественных текстов и ролевые сценарии. Заявлены пять режимов reasoning и пять instruct-режимов, которые можно переключать через API или непосредственно в сообщениях; instruct-режимы используют ноль reasoning-токенов. Ключевая особенность версии TWIN-TURBO — сокращение объёма рассуждений и расхода токенов по сравнению с базовой Qwen3.8 27B при сохранении детализации, по утверждению автора. Доступны как минимум 4-битные и 8-битные варианты, рассчитанные на запуск на потребительском оборудовании. Сильными сторонами заявлены высокая производительность, сниженное потребление токенов, развитые способности к рассуждению и генерации художественных текстов, а также strongly uncensored-поведение. При этом заявления о превосходстве над другими моделями и результаты benchmark-промежуточного показателя Arc-C приведены автором README и не подтверждены независимыми данными. Ограничения включают возможную специфику сильно нецензурированной настройки, различия качества между квантизациями и отсутствие подробностей о размере контекста, точной архитектуре, системных требованиях и мультимодальном вводе. Лицензия — Apache-2.0.

ZeroXClem-Qwen3-8B-HoneyBadger-EXP — экспериментальное слияние моделей на архитектуре Qwen3, созданное командой ZeroXClem методом model_stock с помощью MergeKit. Модель содержит 7,6 млрд параметров, работает с текстом и рассчитана на контекст до 40 960 токенов. В основе слияния лежат Qwen3-совместимые модели, включая AXCXEPT/Qwen3-EZO-8B-beta, KaraKaraWitch/CavesOfQwen3-8b, YOYO-AI/Qwen3-8B-YOYO и другие. Модель предназначена для диалогов, следования инструкциям, рассуждений, ролевых бесед и историй, а также понимания и генерации кода. README заявляет поддержку структурированных ответов, включая JSON, Markdown и LaTeX, и рекомендует шаблон чата Qwen3 либо Ollama Modelfile для инференса. Основной язык по карточке — английский; подтверждённая лицензия — Apache-2.0. Это ранний экспериментальный прототип, который, по предупреждению автора, не готов к производственному применению и может выдавать невыравненные или нефильтрованные ответы. Качество и безопасность результатов не гарантируются.

Reka-Flash-3-21B-Reasoning-Uncensored-MAX-NEO-Imatrix-GGUF — текстовая reasoning-модель на базе RekaAI/reka-flash-3, опубликованная DavidAU. Она предназначена для локального текстового общения, решения задач и рассуждений, генерации и продолжения художественных текстов, ролевых сценариев, мозгового штурма и общего использования. Модель заявлена как uncensored и поддерживает function calling, однако подробности реализации этих возможностей в README не приведены. Модель имеет размер 21B параметров, работает в формате GGUF и рассчитана на контекст до 128k токенов. Доступен ряд квантованных вариантов от IQ1 до Q8; варианты с более высокой точностью обычно обеспечивают более качественные и быстрые рассуждения, но требуют больше памяти и вычислительных ресурсов. Варианты дополнительно обработаны с использованием NEO Imatrix и сохраняют BF16 для выходного тензора, что, согласно README, должно улучшать следование инструкциям, качество ответов и эффективность рассуждений. Для работы используются теги <reasoning> и </reasoning>, а системный промпт не является обязательным. Сильными сторонами заявлены стабильное рассуждение при разных значениях температуры, способность не зацикливаться и высокая эффективность оптимизированных квантов. При этом качество рассуждений напрямую зависит от выбранного уровня квантования: IQ1 ограничивает reasoning, а для сложных задач рекомендуются IQ3 и выше, особенно IQ4 или Q5–Q8. Низкие кванты требуют меньше ресурсов, но могут заметно уступать по качеству и скорости. Заявленный язык — английский. Модель распространяется по лицензии Apache-2.0.

RWKV/RWKV7-G1k-2.9B-20260930 — официальная базовая языковая модель RWKV-7 Goose от BlinkDL в формате для Transformers. Это плотная авторегрессионная модель примерно на 3,1 млрд параметров, предварительно обученная на веб-текстах, коде, синтетических, инструкционных, диалоговых и reasoning-данных. Она предназначена для оценки, дальнейшего дообучения и генерации текста; шаблон чата задаёт формат промпта, но сам по себе не означает, что модель выровнена для безопасного поведения. Архитектура RWKV-7 использует рекуррентное состояние постоянного размера вместо механизма внимания и KV-кэша, поэтому объём состояния не растёт с длиной генерации, а вычисления на токен остаются постоянными; обучение можно распараллеливать. Модель принимает текст и генерирует текст. Карточка и теги указывают поддержку английского, китайского, французского, испанского, немецкого, португальского, русского, итальянского, японского, корейского, вьетнамского и арабского языков. Веса доступны в safetensors, лицензия — Apache-2.0. Качество следования инструкциям и поведение на разных языках зависят от чекпойнта, промптинга и последующего обучения. Модель не заявлена как проверенная на безопасность, предвзятость, токсичность, фактическую точность или применение в критически важных сценариях. Спекулятивное декодирование с откатом рекуррентного кэша не поддерживается без сохранения снимков состояния; оптимизированный запуск зависит от оборудования и конфигурации.

Speechless Mistral Dolphin Orca Platypus Samantha 7B — это языковая модель для генерации текста на основе архитектуры Mistral с примерно 7 млрд параметров. Исходную модель разработал Jiangwen Su, а данный репозиторий подготовлен TheBloke и содержит её квантизированные версии в формате GGUF. Модель обучалась на наборах данных Airoboros 2.2.1, OpenOrca, Open-Platypus и Samantha. Модель предназначена для текстового диалога, ответов на вопросы, следования инструкциям и других сценариев генерации текста. Также заявлена ориентация на задачи, связанные с кодом; в метаданных приведён результат pass@1 34,146% на HumanEval, однако он не подтверждён. Указан английский язык. Для взаимодействия используется шаблон ChatML с системным сообщением, запросом пользователя и ответом ассистента. GGUF-версии поддерживаются llama.cpp и рядом совместимых интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие, что делает модель пригодной для локального запуска на CPU и GPU. Доступны варианты квантизации от 2 до 8 бит: меньшая разрядность обычно снижает требования к памяти, но может ухудшать качество по сравнению с исходной моделью. Сведения о размере контекста и мультимодальных возможностях не указаны; модель предназначена для работы с текстом. Лицензия указана как Llama 2.