II.4Отладка, тестирование и качество ПО

enacimie/Qwen3-4B-Q4_K_M-GGUF — это квантизированная версия модели Qwen3-4B, преобразованная в формат GGUF с использованием llama.cpp через сервис GGUF-my-repo. Исходная модель разработана командой Qwen, а данный репозиторий предназначен для запуска в экосистеме llama.cpp. Модель относится к классу text-generation и работает с текстовыми входными и выходными данными. Ключевая характеристика этой версии — квантизация Q4_K_M, уменьшающая требования к памяти по сравнению с полноразмерной моделью. Размер базовой модели составляет 4B параметров. Модель можно использовать локально через llama-cli или llama-server, в том числе для генерации текста и развёртывания локального сервера inference. В README приведён пример контекста длиной 2048 токенов, однако максимальный размер контекста, поддерживаемые языки и подробности архитектуры не указаны. Лицензия — Apache-2.0.

Sequelbox Qwen3-4B-Thinking-2507-DAG-Reasoning — экспериментальная специализированная языковая модель Sequelbox, созданная дообучением Qwen/Qwen3-4B-Thinking-2507. Она генерирует текст и предназначена для причинного анализа: выявляет связи между факторами, оценивает уверенность и формирует результат в виде структурированного ориентированного ациклического графа (DAG), представленного в JSON. Модель использует плотную архитектуру Qwen3ForCausalLM, содержит 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. Модель подходит для анализа причин и следствий в программировании, науке, бизнесе, экономике, финансах, праве, логистике и управлении, а также для подготовки графов к визуализации или дальнейшей обработке. Для получения структурированного DAG следует явно запросить граф или анализ; модель также может ответить в обычном стиле Qwen3. Карточка описывает её как ранний экспериментальный выпуск и рекомендует проверять структуру выходных данных перед продуктивным использованием. Доступна по лицензии Apache-2.0.

Qwen3.5-122B-A10B-REAP-20-abliterated-GGUF — это набор GGUF-квантизаций разреженной MoE-модели, созданный Robinson Labs на основе 0xSero/Qwen3.5-99B, которая, в свою очередь, получена из Qwen/Qwen3.5-122B-A10B. Из исходной модели удалено около 20% экспертов: сохранено 205 из 256, что уменьшило общий размер примерно со 122B до 99B параметров при сохранении бюджета около 10B активных параметров. Модель предназначена для генерации текста и запуска в совместимом программном обеспечении, включая llama.cpp. Архитектура — qwen35moe, модель содержит 48 слоёв и использует стандартное предсказание одного токена без Multi-Token Prediction (MTP/NextN). Доступны варианты GGUF с квантованием от Q6_K до IQ2_XS, с размером файлов примерно от 81,3 до 29,5 ГБ; квантизация выполнена с использованием importance-matrix на общем калибровочном наборе. Языки, размер контекстного окна и поддерживаемые модальности в README не указаны. Модель сохраняет основные возможности исходной архитектуры при меньшем числе экспертов, а вариант REAP-20 должен иметь больше ёмкости и больший размер, чем REAP-30. Дополнительно выполнена abliteratation — ортогонализация весов для снижения жёстких отказов на запросы для взрослого и творческого контента; защитные ограничения против самоповреждения и содействия реальным противоправным действиям, согласно описанию, сохранены. Это не универсальная модель для всех аудиторий, а крупная по требованиям к памяти система, причём качество зависит от выбранного уровня квантования. Лицензия — Apache-2.0, унаследованная от базовой модели.

Avesed/Qwen3.6-35B-A3B-INT8-W8A8 — квантизированная версия Qwen/Qwen3.6-35B-A3B, разработанная на базе модели Qwen. Это гибридная Mixture-of-Experts-модель для генерации текста, рассчитанная прежде всего на англоязычные и китайскоязычные сценарии. Архитектура включает 256 экспертов с выбором 8 экспертов на токен и примерно 3 млрд активных параметров, GatedDeltaNet для линейного внимания, vision tower и MTP head, однако назначение и характеристики визуальных возможностей в карточке подробно не описаны. Квантизация выполнена в формате INT8 W8A8: веса экспертных FFN преобразованы в симметричный INT8 по каналам, а активации квантизуются динамически для каждого токена. Чувствительные к качеству компоненты, включая self-attention, маршрутизатор, shared expert, GatedDeltaNet, lm_head, embeddings, vision tower и MTP head, сохранены в формате bfloat16. По заявлению автора, такая схема обеспечивает почти отсутствие потерь качества и предназначена для более эффективного развертывания модели. Модель поддерживается сервером vLLM с INT8 MoE-путём и рассчитана на видеокарты Ampere с архитектурами sm_80 и sm_86; в примере запуска используется tensor parallelism на двух устройствах. Ограничения включают отсутствие в README данных о размере контекста, точном общем числе параметров, поддерживаемых визуальных задачах и результатах тестирования именно этой версии. Лицензия — Apache-2.0.

Mercor дообучила Qwen3.6-35B-A3B методом постобучения с подкреплением на готовых наборах данных APEX-Agents. Это мультимодальная модель семейства Qwen3.5 MoE для диалогов и анализа изображений; заявленная карточка Hugging Face задача — image-text-to-text. Модель доступна в формате Safetensors и рассчитана на применение через Transformers. Постобучение ориентировано на агентные сценарии и задачи, связанные с профессиональной работой со знаниями. Базовая модель описана как модель с 35 млрд параметров для диалогов, агентного программирования и анализа изображений; данных о длине контекста и поддерживаемых языках в предоставленных источниках нет. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Q5_K_M-GGUF — это квантованная версия модели Qwen3.6-35B-A3B, разработанная сообществом Qwen и преобразованная пользователем Abiray в формат GGUF с помощью llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании и в средах с высокой нагрузкой на CPU, включая сценарии использования через llama.cpp. Вариант использует квантование Q5_K_M, обеспечивающее компромисс между качеством и размером файла. Базовая модель имеет архитектуру Mixture-of-Experts и обозначение 35B-A3B, однако в README не приведены подробности о числе экспертов, активных параметрах, размере контекста, поддерживаемых языках и точных модальностях. Метаданные указывают на сценарий image-text-to-text, но дополнительных сведений о работе с изображениями нет. Сильная сторона этой версии — баланс качества и требований к ресурсам по сравнению с менее или более сильно квантованными вариантами. Ограничения связаны с потерями качества, характерными для квантования, а также с отсутствием в README данных о производительности, совместимости и рекомендуемых ресурсах. Модель распространяется по лицензии Apache-2.0.

TheDrainFlorist/Qwen3.6-35B-A3B-VQ-5.4bpw — векторно-квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen, адаптированная для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста, а также обработки изображений при использовании совместимого MLX-VLM. Она поддерживает загрузку через mlx-lm и mlx-vlm; для мультимодального режима требуется mlx-vlm версии 0.6.16 или новее. Размер сборки составляет 22,2 GiB, поэтому она рассчитана примерно на машины с 32 ГБ памяти. В модели используется uniform vector quantization: экспертные тензоры квантизуются с геометрией d=2, K=1024, а неэкспертные тензоры представлены в 8-битном формате. В README не указаны размер контекстного окна и полный список поддерживаемых языков; в метаданных заявлен английский язык. Для запуска требуется runtime из файла model.py и загрузчик, поддерживающий параметр model_file. По сравнению с исходной bf16-версией модель существенно экономит память, сохраняя более высокое качество, чем 4-битная сборка: расхождение по KL составляет 28,1 millinats на токен, а совпадение top-1 предсказаний с bf16-версией — 92,22%. При этом runtime-производительность на этой конкретной сборке не измерялась, а качество немного ниже bf16-оригинала. Модель распространяется по лицензии Apache-2.0.

amd/Qwen3.8-2.4T-A95B-Quark-MXFP4 — текстовая языковая модель на архитектуре Qwen3_5MoeForCausalLM, разработанная на базе Qwen/Qwen3.8-2.4T-A95B-FP8 и подготовленная Advanced Micro Devices, Inc. с использованием AMD-Quark 0.12. Модель принимает текст и генерирует текст; в метаданных указан английский язык. Размер контекста и полный перечень поддерживаемых языков не указаны. Модель предназначена для инференса и задач генерации текста, включая математические рассуждения и оценивание на бенчмарках. Квантованию подвергнуты routed experts: веса используют статическое представление OCP MXFP4, а активации — динамическое OCP MXFP4. Для запуска заявлена поддержка AMD MI350 и MI355 под Linux с ROCm 7.2.0 и PyTorch 2.12.0; рекомендованные движки инференса — SGLang и vLLM. На GSM8K модель получила точность 97,49%, полностью сохранив результат исходной FP8-модели по приведённому сравнению. Ограничения включают зависимость от указанного оборудования и программного стека, а также отсутствие в README сведений о результатах на других задачах, контекстном окне, детальных возможностях мультиязычной работы и лицензии исходной модели. Указано, что модификации защищены авторским правом Advanced Micro Devices, Inc. (2026), но отдельные условия лицензии в README не приведены.

Qwen3.8-27B-GGUF-4.2BPW-16GB — это квантованная версия плотной языковой модели Qwen3.8-27B, разработанной командой Qwen. Сборка опубликована пользователем hitsfmdj и создана с использованием Omenator AI. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama или LM Studio, особенно на видеокартах с 16 ГБ VRAM. Модель поставляется в формате GGUF с importance-weighted смешанной точностью и эффективной точностью 4,189 бит на вес. Все 27 млрд параметров сохранены: параметры не удалялись и не подвергались дистилляции, а точность перераспределялась между тензорами с учётом их важности. Размер файла составляет 11,88 ГБ, заявленный базовой моделью контекст — 262 144 токена. Сборка рассчитана на полное размещение в памяти одной 16-гигабайтной GPU без выгрузки слоёв на CPU. Ключевое преимущество — возможность запускать 27B-модель на видеокартах класса 16 ГБ с сохранением VRAM для KV-кэша; на эталонной системе заявлена скорость декодирования 12,77 токена в секунду. Оценка потери качества составляет около 2,6% относительно почти без потерь, но основана только на perplexity и KL-divergence при отборе квантования и не подтверждена полноценным набором downstream-бенчмарков. Реальная скорость и доступный контекст зависят от оборудования, backend и настроек KV-кэша. Базовая модель и квантованная сборка распространяются по лицензии Apache-2.0; для базовой модели действуют соответствующие условия лицензии. Языки и специализированные возможности исходной Qwen3.8-27B в README не указаны.

TheWegemann/Qwen3.8-27B-LowGPU-uncensored-NoMTP-IQ3XXXS-GGUF — это квантованная GGUF-версия 27-миллиардной модели Qwen3.8, подготовленная TheWegemann на основе аблитерированной и «uncensored» модели OrcaRouter Qwen3.8-27B-Uncensored, восходящей к официальной Qwen/Qwen3.8-27B. Модель предназначена для локального запуска через llama.cpp, включая агентские сценарии, задачи рассуждения и работу с изображениями при наличии совместимого vision-проектора. Модель использует гибридную архитектуру с блоками Gated DeltaNet и линейным вниманием, чередующимися с блоками полного внимания; всего заявлено 64 слоя. Это custom per-tensor mixed-precision квантование с 498 назначениями типов, собственной importance matrix и удалённой MTP-головой для снижения потребления памяти. Размер файла составляет около 9,3 ГБ. Сборка ориентирована на GPU с 12 ГБ VRAM: она тестировалась на NVIDIA RTX 4070 с полным GPU offload, контекстом до 64 000 токенов, Q4_0 KV-кэшем, Flash Attention и F16 vision-проектором. Поддерживаемые языки в README не указаны. Сильная сторона модели — сочетание крупного размера, агрессивной оптимизации памяти и возможности полностью разместить модель на GPU с 12 ГБ VRAM, сохранив большой контекст и мультимодальный сценарий. Ограничения включают зависимость от версии llama.cpp, драйверов и настроек запуска, а также возможное увеличение требований к памяти; конфигурации с менее чем 12 ГБ VRAM и CPU offload находятся вне целевого сценария. Модель унаследовала сниженные защитные механизмы исходного аблитерированного чекпойнта: квантование их не восстанавливает, поэтому при развёртывании необходимы собственные меры модерации и контроля доступа. Лицензия — Apache 2.0.

MiawTeam/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, разработанный MiawTeam на базе Qwen/Qwen3.8-27B и предназначенный для запуска через llama.cpp. Модель ориентирована на генерацию текста, включая диалоги, работу с английским и китайским языками, а при наличии vision tower в базовой модели — обработку изображений. Доступны варианты IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также конфигурации со встроенной или отдельной MTP-головой для speculative decoding. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, контекстом до 262 144 токенов и одной MTP-головой. Веса были обработаны методом abliteration с помощью Heretic для существенного снижения отказов без дополнительного обучения и без использования новых данных; при этом базовые возможности, обучающие данные и архитектура заявлены как сохранённые. MTP-тензоры проверены после конвертации и квантизации, а imatrix рассчитана непосредственно из F16-весов. Сильные стороны — большой контекст, поддержка текстовой и потенциально визуальной модальности, несколько уровней квантизации и возможность ускорения генерации за счёт speculative decoding. Ограничения включают зависимость производительности от оборудования и настроек draft decoding, потенциальное небольшое снижение acceptance rate для черновой головы, а также то, что снижение отказов не является полным. В сравнении с базовой моделью среднее изменение результатов на указанных 0-shot тестах составило около −0,5 и находится в пределах или около стандартной ошибки измерений. Распространение указано по лицензии Apache-2.0.

Qwen3-Next-80B-A3B-Thinking r22 — экспериментальный чекпойнт на базе Qwen/Qwen3-Next-80B-A3B-Thinking. В карточке указано, что это MoE-модель с маршрутизируемыми экспертами, усреднённо хранящимися при 2,0161 бита; остальные веса — BF16. Метаданные указывают 2,3 млрд параметров, контекст до 262 144 токенов и библиотеку Transformers. Веса представлены в safetensors и загружены в деквантованном виде в BF16-тензоры; заявлена совместимость со стандартными Transformers и vLLM. Модель предназначена для генерации текста и диалогового использования, включая сложные рассуждения и вызов инструментов через соответствующий интерфейс. Русский язык карточкой не заявлен, поэтому языковая поддержка здесь не уточняется. Чекпойнт помечен как внутренний исследовательский; лицензия наследуется от базовой модели.

Qwen1.5-32B-Chat GGUF — набор квантизированных версий диалоговой языковой модели Qwen/Qwen1.5-32B-Chat, разработанный сообществом Featherless AI Quants. Модель предназначена для генерации текста и ведения диалогов; формат GGUF подходит для локального запуска и совместимых инструментов инференса, поддерживающих этот формат. В набор входят варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Размеры файлов или наборов файлов составляют примерно от 11,7 до 33,0 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Модель относится к текстовой модальности; сведения о языках, архитектуре, размере контекста, результатах оценки и конкретных сценариях применения в README не указаны. Сильной стороной является наличие нескольких уровней квантизации для адаптации запуска под доступные аппаратные ресурсы. Ограничения включают значительные требования к памяти даже для наиболее компактных вариантов, а также возможные потери качества из-за квантизации. Лицензия в представленном README не указана.

Qwen3-4B-Instruct-2507-GGUF — набор квантованных версий инструкционной языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модели распространяются в формате GGUF и предназначены для локального запуска. Модель относится к задачам генерации текста и диалогового взаимодействия. Она может использоваться через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В README указаны варианты от BF16 до 2-битных квантований, объёмом примерно от 1,8 до 8,05 ГБ. Для работы используется форматирование промптов с ролями system, user и assistant. Данные о точной архитектуре, поддерживаемых языках и размере контекста в README не приведены. Сильная сторона набора — широкий выбор квантований с разным компромиссом между качеством, требованиями к памяти и скоростью работы. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS; более компактные варианты экономят память, но могут заметно терять в качестве. Некоторые форматы отмечены как legacy и могут иметь особенности при запуске на отдельных архитектурах. Лицензия в предоставленном README не указана; условия использования следует уточнять в документации исходной модели Qwen/Qwen3-4B-Instruct-2507.

bartowski/Qwen_Qwen3-8B-GGUF — набор GGUF-квантизированных версий модели Qwen3-8B, разработанной Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp; в README также указан формат промпта с разделителями сообщений ChatML. Доступны варианты от BF16 размером 16,39 ГБ до компактных IQ2_M и Q2_K размером около 3 ГБ, а также промежуточные уровни Q8, Q6, Q5, Q4 и Q3. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству; для большинства сценариев автор рекомендует Q4_K_M, а также некоторые варианты Q5 и Q6. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны, поэтому эти характеристики нельзя подтвердить. Модель распространяется по лицензии Apache-2.0.

Kaoeiri выпустил Qwenwify-32B-v1 — объединение предварительно обученных языковых моделей на архитектуре Qwen2.5, созданное с помощью mergekit методом DARE TIES. В качестве базовой модели использована unsloth/qwen2.5-32b-instruct; в объединение также вошли AiCloser/Qwen2.5-32B-AGI, crestf411/Q2.5-32B-Slush, EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2 и rombodawg/Rombos-LLM-V2.5-Qwen-32b. Модель содержит 32 млрд параметров, принимает текст и предназначена для генерации текста в диалоговом формате; доступен интерфейс вызова инструментов. Длина контекста составляет 32 768 токенов. Файлы представлены в формате safetensors. Сведения о лицензии и конкретных ограничениях использования в предоставленных данных отсутствуют.

Qwythos-27B-v1-i1-GGUF — это квантизированная GGUF-версия модели Qwythos-27B-v1, разработанной empero-ai и подготовленной квантизатором mradermacher. Модель предназначена для задач рассуждения, работы с текстом и изображениями, генерации текста по изображениям, использования инструментов и function calling, а также агентских сценариев. В тегах также указаны направления cybersecurity и biomedical, однако подробности специализированного обучения в README не приведены. Модель имеет размер 27B параметров, поддерживает английский язык и относится к мультимодальным vision-моделям. Заявлена поддержка длинного контекста до 1M токенов, multi-token prediction и различных методов обучения, включая SFT, DPO, ESFT и full fine-tune, но технические детали архитектуры и подтверждённые характеристики контекстного окна не раскрыты. Репозиторий содержит варианты квантизации от Q2_K до Q6_K и IQ-кванты: более компактные варианты требуют меньше памяти, но могут снижать качество; Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как оптимальный по сочетанию размера, скорости и качества. Модель распространяется под лицензией Apache-2.0. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. README не содержит результатов тестирования, подробных ограничений безопасности или инструкций по выбору аппаратных ресурсов, поэтому фактическое качество и производительность зависят от выбранного варианта квантизации и используемого программного окружения.

Ramonda Monarch 7B — объединённая модель для генерации текста, опубликованная mayacinka. Она создана методом DARE-TIES с помощью LazyMergekit на основе bardsai/jaskier-7b-dpo-v5.6, eren23/ogno-monarch-jaskier-merge-7b, liminerity/Omningotex-7b-slerp и yleo/OgnoMonarch-7B. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и ответов на запросы; в карточке приведены результаты нескольких языковых и логических бенчмарков. Доступны веса в формате safetensors с точностью bfloat16. Лицензия в предоставленных данных не указана. Поскольку это слияние нескольких моделей, условия использования могут зависеть от лицензий исходных моделей; перед применением следует проверить их отдельно.

RWKV-7 «Goose» — базовая авторегрессионная языковая модель, выпущенная BlinkDL в формате Transformers. Это плотная модель архитектуры RWKV-7 с классом Rwkv7ForCausalLM; в метаданных указан размер 7,8 млрд параметров. В отличие от архитектур с attention, она использует рекуррентное состояние постоянного размера, поэтому объём состояния не растёт как KV-кэш, а вычисления при генерации масштабируются линейно по числу токенов. Обучение при этом допускает параллелизацию. Модель предварительно обучена на веб-текстах, коде, синтетических, инструкционных, разговорных и рассуждательных данных. Её можно использовать для генерации продолжений, оценки, последующего обучения и тонкой настройки; шаблон чата задаёт формат запросов, но сам по себе не означает, что модель является безопасным или выровненным ассистентом. В карточке заявлена поддержка нескольких языков, включая русский, английский и китайский. Контекстное окно в предоставленных данных не описано. В комплект входят интеграция с Transformers, токенизатор RWKV World и шаблон многоходового чата с поддержкой префикса рассуждений и формата вызова инструментов. Для тонкой настройки описана поддержка SFT и LoRA; ускоренный инференс на TileLang зависит от GPU, типа данных и формы входа, с возможностью отката на PyTorch. Лицензия — Apache-2.0. Карточка не заявляет оценок безопасности, предвзятости, токсичности или фактической точности; спекулятивное декодирование с откатом рекуррентного кэша не поддерживается без сохранения предыдущих состояний.

ServiceNow-AI_Apriel-Nemotron-15b-Thinker-GGUF — это GGUF-квантизации языковой модели Apriel-Nemotron-15b-Thinker, разработанной ServiceNow AI. Квантизации подготовлены bartowski с использованием imatrix и llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер около 15 млрд параметров; доступны варианты от BF16 до Q3 и IQ4, с размерами файлов примерно от 8 до 30 ГБ. README указывает текстовую модальность и формат prompt для систематического решения задач, однако сведения о поддерживаемых языках, размере контекстного окна и точной архитектуре не приведены. Более высокие уровни квантизации обеспечивают лучшее качество, а менее ресурсоёмкие варианты подходят для систем с ограниченным объёмом оперативной памяти. Распространяется по лицензии MIT. Для работы требуется совместимое программное обеспечение и объём памяти, соответствующий выбранному файлу квантизации; ограничения конкретных вариантов определяются их размером и степенью квантизации.

QuantFactory/Sparse-Llama-3.1-8B-2of4-GGUF — квантизированная версия разреженной текстовой модели Sparse-Llama-3.1-8B-2of4, созданная QuantFactory с использованием llama.cpp. Базовая архитектура — Llama-3.1-8B; исходную разреженную модель разработала Neural Magic на основе Meta Llama 3.1 8B. Модель принимает текст и генерирует текст. Модель предназначена для задач генерации текста и общего языкового моделирования, включая понимание языка, ответы на вопросы, рассуждения и работу с текстовыми запросами. Ключевая оптимизация — разреженность 2:4: в каждой группе из четырёх весов сохраняются два, а два удаляются. Для восстановления качества после pruning использовались обучение с дистилляцией знаний на 13 млрд токенов, SparseGPT и подход SquareHead. Формат GGUF ориентирован на запуск через llama.cpp; в исходной карточке также указана возможность эффективного развертывания через vLLM. По данным OpenLLM, средняя оценка составляет 62,16 против 63,19 у плотной Llama-3.1-8B, что соответствует 98,37% восстановления точности. На Mosaic Eval Gauntlet средняя оценка равна 53,85 против 55,34, или 97,3% восстановления. Основное преимущество — снижение избыточности модели при сохранении большей части качества исходной версии; ограничениями являются возможное ухудшение результатов на отдельных задачах и отсутствие в предоставленных данных сведений о поддерживаемых языках, длине контекста, точных параметрах квантизации и требованиях к оборудованию. Лицензия указана как llama3.1.

TernaryQuench-Qwen3.8-27B-GGUF — это сжатая версия языковой модели Qwen3.8-27B, подготовленная penkia с использованием проекта TernaryQuench. Базовая модель разработана командой Alibaba Qwen. Модель предназначена для локального текстового вывода и совместима с llama.cpp и Ollama; заявлена поддержка генерации текста, структурированного JSON и tool calling. Модель содержит 27 млрд параметров. В большинстве матриц декодера применено ternary-кодирование с тремя значениями весов: −scale, 0 и +scale; первые 62 слоя хранятся в формате Q2_K, последние два слоя — в BF16, а embeddings и output head — в Q4_1. Файл занимает около 10,86 ГБ, при этом требуется дополнительная память для runtime и context cache; в примере запуска указан контекст до 32 768 токенов. Сжатие снижает качество относительно исходной BF16-модели: средняя точность в пяти zero-shot задачах составила 72,28% против 74,35% у Qwen3.8-27B BF16, а perplexity на WikiText-2 — 12,8569 против 7,7471 у 4-битной версии. Модель рассчитана на эффективный локальный инференс, но приведённые проверки не подтверждают надёжность сложных многошаговых агентских сценариев. Лицензия — Apache-2.0.

Velara-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и Delcos/Velara методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в формате диалога; максимальный контекст составляет 32 768 токенов. Объединение настроено отдельно для слоёв self-attention и MLP, а веса представлены в формате safetensors. Модель принимает текст и генерирует текст. Карточка не уточняет специализацию Velara или сравнительные показатели качества. Лицензия — Apache-2.0.

VICIOUS_MESH-12B-NEMO — текстовая генеративная модель на 12,1 млрд параметров, созданная автором репозитория методом слияния TIES с помощью mergekit. В качестве основы использована mistralai/Mistral-Nemo-Instruct-2407, а в слияние также вошла bamec66557/VICIOUS_MESH-12B-BETA. Модель построена на архитектуре MistralForCausalLM и предназначена для диалога и генерации текста по запросу; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов. В README приведены результаты оценок Open LLM Leaderboard, включая IFEval и BBH, но они сами по себе не гарантируют качество на пользовательских задачах. Репозиторий распространяется по лицензии Apache-2.0. Языки отдельно не перечислены; языковые возможности унаследованы от базовой модели Mistral Nemo Instruct.

Yi-1.5-6B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi-1.5-6B-Chat, разработанной 01.AI. Репозиторий подготовлен bartowski с использованием llama.cpp и метода imatrix; модель предназначена для генерации текста и общения в формате system/user/assistant, а также для локального запуска через совместимые инструменты llama.cpp. Модель содержит около 6 миллиардов параметров и поставляется в формате GGUF с вариантами квантизации от Q8_0 до IQ1_S. Размер файлов составляет примерно от 1,43 до 6,44 ГБ. Более высокие варианты квантизации обеспечивают лучшее качество, но требуют больше памяти; Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые, тогда как варианты с очень низкой точностью могут заметно уступать по качеству. README не содержит сведений об архитектуре, размере контекста, поддерживаемых языках и мультимодальности, поэтому эти характеристики нельзя достоверно указать. Основные преимущества — широкий выбор уровней квантизации, возможность подобрать баланс между качеством и требованиями к памяти, а также пригодность для локального использования. Ограничения связаны с потерями качества при низкой точности квантизации и зависимостью от корректного prompt format. Распространение указано по лицензии Apache-2.0.

ZEUS 8B V22 — объединённая языковая модель, созданная с помощью mergekit методом DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в объединении также участвовали Llama-3.1-8B-Lexi-Uncensored-V2, Llama-3.1-Storm-8B, Llama-3.1-SuperNova-Lite и Llama-3.1-SauerkrautLM-8b-Instruct. Модель построена на архитектуре Llama и содержит 7,5 млрд параметров. Модель предназначена для диалогов и генерации текста. Поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. В README приведены результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH. Для использования модели требуется соблюдать лицензию llama3.1. Подробности о языках и качестве на конкретных задачах в доступной карточке не приведены.

airoboros-m-7b-3.1.2-dare-0.85-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием методом SLERP моделей Mistral-7B-Instruct-v0.2 и airoboros-m-7b-3.1.2-dare-0.85. Она построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Модель принимает текст и генерирует текст; её контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Данные карточки не описывают её качество на конкретных задачах или подробные ограничения, поэтому результаты следует проверять на целевом сценарии.

GigaChat3-702B-A36B-preview-GGUF — квантизированная GGUF-версия текстовой генеративной модели ai-sage/GigaChat3-702B-A36B-preview. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель относится к архитектурам MoE и предназначена для генерации и обработки текста, в частности на русском и английском языках. Её можно запускать через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В README не указаны точный объём контекста, количество параметров активной части MoE, поддерживаемые уровни квантизации, модальности кроме текста и результаты тестирования, поэтому оценить производительность и ограничения по этим параметрам нельзя. Доступна по лицензии MIT; конкретные требования к аппаратным ресурсам зависят от выбранного варианта квантизации и не приведены.

Virtuoso-Large-GGUF — это набор квантизированных версий языковой модели Virtuoso-Large, разработанной arcee-ai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Для общения используется шаблон сообщений в формате ChatML с ролями system, user и assistant. Модель доступна в формате GGUF с различными вариантами квантизации от Q8_0 до Q2_K и IQ2_M. Размер файлов составляет примерно от 29,34 до 77,26 ГБ; более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти. В README не указаны точный размер исходной модели, архитектурные детали, поддерживаемые языки, длина контекста или мультимодальные возможности. Сильной стороной набора является широкий выбор вариантов для разных ограничений по памяти и производительности. Рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; версии с более низкой квантизацией экономичнее, но могут заметно уступать по качеству. Лицензия обозначена как qwen и связана с лицензией Qwen2.5-72B-Instruct, однако точные условия следует проверять в указанном лицензионном документе.

ArliAI-Llama-3-8B-Dolfin-v1.0 — диалоговая языковая модель OwenArli на архитектуре Llama 3 с 7,5 млрд параметров и контекстом 8192 токена. Она дообучена методом SFT на базе Meta-Llama-3-8b-Instruct Abliterated v3 с использованием улучшенного набора данных Dolphin и WizardLM. Модель предназначена для генерации ответов в чате и выполнения инструкций; автор отмечает более точное следование запросам и меньше характерных для GPT формулировок. Модель принимает текст и выдаёт текст, используя формат диалоговых сообщений Llama 3 Instruct. Для лучших результатов автор рекомендует формулировать инструкции точно и задавать роль через системное сообщение. Обучение проводилось на последовательностях длиной до 8192 токенов с QLoRA, рангом 64 и alpha 64; в README также указано обучение с 4-битной загрузкой. Модель распространяется по лицензии Meta Llama 3 License. Это дообученный чекпойнт, и его ответы могут быть неточными или неуместными; описание автора указывает на сниженную склонность к отказам, поэтому следует проверять ответы и учитывать требования к безопасному применению.