II.4Отладка, тестирование и качество ПО

RedHatAI/Llama-3.3-70B-Instruct-quantized.w4a16 — это квантизированная инструкционно настроенная языковая модель на базе Meta Llama-3.3-70B-Instruct, разработанная Red Hat совместно с Neural Magic. Модель принимает текст и генерирует текст, поэтому предназначена для диалоговых ассистентов, задач генерации естественного языка, а также для создания синтетических данных и дистилляции других моделей. Модель содержит 70 миллиардов параметров и использует INT4-квантизацию весов линейных операторов в трансформерных блоках. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ, реализованный в библиотеке llm-compressor. Переход с 16 на 4 бита уменьшает размер модели на диске и требования к памяти GPU примерно на 75%. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для эффективного развертывания рекомендуется vLLM; модель также валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример запуска с максимальной длиной контекста 32768 токенов, однако этот параметр указан для конфигурации развертывания. К сильным сторонам относятся существенно сниженные требования к дисковой и GPU-памяти при сохранении назначения исходной instruct-модели и поддержка многоязычных диалоговых сценариев. Ограничения включают работу только с текстом, возможное влияние квантизации на качество по сравнению с исходной моделью и запрет использования для языков, не перечисленных в документации. Модель распространяется по Llama 3.3 Community License; также необходимо соблюдать применимое законодательство и Acceptable Use Policy.

Meta-Llama-3.1-70B-Instruct-iMat-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-70B-Instruct, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. Доступна в формате GGUF для использования с совместимыми инструментами, в частности с актуальными версиями llama.cpp. Модель содержит около 70 миллиардов параметров и работает с текстовыми данными. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Представлены варианты квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты; при квантизации использовалась importance matrix (imatrix), призванная уменьшить потери качества. Длина контекста в README не указана. Сильной стороной модели является сочетание крупного размера, инструкционного обучения и широкого набора вариантов квантизации, позволяющих выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения связаны с тем, что качество и ресурсоёмкость зависят от выбранного варианта квантизации, а для работы требуется современная сборка совместимого программного обеспечения. Модель распространяется по лицензии llama3.1.

RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8 — квантизированная FP8-версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель для генерации текста и ассистентского диалога, предназначенная для коммерческого и исследовательского использования. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако в документации отдельно указано ограничение на использование только английского языка. Модель содержит 8 млрд параметров и использует архитектуру Meta-Llama-3.1. Веса и активации линейных слоёв внутри трансформерных блоков квантизированы в FP8 с симметричной поканальной для всего тензора схемой; выходной слой lm_head не квантизируется. По сравнению с 16-битной версией это примерно вдвое снижает размер на диске и требования к памяти GPU. Модель оптимизирована для инференса через vLLM, включая совместимый с OpenAI интерфейс. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание при сохранении близкого к исходной модели качества: средний результат на OpenLLM составляет 73,44 против 73,79 у неквантизированной версии. Ограничения связаны с возможной потерей качества из-за квантизации, зависимостью от vLLM и заявленным ограничением области применения. Модель распространяется по лицензии llama3.1; также необходимо соблюдать применимое законодательство и условия исходной лицензии Meta.

cyankiwi/MiniCPM-SALA-AWQ-8bit — 8-битная AWQ-квантизованная версия модели MiniCPM-SALA, разработанной OpenBMB. Модель предназначена для генерации текста, включая работу с длинными документами, анализом контекста, математическими и программными задачами. Заявлена поддержка китайского и английского языков и совместимость с Transformers. Архитектура MiniCPM-SALA сочетает 25% слоёв со sparse attention InfLLM-v2 и 75% слоёв с linear attention Lightning Attention. Гибридный подход рассчитан на эффективную работу с последовательностями длиной до 1 млн токенов и снижает требования к вычислениям и KV-кэшу; разработчики заявляют ускорение до 3,5 раза по сравнению с плотной моделью Qwen3-8B на последовательностях длиной 256 тысяч токенов. Для сохранения качества на коротком и длинном контексте используются HyPE и метод адаптации HALO. Точный размер модели в README не указан, однако упоминается класс моделей масштаба около 9B. К сильным сторонам относятся большой контекст, высокая эффективность инференса и возможность запуска на потребительских GPU, включая NVIDIA RTX 5090. Ограничения включают зависимость от специализированного программного окружения для оптимального инференса, включая CUDA 12.x или новее и компоненты SGLang; характеристики и качество именно данной AWQ-версии отдельно не приведены. Лицензия — Apache 2.0.

MaziyarPanahi/Mistral-7B-Instruct-v0.1-16k-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и NurtureAI/Mistral-7B-Instruct-v0.1-16k методом SLERP. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров для генерации текста и выполнения инструкций в диалоговом формате. Модель принимает текст и генерирует текст; максимальная длина контекста по метаданным — 32 768 токенов. Она подходит для диалогов, ответов на вопросы и работы с длинными текстовыми запросами. Лицензия — Apache-2.0.

dec0dedd выпустил чат-модель Qwen2.5-14B-Instruct-heretic — версию Qwen2.5 Instruct на 14 млрд параметров, обработанную методом abliteration для снижения частоты отказов. По приведённому в карточке сравнению, модель отказала в 5 из 100 тестовых запросов против 98 из 100 у исходной Qwen2.5-14B-Instruct; это измерение относится только к указанному тесту. Архитектура — плотная причинная языковая модель Qwen2 с поддержкой чата. Метаданные указывают контекст до 32 768 токенов; README описывает расширение контекста до 131 072 токенов с YaRN, но предупреждает о возможном ухудшении работы на коротких запросах при статической настройке YaRN. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, следование инструкциям и создание длинных или структурированных ответов. README базовой Qwen2.5 также отмечает навыки программирования, математики и работу с таблицами, однако отдельные результаты для этой производной модели не приведены. Поддерживаются английский и другие языки Qwen2.5; карточка явно помечает английский. Модель распространяется под лицензией Apache-2.0.

Карточка модели ashphisher/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели SpectreFestival/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели Yahel666/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели zomasec/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели zsansan/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели ehristoforu/qwen2.5-with-lora-think-3b-it на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Qwen3-128k-30B-A3B-NEO-MAX-Imatrix-gguf — набор GGUF-квантизаций модели Qwen3-30B-A3B, разработанной командой Qwen. Это разреженная Mixture-of-Experts-модель с 30 млрд общих параметров и 128 экспертами, из которых обычно активируются 8 в зависимости от содержания запроса; эффективный объём активных параметров составляет около 3 млрд. Автор сборки применил собственный NEO Imatrix-процесс и модификации, ориентированные на работу с различными уровнями квантования. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, рассуждений, решения задач и использования инструментов. Заявлена поддержка контекста до 131072 токенов, расширенного с 32768 с применением YaRN. В README указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Ключевое преимущество сборки — возможность запуска всех вариантов на GPU, CPU или в режиме CPU с оперативной памятью благодаря MoE-архитектуре и активации только части параметров. NEO Imatrix-квантизация призвана сохранить пригодное качество даже у компактных вариантов, однако более низкие уровни квантования уступают старшим по качеству и могут требовать более подробных промптов. Скорость и качество зависят от конкретного варианта квантизации и оборудования; приведённые в README оценки производительности ограничены описанной конфигурацией. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, разработанной командой Qwen и опубликованной в репозитории apolo13x. Это мультимодальная модель формата image-text-to-text: она принимает текст и изображения, а генерирует текстовые ответы. Модель предназначена для диалоговых сценариев, анализа изображений и решения текстовых задач. Веса и активации сжаты до формата NVFP4 (4-bit) с помощью llm-compressor. Для калибровки использовано 512 образцов из набора nvidia/Nemotron-Post-Training-Dataset-v2, включая 256 примеров с рассуждением и 256 без него. Размер модели уменьшен с 18,0 до 11,5 ГБ, примерно в 1,6 раза; заявленное среднее восстановление точности составляет 97,3%. Максимальная длина последовательности при калибровке — 4096 токенов. По результатам оценки в режиме рассуждений модель набрала в среднем 86,11% против 88,36% у исходной Qwen3.5-9B: 74,24% на GPQA Diamond, 92,69% на IFEval и 91,39% на MMLU-Redux. Квантизация снижает требования к хранению и инференсу, но может приводить к некоторой потере качества относительно исходной модели. Указана поддержка vLLM 0.17.0 и reasoning parser qwen3. Модель распространяется по лицензии Apache-2.0.

AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP — мультимодальная модель генерации текста, разработанная AEON-7 на базе AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16. Модель предназначена для диалогов, анализа и генерации текста, программирования и других сценариев, поддерживаемых Qwen3.6. Заявлены языки English, Chinese и multilingual. Модель опубликована в формате NVFP4 с поддержкой Multi-Token Prediction (MTP) и speculative decoding. Архитектура использует гибридный стек Gated DeltaNet (GDN) и attention, а также мультимодальный режим. Размер модели — 27B параметров. В конфигурации развертывания указан контекст до 229 376 токенов. Формат NVFP4 снижает требования к памяти и рассчитан на ускорители NVIDIA Blackwell, включая DGX Spark/GB10 и дискретные RTX, при использовании совместимого контейнера vLLM. Поддерживаются native MTP и внешний DFlash drafter; заявлены функции reasoning и вызова инструментов через соответствующие парсеры vLLM. К сильным сторонам относятся большой контекст, мультимодальность, оптимизация для Blackwell, ускоренное декодирование и uncensored/abliterated-настройка. Ограничения включают зависимость от специализированных версий vLLM, аппаратных и конфигурационных требований, а также то, что модель помечена как устаревшая: автор рекомендует вместо неё Qwen3.8 Ultimate Uncensored NVFP4-MIXED. Лицензия — Apache-2.0.

avlp12/Qwen3.8-27B-Alis-MLX-8bit — 8-битная квантизированная версия мультимодальной модели Qwen3.8-27B от Qwen, подготовленная пользователем avlp12 для запуска на Apple Silicon с использованием MLX. Модель предназначена для генерации и анализа текста, работы с изображениями и сценариев, где важны высокая точность, длинные последовательности генерации и агентские циклы. Поддержка изображений сохранена благодаря полной vision-башне, а также сохранена MTP-голова для speculative decoding. Модель основана на архитектуре Qwen3_5ForConditionalGeneration с типом модели qwen3_5 и содержит 27 миллиардов параметров. Квантованный языковой компонент использует 8-битное представление, тогда как 333 тензора vision-башни объёмом около 0,461 млрд параметров сохранены в исходном формате bf16. Указанный размер сборки составляет 27,9 ГБ, пиковое потребление оперативной памяти при загрузке и коротком контексте — около 28,1 ГБ, скорость декодирования на Apple M3 Ultra — около 22 токенов в секунду. Модель поддерживает мультимодальный ввод, включая изображения; заявленные языки включают английский и корейский, также отдельно измерялось качество на коде. Размер контекста в README не указан. Главное преимущество сборки — близкое к исходной bf16-модели поведение при существенно меньшем размере и более высокой скоростью декодирования; заявленные различия perplexity статистически неразличимы на проверенных корпусах. Ограничения — необходимость совместимого Apple Silicon и MLX-окружения, значительные требования к памяти, а также возможное снижение точности из-за 8-битной квантизации по сравнению с bf16. Лицензия модели — Apache-2.0.

mradermacher/Qwen3.8-27B-Brainwaves-WFH-i1-GGUF — квантованная версия модели Qwen3.8-27B-Brainwaves-WFH, разработанной nightmedia и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для локального запуска в задачах генерации текста, диалогов, программирования, математики, научно-технических запросов, рассуждений, творческого и художественного письма, а также ролевых сценариев. В README также указана поддержка изображений через дополнительные mmproj-файлы, доступные в статическом репозитории. Модель относится к семейству Qwen и имеет заявленный размер 27B параметров. Доступны варианты квантования i1 с использованием imatrix, включая Q2_K, Q3_K, IQ3, IQ4, Q4, Q5 и Q6; размер файлов составляет примерно от 11 до 22,5 ГБ. Для некоторых вариантов указаны компромиссы между скоростью, размером и качеством: i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Заявлены языки English, Chinese, Japanese и Spanish. В тегах упоминается контекст до 1M токенов, однако README не подтверждает фактические ограничения именно этой сборки. Сильной стороной модели является широкий набор предполагаемых сценариев применения и наличие нескольких уровней квантования для выбора под доступные ресурсы. Ограничения связаны с потерями качества, зависящими от типа квантования, отсутствием подробных результатов оценки и неполным описанием архитектуры, точной мультимодальной конфигурации и практического размера контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-heretic-ara-oQ4e-mtp — смешанно-точно квантованная версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, опубликованная underlotus. В основе лежит Qwen3.8-27B; модель имеет около 27 млрд параметров, поддерживает текстовые, графические и видео входы, а также английский и китайский языки. Vision tower и голова Multi-Token Prediction сохранены. Веса представлены в формате MLX safetensors и совместимы с oMLX, mlx-lm, LM Studio и другими приложениями с поддержкой MLX. Модель предназначена для генерации текста, мультимодального анализа изображений и видео, программирования и локального запуска на устройствах Apple Silicon. Квантование oQ4e использует около 4,6 бит на параметр и распределяет точность по слоям с учётом их чувствительности, что уменьшает требуемую память примерно с 55 ГБ до 16–18 ГБ. Ограничениями являются зависимость от MLX-совместимой инфраструктуры, повышенные требования к памяти по сравнению с небольшими моделями и отсутствие указанного в README максимального контекста. Модель описана как декензурированная и сохраняет мультимодальные возможности, однако конкретные гарантии качества и безопасности для всех сценариев не приведены. Лицензия — Apache 2.0, унаследованная от базовой модели.

unsloth/Qwen3-VL-32B-Instruct-bnb-4bit — четырёхбитная версия мультимодальной модели Qwen3-VL-32B-Instruct, опубликованная Unsloth на базе модели Qwen. Она предназначена для обработки текста и изображений, а также для понимания видео: генерации ответов по визуальному содержимому, OCR, анализа документов, пространственного и STEM-рассуждения, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Модель имеет плотную архитектуру с 32B параметров в исходной версии и использует квантизацию bitsandbytes 4-bit, что снижает требования к памяти по сравнению с полноточными весами. В архитектуре заявлены Interleaved-MRoPE для обработки времени и пространственных координат, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. Нативная длина контекста составляет 256K токенов с возможностью расширения до 1M. Для OCR заявлена поддержка 32 языков, однако полный перечень языков в README не приведён. Сильные стороны модели — объединённое понимание текста и визуальных данных, анализ длинных документов и продолжительных видео, распознавание объектов и сцен, пространственное рассуждение и задачи визуального агента. Ограничения и точные требования к оборудованию, результаты численных бенчмарков, полный список поддерживаемых языков и характеристики квантизации в README не указаны; четырёхбитное представление может влиять на точность по сравнению с исходной моделью. Лицензия — Apache-2.0.

zypcastles/QwQ-32B-Instruct-abliterated — объединённая модель семейства Qwen2, созданная разработчиком с помощью mergekit методом SLERP из huihui-ai/Qwen2.5-32B-Instruct-abliterated и huihui-ai/QwQ-32B-Preview-abliterated. Модель предназначена для диалога и генерации текста с улучшенным следованием инструкциям по сравнению с исходной QwQ-моделью. Модель содержит 32 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и принимает текст, выдавая текст. Контекст составляет до 32 768 токенов. Доступна в формате safetensors для библиотеки Transformers; метаданные также указывают интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

Sarvam-30B — языковая модель, разработанная командой Sarvam Foundation Models. Это модель класса Mixture-of-Experts (MoE), ориентированная на практическое развертывание, мультиязычные диалоги и голосовые вызовы на индийских языках, включая выполнение вызовов инструментов. Она также предназначена для задач рассуждения, генерации кода и общего текстового общения. Модель содержит 30 млрд параметров, из которых 2,4 млрд активируются для отдельного запроса, и представлена в виде FP8-квантизированных весов в формате FP8 E4M3. Архитектура включает 19 слоёв, 128 экспертов с общим экспертом, маршрутизацию top-6, grouped KV attention с четырьмя KV-головами, dense FFN размером 8192 и MoE-FFN размером 1024. Высокое значение rope_theta, равное 8e6, предназначено для стабильной работы с длинным контекстом без дополнительного RoPE scaling, однако точный размер контекстного окна в README не указан. Заявлена передовая производительность для своего размера в 22 индийских языках; также заявлена поддержка английского языка. К сильным сторонам относятся эффективность по памяти и пропускной способности, сниженные требования к ресурсам благодаря MoE и FP8-квантизации, а также сочетание рассуждения, программирования, диалогового взаимодействия и поддержки индийского языкового контекста. Ограничением является необходимость специальной настройки инфраструктуры: для запуска рекомендуются SGLang или модифицированная версия либо hot-patch для vLLM, а точная производительность зависит от оборудования и конфигурации. Модель распространяется по лицензии Apache 2.0.

Spark-X2.5-1.7B-GGUF — компактная языковая модель в формате GGUF, разработанная XHToken на базе XHToken/Spark-X2.5-1.7B. Она предназначена для общего назначения: диалогов, написания и перевода текстов, рассуждений, программирования, использования инструментов и агентских сценариев. Модель имеет гибридную архитектуру внимания и поддерживает нативный контекст длиной до 1 миллиона токенов. Заявлена поддержка более 200 языков; в карточке модели отдельно указаны английский и китайский. Размер базовой модели — 1,7 млрд параметров. Формат GGUF ориентирован на локальный запуск с помощью llama.cpp, Ollama, LM Studio и Unsloth, однако для нативной поддержки архитектуры требуются совместимые версии этих инструментов. К сильным сторонам относятся компактный размер, широкий набор задач, многоязычность, очень длинный контекст и возможность локального развертывания. README не содержит результатов тестирования, подробностей обучения, сведений о конкретных вариантах квантования или детального описания ограничений качества, поэтому производительность в отдельных задачах по этим данным оценить нельзя. Модель распространяется по лицензии Apache License 2.0.

Bagel-8b-v1.0-GGUF — квантизированная версия текстовой генеративной модели bagel-8b-v1.0, разработанной jondurbin на базе Meta-Llama-3-8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF с вариантами квантизации от Q8_0 до IQ2_XXS. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, следование инструкциям, программирование, работу с математическими и естественно-научными задачами, суммирование, ответы на вопросы и function calling. Это одномодальная языковая модель: поддерживается только текстовый ввод и вывод. В README не указаны точный размер контекста, полный список поддерживаемых языков и подробные параметры архитектуры. Сильная сторона модели — выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти: Q6_K и Q5 рекомендованы для высокого качества, а более компактные варианты подходят для систем с ограниченными ресурсами, хотя могут заметно уступать по качеству. Ограничения включают возможное ухудшение результатов при низких уровнях квантизации, а также отсутствие в представленных данных независимых оценок качества и подробностей о поведении модели в специализированных задачах. Лицензия обозначена как other с именем llama3; применяется лицензия Meta Llama 3, ссылка на текст которой приведена в карточке модели.

EXAONE-4.0-32B-FP8 — мультиязычная большая языковая модель LG AI Research, представленная в формате для запуска на ускорителях FuriosaAI RNGD через Furiosa-LLM. Это авторегрессионный плотный Transformer с 32 млрд параметров, предназначенный для генерации текста, следования инструкциям, решения сложных задач с использованием режима рассуждений, вызова инструментов и агентских сценариев. Модель поддерживает английский, корейский и испанский языки, работает с текстовыми входами и выходами. Модель объединяет обычный режим без рассуждений, включённый по умолчанию, и режим reasoning, который активируется отдельно для запроса. Она поддерживает вызов функций через формат EXAONE-4.0. Веса статически квантизированы в FP8, активации динамически квантизируются в FP8 во время выполнения, а KV-кэш сохраняется в 16-битной точности. На FuriosaAI RNGD используется тензорный параллелизм на 32 PE, что соответствует четырём картам RNGD. Карточка описывает интеграцию с Furiosa-LLM и аппаратным обеспечением FuriosaAI RNGD; для других движков, включая vLLM, SGLang и Transformers, следует обращаться к исходной карточке модели. Ограничения по размеру контекста и дополнительные характеристики производительности не указаны. Модель распространяется по лицензии EXAONE AI Model License Agreement 1.2 - NC, предусматривающей некоммерческое использование.

unsloth/gemma-3-4b-it-unsloth-bnb-4bit — 4B-параметричная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind и представленная в 4-битном формате BNB благодаря Unsloth. Модель основана на google/gemma-3-4b-it и предназначена для запуска и дообучения с использованием библиотеки Transformers, в том числе на устройствах с ограниченными ресурсами. Модель поддерживает мультимодальный ввод: текст и изображения, при этом генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Заявлены контекст до 128K токенов для версии 4B и максимальный объём генерируемого ответа до 8192 токенов. Поддерживается более 140 языков, однако в метаданных этой конкретной карточки явно указан английский язык. Ключевое преимущество — уменьшенный размер и 4-битное квантование, упрощающие локальное развертывание и снижающие требования к памяти; Unsloth также заявляет о selectively quantized Dynamic Quants с улучшенной точностью по сравнению со стандартным 4-битным квантованием. Ограничения включают возможные потери качества из-за квантования, а также отсутствие в представленном README подробных данных о точной архитектуре, показателях качества и поддерживаемом наборе языков именно для этой сборки. Использование регулируется лицензией Gemma и соответствующими условиями Google.

AtomicChat/gemma-4-12B-it-GGUF — это квантизированная в формат GGUF версия мультимодальной модели google/gemma-4-12b-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также сценарии, требующие развитого рассуждения; для изображений в репозитории предусмотрен vision-проектор mmproj. Модель содержит около 11,95 млрд параметров и 48 слоёв. Это плотный decoder с гибридным вниманием: скользящее окно на 1024 токена сочетается с глобальным вниманием. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи; архитектура использует 16 attention heads и 8 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая IQ3_M и IQ4_XS с importance matrix. Q4_K_M указан как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность ценой требований к памяти. К преимуществам относятся мультимодальность, большой контекст, возможность локального запуска и квантизация с importance matrix, снижающая потери качества в низкобитных вариантах. Ограничения связаны с зависимостью качества и скорости от выбранного варианта квантизации и доступной RAM или VRAM; для корректного применения шаблона чата требуется режим --jinja, а для изображений — vision-проектор и совместимый интерфейс. Результаты в README относятся к базовой модели Google и не являются собственными измерениями Atomic Chat. Лицензия — Apache 2.0.

Это квантованная версия Granite 3.3 8B Instruct — инструкционной текстовой модели, разработанной командой IBM Granite. Репозиторий подготовлен bartowski в формате GGUF с использованием llama.cpp и метода imatrix; базовая модель указана как ibm-granite/granite-3.3-8b-instruct. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих llama.cpp, включая LM Studio. Доступны варианты от BF16 до различных уровней квантования Q3–Q8 и IQ, что позволяет выбирать между качеством ответа, размером файла и требованиями к оперативной памяти. Размер исходной модели составляет 8 миллиардов параметров, однако README не указывает архитектуру, языки, длину контекста или дополнительные модальности; по назначению это текстовая, а не мультимодальная модель. Сильной стороной сборки является широкий выбор квантований: варианты Q5 и Q6 заявлены как высококачественные, а Q4 подходят для большинства сценариев при меньшем потреблении памяти. Более компактные варианты позволяют запускать модель на системах с ограниченной RAM, но могут снижать качество ответов. Для корректной работы следует использовать указанный шаблон prompt и совместимый llama.cpp-based runtime. Распространение осуществляется по лицензии Apache-2.0.

Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

QuantFactory/Llama-3.1-Storm-8B-GGUF — квантизированная версия модели Llama-3.1-Storm-8B, созданная с помощью llama.cpp. Исходную модель разработали Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Она основана на Llama-3.1-8B-Instruct и дополнительно обучена с применением целевого fine-tuning и объединения с Llama-Spark методом SLERP. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, ответов на вопросы, рассуждений и function calling. Заявлены улучшения по сравнению с Meta-Llama-3.1-8B-Instruct в instruction following, knowledge-driven QA, reasoning, truthful answer generation и агентских сценариях. В частности, авторы сообщают о лучших результатах на IFEval, GPQA, MMLU-Pro, ARC-C, MuSR, BBH, TruthfulQA и BFCL. Квантизация ориентирована на запуск модели с более ограниченными вычислительными ресурсами. Модель имеет около 8 миллиардов параметров и работает с текстом. В README указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Размер контекстного окна и конкретные варианты квантизации в представленном описании не указаны. GGUF-формат предназначен для использования в совместимых инструментах экосистемы llama.cpp, включая Ollama. Модель позиционируется как универсальная и улучшенная в следовании инструкциям, рассуждениях, function calling и снижении галлюцинаций, однако заявленные преимущества основаны на бенчмарках авторов и могут зависеть от сценария и настроек запуска. Условия использования определяются лицензией llama3.1; дополнительные ограничения или требования в README не приведены.

QuantFactory/Llama-3-8B-Instruct-Gradient-1048k-GGUF — это квантизированная версия Gradient Llama-3-8B-Instruct-Gradient-1048k в формате GGUF, созданная с использованием llama.cpp. Базовая модель разработана Gradient на основе Meta Llama 3 8B Instruct; исходное семейство Llama 3 разработано Meta. Модель предназначена для генерации текста и кода, диалоговых сценариев, создания ассистентов и обработки очень больших текстовых документов. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention, содержит около 8 млрд параметров и работает только с текстом на входе и выходе. Заявленное контекстное окно расширено с 8 тысяч до более чем 1,04 млн токенов. Расширение выполнено с помощью оптимизации RoPE theta, NTK-aware interpolation и последовательного обучения на контекстах длиной 65K, 262K, 524K и 1048K токенов. В README указан английский язык, а для обучения длинного контекста использовались данные на основе SlimPajama. Ключевое преимущество модели — сочетание относительно компактного размера, формата GGUF для использования в экосистеме llama.cpp и поддержки сверхдлинного контекста, что может быть полезно при анализе крупных документов и длинных последовательностей. Ограничения включают текстовую модальность, отсутствие подробных результатов оценки качества и конкретных характеристик квантизации в представленном README, а также возможное снижение точности по сравнению с полной или менее квантизированной версией. В качестве лицензии указана llama3.