II.4Отладка, тестирование и качество ПО

Myric/Spark-X2.5-4B-GGUF — это GGUF-конверсия модели XHToken/Spark-X2.5-4B, предназначенная для генерации текста и работы в сценариях рассуждений, включая агентное программирование. Модель выпускается в нескольких вариантах точности и квантования для запуска через llama.cpp. Модель имеет плотную архитектуру примерно на 4,11 млрд параметров, 36 слоёв, скрытое пространство размером 2560, 16 query-heads и 4 KV-heads. Она использует чередующееся sliding-window attention: 27 слоёв с окном 512 токенов и 9 слоёв с полным вниманием. Заявлен максимальный контекст до 1 048 576 токенов, однако качество на таком контексте в README не измерялось. Модель поддерживает текстовую модальность, имеет словарь на 131 072 токена и выдаёт блок рассуждений. Сильными сторонами являются сравнительно низкие требования к памяти при длинном контексте, наличие вариантов от BF16 до Q4_K_M и оптимизация квантований с importance matrix. Для запуска требуется специально пропатченная ветка llama.cpp с поддержкой архитектуры spark2_5; стандартная upstream-версия не загрузит модель. Необходимо явно задавать размер контекста, иначе может быть предпринята попытка выделить память под полный контекст в 1 млн токенов. Производительность и результаты в README измерены на ограниченном наборе задач, поэтому их нельзя считать универсальными оценками. Модель и конверсия распространяются по лицензии Apache-2.0.

bunnycore/Tulu-3.1-8B-SuperNova-Smart — объединённая языковая модель, созданная разработчиком bunnycore с помощью mergekit. В слиянии методом passthrough использованы bunnycore/Tulu-3.1-8B-SuperNova и bunnycore/Llama-3.1-8b-smart-lora; модель основана на архитектуре Llama и содержит 7,5 млрд параметров. Модель предназначена для генерации текста и диалогов. Её можно применять для ответов на вопросы, следования инструкциям и интерфейсов с вызовом инструментов. Указанная длина контекста — 131 072 токена. Данные не описывают поддерживаемые естественные языки и условия лицензии, поэтому их нельзя надёжно указать.

Wiederchat-7b-dpo-laser — чат-модель для генерации текста, созданная mayflowergmbh. Это объединение трёх моделей на архитектуре Mistral: mlabonne/OmniTruthyBeagle-7B-v0, mayflowergmbh/Wiedervereinigung-7b-dpo-laser и cognitivecomputations/openchat-3.5-0106-laser. Веса представлены в формате safetensors; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов. В README приведены результаты оценки Mt-Bench-De, включая категории письма, ролевого общения, рассуждений, математики, программирования, извлечения информации, STEM и гуманитарных дисциплин. Базовая модель описана как немецкоязычная, поэтому немецкий — основной язык модели; результаты теста сами по себе не гарантируют качество в конкретных сценариях. Условия лицензирования в предоставленных данных не описаны.

Карточка модели InternScience/Agents-A1-4B-F16-GGUF на Hugging Face совпадает с карточкой InternScience/Agents-A1-4B, поэтому описание составлено по ней. Agents-A1-4B — плотная языковая модель на 4 млрд параметров от InternScience, созданная для автономного выполнения многошаговых задач. Она основана на архитектуре Qwen3.5 и дообучена для агентных сценариев: поиска, инженерной работы, научных исследований, следования инструкциям и вызова инструментов. Модель поддерживает диалог и интерфейс вызова функций; веса доступны в формате safetensors и совместимы с Transformers, vLLM и SGLang. В README заявлена длина контекста до 262 144 токенов при указанной конфигурации SGLang. Модель предназначена для разложения сложных запросов на шаги, планирования, использования внешних инструментов и ответов на научные и профессиональные вопросы. В README приведены высокие результаты на тестах поиска, агентных задач и следования инструкциям, однако это заявления разработчика, и они не гарантируют качество в конкретном приложении. Лицензия Apache-2.0.

CerebrumDolphin-2.0-Mistral-7B-v0.2 — языковая модель на архитектуре Mistral, созданная объединением моделей cognitivecomputations/dolphin-2.8-mistral-7b-v02 и Locutusque/OpenCerebrum-2.0-7B методом SLERP с помощью mergekit. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов. В описании базовой модели упоминаются программирование, математика и естественно-научные вопросы; карточка этой модели не приводит отдельных результатов оценки качества. Доступны веса в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

ChimeraLlama-3-8B-v2 — языковая модель на архитектуре Llama, созданная mlabonne с помощью LazyMergekit путём слияния шести моделей семейства Llama 3. Она предназначена для генерации текста и диалогового использования, включая ответы на вопросы и написание кода. Модель содержит 7,5 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 8192 токена. В состав слияния входят инструктивные и диалоговые модели, включая NousResearch/Meta-Llama-3-8B-Instruct, OrpoLlama-3-8B и Dolphin 2.9 Llama 3 8B. Карточка приводит результаты оценок Open LLM Leaderboard, в том числе IFEval и BBH. В метаданных указана лицензия other; конкретные условия использования следует сверить с лицензиями исходных моделей. Данные карточки не описывают отдельную специализацию или гарантии качества для конкретных сценариев.

Daredevil-8B — диалоговая языковая модель, созданная mlabonne как объединение нескольких моделей Llama 3 8B с помощью LazyMergekit. Репозиторий содержит плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров; модель принимает текст и генерирует текст, поддерживает контекст до 8192 токенов и предназначена для чата и генерации ответов. Автор позиционирует её как улучшенную версию Meta-Llama-3-8B-Instruct и сообщает о высоких результатах на MMLU и наборах Open LLM Leaderboard и Nous по состоянию на май 2024 года. Модель общего назначения можно применять для диалогов, ответов на вопросы, генерации текста и кода. В README она описана как цензурированная; для снятия ограничений автор указывает отдельную модель Daredevil-8B-abliterated. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в карточке модели и лицензиях компонентов объединения.

EVA-QwQ-32B-Preview — плотная языковая модель на 32 млрд параметров, созданная слиянием моделей Qwen/QwQ-32B-Preview и EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2 методом TIES с помощью mergekit. Она предназначена для генерации текста в диалоговом формате; базовая модель QwQ ориентирована также на математические рассуждения и программирование. Репозиторий использует Transformers и формат safetensors, а заявленная длина контекста составляет 32 768 токенов. Модель может подойти для диалоговых приложений и генерации ответов, а также для задач рассуждения и программирования, унаследованных от базовой QwQ. Карточка не приводит результатов оценки качества или отдельных гарантий этих возможностей. Лицензия в предоставленных данных не указана.

brittlewis12/gemma-3-27b-it-GGUF — это квантизированная в формате GGUF версия Gemma 3 27B IT, разработанной Google DeepMind и преобразованной пользователем brittlewis12 с помощью llama.cpp. Модель предназначена для генерации текста в режиме instruction tuning: ответов на вопросы, суммаризации, рассуждений и других диалоговых и текстовых сценариев. Формат GGUF ориентирован на локальный запуск через совместимые инструменты, включая llama.cpp, на компьютерах и мобильных устройствах. Модель содержит 27 миллиардов параметров, поддерживает контекст до 128K токенов и, согласно README исходной модели, более 140 языков; в метаданных этого репозитория явно указан английский язык. Gemma 3 также заявлена как способная к пониманию изображений, однако данный репозиторий описывает pipeline для генерации текста, поэтому возможности именно этой GGUF-сборки в мультимодальных сценариях не уточнены. К сильным сторонам относятся большой контекст, широкий языковой охват и пригодность для локального развертывания, но размер модели может предъявлять значительные требования к памяти и вычислительным ресурсам, зависящие от конкретного уровня квантизации. Модель распространяется по лицензии Gemma. Для корректного использования необходимо применять шаблон запросов Gemma Instruct, приведённый в README. Точные параметры квантизации, требования к оборудованию и дополнительные ограничения лицензии в предоставленных данных не указаны.

Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP — модификация Gemma 4 31B-it, разработанная HauhauCS на основе официальных QAT-весов модели Google DeepMind. Это плотная модель на 31 млрд параметров с 4-битной квантизацией Q4_K_M, контекстом до 256K токенов и поддержкой изображений через отдельный mmproj-модуль. В README заявлен английский язык; модель распространяется в формате GGUF и совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Модель предназначена для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых сценариев, где важны следование инструкциям и надежность. Вариант Balanced ориентирован на широкий круг пользователей и описан как полностью uncensored-модификация без изменений исходных датасетов и базовых возможностей. В комплект входит MTP draft head для speculative decoding; по данным автора, при использовании через llama.cpp это дает примерно 53% ускорения генерации без изменения проверяемого результата. К сильным сторонам относятся большой контекст, поддержка визуального ввода, 4-битная QAT-квантизация с заявленным близким к полноточному качеством и ускорение генерации с MTP. Ограничения включают крупный размер файлов: основная модель занимает около 18,7 ГБ, mmproj — 1,2 ГБ, а MTP-модуль — 280 МБ. Работа MTP-технологии проверялась автором через llama.cpp, а для LM Studio отмечены возможные сбои в режиме tensor-split при использовании нескольких GPU; рекомендуется использовать одну GPU с layer-split или приоритетным порядком. Лицензия указана как Gemma. В README также отмечено, что заявления об отсутствии отказов основаны на тестах автора и не исключают редких случаев уклонения от ответа на отдельных запросах.

ddalcu/gemma-4-e2b-it-4bit-textonly — облегчённая сборка Google Gemma 4 E2B, подготовленная в формате MLX на основе mlx-community/gemma-4-e2b-it-4bit. Это instruction-tuned языковая модель для генерации и обработки текста, предназначенная прежде всего для текстовых чат-приложений и локального запуска на устройствах Apple, включая сценарии on-device inference. Модель использует 4-битное affine-квантизование языкового backbone и эмбеддингов, полностью сохраняя веса и качество текстовой генерации исходной модели. Из неё удалены веса vision tower и audio tower: 1 415 из 2 511 тензоров. Размер загрузки сокращён примерно с 3,55 до 2,5 ГБ, то есть приблизительно на 30%. Модель поддерживает только взаимодействие «текст на входе — текст на выходе»; изображения и аудио она не обрабатывает. Сведения о размере контекста и языках в README не указаны. Основные преимущества — меньший размер по сравнению с мультимодальной сборкой и сохранение её текстовых возможностей при работе с MLX. Ограничение — отсутствие мультимодальных входов; для обработки изображений и аудио рекомендуется исходная модель mlx-community/gemma-4-e2b-it-4bit. README указывает лицензию Gemma. Для некоторых версий mlx-vlm при загрузке может потребоваться режим strict=False из-за отсутствующих весов vision-модуля.

RedHatAI/GLM-5.3-Flash-NVFP4 — квантизированная версия модели zai-org/GLM-5.3-Flash, разработанная RedHatAI. Модель использует архитектуру Glm5NextForConditionalGeneration, принимает текст и изображения и генерирует текст. Заявленные языки — английский и китайский. Размер модели и длина контекста в предоставленных данных не указаны. Веса и активации линейных операторов MoE-экспертов квантизированы в формат FP4 (NVFP4), а слои MTP сохранены в FP8. Квантизация выполнена с помощью LLM Compressor, модель экспортирована в формате compressed-tensors и предназначена для инференса через vLLM. По данным README, такое сжатие примерно на 50% уменьшает объём диска и требования к памяти GPU для квантизированных весов по сравнению с 8-битным представлением. Также заявлена поддержка speculative decoding и автоматического выбора инструментов при соответствующей настройке vLLM. Модель ориентирована на мультимодальные и текстовые сценарии генерации, включая задачи рассуждения. В приведённой оценке она показала 97,74% на GSM8K Platinum, 94,87% на MATH-500, 86,67% на AIME 2025 и 90,57% на GPQA Diamond; результаты усреднены по нескольким запускам. Ключевое преимущество — снижение потребления дисковой и GPU-памяти при сохранении возможностей исходной модели, однако FP4-квантизация может влиять на качество и требует совместимой инфраструктуры. Модель распространяется по лицензии MIT.

Jan-v1-2509 — обновлённая версия модели Jan-v1 от Jan, предназначенная для диалогового использования, рассуждений и решения задач с агентами в приложении Jan. Это плотная языковая модель семейства Qwen3 на 3,7 млрд параметров, дообученная на базе Qwen/Qwen3-4B-Thinking-2507; архитектура не менялась по сравнению с предыдущей версией. Модель принимает текст и генерирует текст, поддерживает контекст до 262 144 токенов и рассчитана на английский язык. Модель ориентирована на ответы на вопросы, диалог и выполнение сложных задач с использованием инструментов. Разработчики сообщают о повышении надёжности и небольшом улучшении результатов на других чат-бенчмарках относительно Jan-v1, но отмечают снижение результата на SimpleQA. Для воспроизведения указанных результатов важно учитывать системный промпт в шаблоне чата; также доступен шаблон без него. Модель распространяется по лицензии Apache-2.0.

WhiskyAKM публикует NVFP4-квантизированную GGUF-версию K2-Horizon-3.7B, модели семейства IFM. Это плотная авторегрессионная модель-декодер с 3,7 млрд параметров и контекстом до 524 288 токенов; репозиторий предназначен для запуска через llama.cpp и другие совместимые с GGUF движки. Модель поддерживает диалоговую генерацию текста, а карточка указывает английский язык. Версия NVFP4 использует 4-битный формат и ориентирована на совместимое оборудование NVIDIA Blackwell. В README приведены результаты исходной модели на математических, кодовых и других тестах, однако они не характеризуют отдельно качество этой квантизированной сборки. Базовая модель описана как предназначенная для генерации текста, программирования и рассуждений. Лицензия — Apache-2.0.

Light-IF-4B — дообученная командой Qihoo 360 языковая модель на базе Qwen3-4B, предназначенная для точного выполнения сложных инструкций. Подход к адаптации сочетает генерацию примеров с комплексными ограничениями, отбор данных методом rejection sampling, supervised fine-tuning с сохранением энтропии и обучение с подкреплением с адаптацией к энтропии токенов. Модель помогает планировать ответ и проверять его перед выдачей, чтобы лучше соблюдать многошаговые и ограниченные требования. Она относится к плотной архитектуре Qwen3ForCausalLM, содержит 3,7 млрд параметров, принимает текст и выдаёт текст; максимальный контекст — 40 960 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Apollo Raines представляет эту модель как вариант Llama 3.1 8B Instruct, изменённый инструментом jBlaze для усиления следования контексту и аналитического рассуждения. По README, изменения внесены непосредственно в веса без дополнительного обучения; метаданные каталога классифицируют происхождение как дообучение. Модель предназначена для диалоговой генерации текста и анализа предоставленных материалов с опорой на контекст. Она может отвечать на вопросы, объяснять вычисления и писать код; карточка также указывает интерфейс вызова инструментов. Модель использует плотную архитектуру LlamaForCausalLM, распространяется в формате safetensors, имеет 7,5 млрд параметров по метаданным и контекст до 131 072 токенов. В карточке указан английский язык; базовая Llama 3.1 8B Instruct описана как многоязычная. Автор предупреждает, что публичная версия намеренно ослаблена и выпущена как демонстрация возможностей jBlaze. Лицензия — llama3.1.

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — крупная языковая модель для генерации текста, разработанная NVIDIA на основе Llama 3.1 Nemotron 70B Instruct. Представленная версия распространяется в формате GGUF; квантизация выполнена bartowski с использованием llama.cpp версии b3901. Модель ориентирована на повышение полезности ответов на пользовательские запросы и предназначена для диалоговых приложений, ассистентов и других сценариев текстовой генерации. Модель содержит 70 миллиардов параметров, поддерживает контекст длиной до 128 тысяч токенов и предназначена прежде всего для работы с английским языком. В README указана специализация на текстовой модальности и приведены результаты оценки: Arena Hard — 85,0, AlpacaEval 2 LC — 57,6 и GPT-4-Turbo MT-Bench — 8,98. В качестве набора данных указан NVIDIA HelpSteer2. К сильным сторонам относятся большой контекст, высокая заявленная полезность ответов и возможность использования GGUF-версии в совместимых инструментах локального запуска. Модель может генерировать неточные, вредные или неподходящие ответы, а README не содержит подробностей о требованиях к аппаратному обеспечению и конкретном варианте квантизации. Лицензия указана как llama3.1; условия её применения следует проверять в исходной карточке модели NVIDIA.

Это 4-битно квантованная версия инструкционной языковой модели Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на базе модели Meta Llama 3.2. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, составление и преобразование текста. Формат ориентирован на использование с экосистемой MLX; в метаданных также указана совместимость с библиотекой Transformers. Модель относится к текстовым, одномодальным моделям и содержит около 3 млрд параметров. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Ключевая особенность — 4-битное квантование, которое снижает требования к памяти и может облегчать локальный запуск, но потенциально ограничивает точность по сравнению с полноразмерной версией. Длина контекста и другие характеристики архитектуры в представленном README не указаны. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на безвозмездной основе при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные требования.

Llama-3-Smaug-8B — языковая модель Abacus.AI для диалогов и генерации текста. Она создана дообучением meta-llama/Meta-Llama-3-8B-Instruct по рецепту Smaug, ориентированному на повышение качества многоходовых разговоров в практических сценариях. Модель использует плотную архитектуру Llama, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов; веса доступны в формате safetensors для Transformers. Модель подходит для диалоговых помощников и задач генерации текста. В карточке приведено сравнение на MT-Bench: средняя оценка Smaug-8B составила 8,33 против 8,10 у исходной Meta-Llama-3-8B-Instruct. В данных также указаны обучающие наборы для математических задач, кода и диалогов. Метаданные указывают лицензию llama2; перед использованием следует учитывать условия лицензии Meta Llama 2.

Meta-Llama-3-8B-Instruct-GGUF — квантизированная версия 8-миллиардной инструкционно дообученной языковой модели Meta Llama 3, разработанной Meta. Квантизацию выполнила SanctumAI. Модель предназначена прежде всего для диалоговых сценариев, генерации текста и выполнения инструкций; поддерживает работу через формат GGUF и различные варианты квантизации, рассчитанные на запуск с уменьшенными требованиями к памяти. Модель является текстовой и, согласно карточке, поддерживает английский язык. Исходная модель относится к семейству Llama 3 с размерами 8B и 70B, однако для данной версии указан размер 8B. Доступны варианты от Q2_K до Q8_0, а также f16; размер файлов составляет примерно от 3,18 до 16,07 ГБ, оценочное потребление памяти — от 7,20 до 19,21 ГБ в зависимости от варианта. Карточка не указывает размер контекстного окна и конкретную архитектуру. Сильные стороны модели — оптимизация для диалогов, заявленная высокая эффективность на распространённых отраслевых бенчмарках среди открытых чат-моделей, а также возможность выбрать баланс качества и требований к памяти с помощью квантизации. Ограничения включают возможные неточные, вредные, оскорбительные или вводящие в заблуждение ответы; результаты требуют проверки. Модель распространяется по лицензии Llama 3; точные условия следует уточнять в файле LICENSE.

MiniAI Quata1.5 (4B) — компактная языковая модель MiniAI на базе Qwen3-4B, дообученная для диалогов, следования инструкциям, рассуждений и генерации текста. Модель содержит около 3,7 млрд параметров, использует плотную архитектуру Qwen3 и принимает текст; метаданные указывают контекст до 40 960 токенов. Карточка также описывает вариант GGUF с квантизацией Q4_K_M размером около 2,5 ГБ и локальный запуск через Ollama. Модель рассчитана на локальное использование, в том числе на потребительском оборудовании, и может применяться для ответов на вопросы, работы с длинными документами и генерации кода. README приводит результаты тестов MMLU, ARC-Challenge, GSM8K и TruthfulQA, однако методика и условия этих сравнений не описаны. Указана лицензия Apache 2.0; метаданные связывают репозиторий с базовой моделью Qwen/Qwen3-4B.

Mistral-Nemo-Instruct-2407-bnb-4bit — это 4-битная версия инструкционной языковой модели Mistral Nemo, опубликованная Unsloth. Модель предназначена для генерации и обработки текста по инструкциям, диалоговых сценариев, а также для дообучения на собственных наборах данных с использованием экосистемы Transformers и инструментов Unsloth. Из README известно, что модель относится к семейству Mistral Nemo и рассчитана на работу с английским языком. Она доступна в формате 4-битного квантования bnb, что снижает требования к памяти и делает запуск и дообучение более доступными на ограниченных GPU-ресурсах. Указана интеграция с Transformers, а после дообучения модель можно экспортировать в GGUF или использовать через vLLM. Точный размер модели, архитектурные параметры и длина контекста в представленном README не указаны. К сильным сторонам относятся экономичное использование памяти и поддержка сценариев быстрого дообучения, включая beginner-friendly ноутбуки Unsloth. Ограничения связаны с тем, что README не содержит результатов оценки качества, подробностей о датасете и точных характеристик производительности именно этой версии. Модель распространяется по лицензии Apache-2.0.

heretic-org/Nanbeige4.1-3B-heretic — англо-китайская разговорная языковая модель на 3,5 млрд параметров, созданная на основе Nanbeige/Nanbeige4.1-3B. Это вариант с abliteration: в карточке приведено сравнение, где доля отказов снизилась с 96 до 4 из 100, а KL-дивергенция относительно исходной модели указана как 0,0001. Модель рассчитана на генерацию текста и диалоги; базовая модель ориентирована на многошаговые рассуждения, программирование, поиск и работу с инструментами. Модель использует плотную архитектуру семейства Llama и доступна в формате Safetensors для Transformers. Заявленная длина контекста — 262 144 токена. В README базовой модели описаны сильные результаты в задачах рассуждения и агентного поиска, включая многошаговое решение задач с вызовами инструментов; метаданные указывают поддержку английского и китайского языков. Лицензия — Apache-2.0. В README отмечено, что модель может выдавать неожиданные ответы, включая предвзятое или дискриминационное содержание. Снижение числа отказов может означать, что модель чаще отвечает на запросы, которые исходная версия отклоняет; при применении следует учитывать это поведение.

Nanbeige4-3B-Thinking-2511-GGUF — квантизированная GGUF-версия языковой модели Nanbeige4-3B-Thinking-2511, разработанной командой Nanbeige и созданной на базе Nanbeige4-3B-Base. Модель предназначена для генерации текста, диалогов, решения сложных задач с рассуждением, агентских сценариев и вызова функций. Указана поддержка английского и китайского языков; модель относится к текстовым causal language models и запускается с использованием llama.cpp или совместимых инструментов. Точный размер контекста и число параметров в README не указаны, однако из названия следует размер порядка 3 млрд параметров. Модель улучшена по сравнению с Nanbeige4-3B-Thinking-2510 с помощью дистилляции знаний и целевой оптимизации методом reinforcement learning. Заявлены сильные результаты в рассуждении, function calling, эмоциональном интеллекте и творческом письме, включая высокие позиции на Berkeley Function Calling Leaderboard, EQBench3 и WritingBench. В репозитории также описан метод повышения точности отдельных важных слоёв при квантизации, увеличивающий размер файлов, но улучшающий качество на заданном уровне битности. Ограничения включают риск неожиданных, вредных, предвзятых или дискриминационных ответов; модель не гарантирует полную безопасность и требует проверки результатов. Конкретный формат GGUF и степень квантизации следует выбирать с учётом доступных ресурсов и требований к качеству. Лицензия — Apache-2.0.

Карточка модели ashton25549/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель общего назначения от NVIDIA для диалога, рассуждений и генерации текста. Это эталонные веса в формате BF16, предназначенные прежде всего для дообучения, адаптации к предметным областям, исследований и подготовки собственных квантованных вариантов. Модель готова к коммерческому использованию; в карточке лицензия указана как other. Архитектура — гибридная Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными слоями Attention; также используются слои Multi-Token Prediction. В README заявлены 30 млрд параметров всего и 3 млрд активных, а в метаданных каталога — 1,9 млрд параметров. Модель поддерживает контекст до 262 144 токенов по метаданным; README указывает до 1 млн токенов для отдельных конфигураций оборудования. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а README дополнительно описывает посттренировочные данные на китайском. Модель предназначена для настройки под пользовательские данные с помощью SFT, RL или дистилляции, а также для оценки и генерации текста в чат- и агентных сценариях. Полноточный вариант требует значительных ресурсов для инференса: README приводит 256K контекста для одной H100 80 GB и конфигурации до 1 млн токенов на более мощном оборудовании. Для более быстрой производственной генерации NVIDIA рекомендует отдельную NVFP4-версию.

Occiglot-7B-DE-EN-Instruct — инструктивная языковая модель Occiglot Research Collective для генерации текста и диалогов на английском и немецком языках. Это плотный decoder-only трансформер на архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; модель принимает ChatML-шаблон. Также обучена следовать инструкциям, связанным с кодом. Модель подходит для ответов на вопросы, диалоговых помощников и выполнения текстовых инструкций на английском и немецком. Она прошла полное инструктивное дообучение на 180 млн дополнительных токенов мультиязычных и кодовых инструкций. Авторы предупреждают, что модель не проходила выравнивание по безопасности и может выдавать проблемный контент; результаты оценки для немецкого следует трактовать осторожно из-за использования частично машинно переведённых наборов и английских промптов. Лицензия — Apache 2.0.

OpenHermes-Mixtral-8x7B — инструктивная языковая модель на архитектуре Mixtral MoE, созданная дообучением Mistral AI Mixtral-8x7B-Instruct-v0.1. Модель разработана автором репозитория orangetin и обучена в течение трёх эпох на датасете OpenHermes, опубликованном Teknium. Модель предназначена для диалогов, следования инструкциям и генерации текста по запросу. Она поддерживает многоходовые беседы и системные инструкции через шаблон запросов LLaMA 2; заявленная длина контекста — 32 768 токенов. В карточке приведены результаты оценивания на бенчмарках рассуждений и понимания текста. Репозиторий содержит веса в формате safetensors. Модель имеет 7,1 млрд параметров по метаданным и распространяется по лицензии Apache 2.0. Карточка указывает английский язык; качество на других языках отдельно не описано.

Это GGUF-квантизация модели Qwen3.8-27B-Uncensored, разработанной orcarouter и подготовленной пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска в совместимых инструментах, включая llama.cpp. Модель поддерживает работу с текстом и изображениями при использовании отдельного файла mmproj, а также speculative decoding через MTP. Она ориентирована на рассуждения, function calling, vision-language-сценарии, red teaming и другие задачи генерации и анализа контента. Заявлены английский и китайский языки. README не указывает размер контекстного окна и конкретную архитектуру базовой модели. Доступны варианты от BF16 до различных уровней квантования GGUF. Q6 и Q5 позиционируются как варианты очень высокого или высокого качества, а Q4_K_M — как сбалансированный вариант по размеру и качеству; менее точные варианты требуют меньше оперативной памяти. К ограничениям относятся необходимость значительных аппаратных ресурсов для крупных файлов, зависимость мультимодального режима от mmproj и отсутствие в README подробных результатов оценки качества. Указанная лицензия — Apache-2.0.

ThomasBaruzier/Qwen2.5-1.5B-Instruct-GGUF — набор imatrix-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen. Репозиторий предназначен для запуска через llama.cpp и содержит варианты с разными уровнями сжатия, размером примерно от 417 МБ до 1,57 ГБ, а также версию F16 размером 2,95 ГБ. Модель представляет собой причинную текстовую модель на 1,54 млрд параметров с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, GQA и связанными эмбеддингами слов. Она предназначена для диалогов, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Поддерживаются более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Полный контекст составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Ключевое преимущество репозитория — широкий выбор квантизаций, позволяющий выбирать между компактным размером и сохранением качества; для вариантов указаны показатели perplexity и относительной точности. Ограничениями являются небольшой по современным меркам размер модели и ожидаемое снижение качества у наиболее агрессивно сжатых вариантов. Модель распространяется по лицензии Apache-2.0.

SirSahOl подготовил конверсию инструктивной языковой модели Qwen2.5-7B-Instruct для запуска через MLX на устройствах Apple Silicon. Это плотная авторегрессионная модель Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров. Репозиторий содержит веса в формате safetensors с точностью 16 бит; модель поддерживает контекст до 32 768 токенов. Она предназначена для диалогов, генерации текста, кода и структурированных ответов, а также для локальной оценки и сравнения результатов на совместимых устройствах Apple. Модель подходит для разработки и тестирования чат-приложений, помощи с кодом и ответов на инструкции. Для запуска требуется около 15,2 ГБ объединённой памяти по оценке README; фактическая скорость зависит от устройства и длины контекста. Конверсия оптимизирована для GPU Apple Silicon и не предназначена для обычного запуска в других средах MLX. Лицензия — Apache-2.0.