II.4Отладка, тестирование и качество ПО

Qwen3.5-9B-GGUF — это квантизированная версия языковой модели Qwen3.5-9B, распространяемая в формате GGUF. Исходную модель разработала команда Qwen; преобразование и квантизацию выполнила unsloth. Репозиторий tinnlab/Qwen3.5-9B-GGUF является зеркалом без изменений: Tin Nguyen Lab не обучала, не дообучала и не квантизировала модель. В поставке доступен один файл Qwen3.5-9B-Q4_K_M.gguf размером около 5,68 ГБ с квантизацией Q4_K_M. Модель предназначена для локальной генерации текста, текстового диалога и использования инструментов без API-ключа. В данном репозитории поддерживаются только текстовые сценарии; мультимодальный проектор отсутствует, поэтому обработка изображений и видео невозможна. Дополнительные сведения об архитектуре, языках и размере контекста в предоставленной карточке не указаны. Модель распространяется по лицензии Apache-2.0. Репозиторий общедоступен и не требует токена, учётной записи или соглашения о доступе. Зеркало содержит только вариант Q4_K_M, поэтому для других уровней квантизации и мультимодальных компонентов необходимо обращаться к исходному репозиторию unsloth.

Qwen3.5-9B-text-only — текстовый вариант семейства Qwen3.5, опубликованный Principled Intelligence. Из контрольной точки удалены веса визуального энкодера, поэтому модель сохраняет языковую часть и генерирует текст, занимая меньше места на диске и в памяти. Архитектура — плотная причинная языковая модель Qwen3.5 с примерно 7,2 млрд параметров; заявленная длина контекста — 262 144 токена. Модель предназначена для диалогов и генерации текста в задачах, поддерживаемых исходной языковой моделью Qwen3.5. По карточке, она использует тот же токенизатор и шаблон чата, что и исходная модель; загрузка поддерживается через Transformers, начиная с версии 5.2.0. Контрольная точка распространяется в формате safetensors по лицензии Apache-2.0. Удаление визуального энкодера уменьшает размер файлов примерно на 7%, а потребление VRAM — примерно на 5% по сравнению с Qwen3.5-9B. Модель не принимает изображения. В README указана проверка только с Transformers; совместимость с vLLM, SGLang, llama.cpp, Ollama и другими движками пока не заявлена. Автор также характеризует публикацию как экспериментальную, а не как готовую производственную линейку.

Qwen3.6-27B-uncensored-abliterated-i1-IQ4_XS-GGUF-Smaller — квантованная GGUF-версия модели Qwen3.6-27B, опубликованная lemonyins. В основе используется abliterated-версия Huihui-Qwen3.6-27B от mradermacher, ориентированная на локальный инференс и исследовательское использование. Модель поддерживает обработку текста и, опционально, изображений при подключении vision-модуля mmproj-BF16.gguf. В модели применена гибридная квантование: ключевые attention-слои используют IQ4_XS, а FFN-слои — более компактный IQ3_S. Это уменьшает размер весов и позволяет эффективнее использовать память под KV-кэш; при поддержке TurboQuant заявлен контекст до 160–200 тысяч токенов при потреблении около 15,3–15,4 ГБ VRAM. На NVIDIA RTX 4060 Ti 16GB скорость текстового инференса составляет примерно 18–20 токенов в секунду. Основные преимущества — существенно больший доступный контекст и сохранение внимания к качественно важным attention-слоям, однако снижение точности FFN-квантования может ухудшать результаты отдельных задач, включая некоторые сценарии фактического запоминания. Приведённые показатели памяти требуют сборки llama.cpp с поддержкой TurboQuant; без неё расход VRAM будет выше. Лицензия — Apache-2.0.

Qwen3.8-19B-Pruned-GGUF — набор официальных GGUF-квантований модели ewinregirgojr/Qwen3.8-19B-Pruned, опубликованный и квантованный ewinregirgojr. Модель предназначена для локальной генерации текста, диалоговых сценариев, задач рассуждения и function calling на потребительском оборудовании. Поддерживаются Ollama, LM Studio, Jan, llama.cpp, Unsloth, LocalAI и Open WebUI. Модель основана на архитектуре Qwen3.8 и использует 30% структурированной разреженности SparseGPT; заявлено около 18,9 млрд активных ненулевых параметров при сохранении 866 текстовых слоёв. Доступны варианты Q4_0, Q6_K и Q8_0 размером 17,79, 23,20 и 29,30 ГБ соответственно. Максимальная длина контекста заявлена до 262 144 токенов. Указаны английский и китайский языки, текстовая модальность и формат GGUF для локального инференса. В README приведены результаты MMLU 81,5% и GSM8K 86,9%, однако методика и воспроизводимость этих показателей требуют самостоятельной проверки. Сильные стороны — уменьшенный объём весов, возможность запуска на распространённых GPU и оптимизация для локального использования; для Q4_0 заявлена совместимость с видеокартами от 24 ГБ памяти, тогда как более точные варианты требуют больше RAM или VRAM. Ограничения связаны с компромиссом между размером, точностью и требованиями к оборудованию, а также с тем, что разреженность не обязательно ускоряется всеми программными стеками. Модель распространяется по лицензии Apache-2.0.

Fmuaddib/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16-mlx-8Bit — языковая модель для генерации текста, преобразованная в формат MLX из AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 с использованием mlx-lm 0.31.2. Модель относится к семейству Qwen3.8 и имеет 27 млрд параметров; в метаданных указана поддержка английского, китайского и других языков. Модель предназначена для диалоговых и инструкционных сценариев, программирования, рассуждений, а также заявленных в метаданных задач function calling и tool calling. Для запуска используется библиотека mlx-lm, предусмотрена работа с chat template. В метаданных также отмечены vision и multimodal, однако README не содержит подробностей о поддерживаемых форматах входных данных и возможностях обработки изображений. Ключевая особенность этой версии — представление в MLX с 8-битным квантованием, что ориентировано на запуск в экосистеме Apple Silicon и может снизить требования к памяти по сравнению с полноразмерной версией. При этом README не приводит результаты тестов, сведения о размере контекста, точной архитектуре, аппаратных требованиях или сравнительных оценках качества. Модель распространяется по лицензии Apache-2.0.

Agens Pilot NOESIS BF16 — это мультимодальная языковая модель примерно на 27 млрд параметров, разработанная Blockway и выпущенная AMAImedia в составе платформы автоматизации многоязычного дубляжа NOESIS. Это дообученная версия Qwen3.8-27B с архитектурой Qwen3.5 для генерации текста по текстовым и визуальным входам; репозиторий содержит веса BF16 в формате Safetensors. Модель рассчитана на контекст до 1 млн токенов, включая расширение YaRN сверх нативных 262 144 токенов. Модель предназначена для диалоговых помощников и агентных сценариев, особенно для пользователей Гонконга и региона Гуандун. Карточка выделяет письменный кантонский с гонконгской лексикой и регистром, ответы на сложные исторические и геополитические вопросы с несколькими перспективами, следование инструкциям, вызов инструментов, программирование и задачи «изображение—текст». Заявлены также китайский и английский языки; метаданные указывают широкий набор дополнительных языков. По результатам внутренней проверки разработчика модель показала более сбалансированные ответы на небольшом наборе сложных вопросов, при этом поведение отказа на универсально вредоносные запросы сохранилось. Эти результаты ориентировочные: набор мал, оценки получены в одном запуске, а показатели внутренних тестов напрямую несопоставимы с внешними бенчмарками. Модель может ошибаться в фактах, визуальная математика названа слабой стороной; кантонское поведение лучше всего охватывает письменный гонконгский вариант. Лицензия Apache-2.0 допускает коммерческое использование.

Distillio/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, разработанной Qwen и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска задач генерации и анализа текста, а также обработки изображений при использовании совместимого файла mmproj. Модель поддерживает мультимодальный ввод текста и изображений, speculative decoding с использованием MTP и квантизацию imatrix. Доступны варианты от BF16 и Q8_0 до более компактных Q2_K и IQ3/IQ4, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Рекомендуемым компромиссом README называет Q4_K_M размером около 17,77 ГБ; более высокое качество обеспечивают Q5 и Q6, а варианты Q2–Q3 рассчитаны на ограниченный объём оперативной памяти, но заметно уступают по качеству. Для запуска требуется совместимое программное обеспечение, в частности llama.cpp; для работы с изображениями необходим mmproj-файл. README не указывает поддерживаемые языки и размер контекста, поэтому эти характеристики нельзя надёжно определить по представленным данным. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-Next-80B-A3B-Instruct-4bit — это 4-битно квантизированная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.27.1. Модель предназначена для генерации текста и выполнения задач по инструкциям в приложениях, использующих экосистему MLX, включая локальный запуск через библиотеку mlx-lm. Из README известно, что модель является текстовой и относится к pipeline text-generation. В её названии указаны размер 80B и конфигурация A3B, однако подробности архитектуры, поддерживаемые языки, длина контекста и набор модальностей не приведены. Ключевое преимущество версии — 4-битное представление, потенциально уменьшающее требования к памяти при локальном использовании, но README не содержит данных о качестве, производительности или ограничениях квантизации. Модель распространяется по лицензии Apache-2.0.

CultriX/SeQwence-14Bv3 — объединённая модель семейства Qwen2, созданная CultriX методом DARE TIES с помощью mergekit. В качестве основы использована CultriX/SeQwence-14Bv1, также в объединение вошли CultriX/SeQwence-14Bv2 и CultriX/Qwestion-14B. Модель предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. Она содержит 14 млрд параметров, использует архитектуру Qwen2ForCausalLM и поддерживает контекст до 131 072 токенов. В карточке приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH. Модель принимает текст и генерирует текст. Языковая поддержка отдельно не перечислена. Репозиторий содержит веса в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Yi-1.5-34B-Chat-16K-GGUF — GGUF-квантизированная версия диалоговой языковой модели Yi-1.5-34B-Chat-16K, разработанной 01-ai и квантизированной компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая локальное развёртывание через LlamaEdge. Она использует архитектуру Yi, поддерживает шаблон запросов ChatML и контекст длиной до 16 384 токенов. Доступны варианты с точностью от 2 до 16 бит и размером файлов примерно от 12,8 до 36,5 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень небольшой потерей качества. Более сильное сжатие уменьшает требования к памяти, но приводит к заметной потере качества; полноформатные F16-файлы требуют существенно больше ресурсов. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии yi-license; подробные условия приведены в файле LICENSE. Для работы требуется совместимый рантайм, например LlamaEdge версии 0.10.0 или выше, с использованием соответствующего GGUF-файла.

Zamba2-7B-Instruct — диалоговая языковая модель Zyphra, дообученная на наборах данных для следования инструкциям и общения на основе Zyphra/Zamba2-7B. Это плотная гибридная архитектура, сочетающая слои пространства состояний Mamba2 с блоками внимания Transformer; общие веса внимания и LoRA-проекции помогают ограничить дополнительные параметры. В метаданных указано 16,8 млрд параметров, а базовый контекст составляет 4096 токенов. Модель предназначена для генерации ответов в чате, выполнения инструкций, рассуждений и других задач общего назначения. В README описан экспериментальный режим контекста до 16 тысяч токенов с резким снижением качества примерно после 18 тысяч. Разработчик заявляет о низкой задержке генерации и меньших затратах памяти по сравнению с сопоставимыми трансформерными моделями, однако оптимизированные ядра Mamba2 требуют отдельной установки; без них задержка и расход памяти значительно выше. Также README предупреждает о временной реализации Hugging Face, совместимость которой с некоторыми инструментами может быть неполной. Лицензия — Apache-2.0.

ZEUS-8B-V16 — объединённая инструкционная языковая модель T145, созданная методом DARE TIES с помощью mergekit на основе нескольких моделей Llama 3.1. В объединение вошли VAGOsolutions/Llama-3.1-SauerkrautLM-8b-Instruct, arcee-ai/Llama-3.1-SuperNova-Lite, unsloth/Llama-3.1-Storm-8B и unsloth/Meta-Llama-3.1-8B-Instruct. Модель имеет архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и принимает запросы в контексте до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; интерфейс также поддерживает вызов инструментов. В README приведены результаты Open LLM Leaderboard, включая 79,25% на IFEval и 32,53% на BBH, однако этих показателей недостаточно для выводов о качестве во всех сценариях. Лицензия в предоставленных данных не указана.

Agens Pilot — мультимодальная языковая модель Blockway, гонконгской компании, построенная на базе Qwen/Qwen3.8-27B и дообученная для агентных сценариев и письменного кантонского языка. Это плотная модель с архитектурой Qwen3.5, примерно 27 млрд параметров, которая принимает текст и изображения и генерирует текст. Поддерживает контекст до 1 048 576 токенов; карточка указывает китайский и английский, а разработчик отдельно отмечает приоритет кантонского, традиционного и упрощённого китайского и английского. Модель предназначена для кантонских ассистентов и чат-ботов, работы с длинными документами, анализа изображений, программирования и многошаговых агентных задач с вызовом инструментов. Разработчик сообщает об улучшении многостороннего изложения сложных исторических и геополитических вопросов на внутреннем наборе из 20 запросов; результаты имеют малый объём выборки и не являются независимой комплексной оценкой. Модель распространяется по лицензии Apache-2.0, допускающей коммерческое использование. Известные ограничения: точность фактов не гарантируется, ответы по сложным вопросам требуют проверки человеком; письменный кантонский в варианте Гонконга охвачен лучше других разновидностей юэ. Разработчик также отмечает слабую способность к визуальной математике и возможное снижение согласованности INT4-версии на неоднозначных фактических вопросах.

bartowski/arcee-ai_Trinity-Large-Thinking-GGUF — это GGUF-квантизации текстовой генеративной модели Trinity-Large-Thinking, разработанной arcee-ai. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач рассуждения, агентских сценариев и вызова инструментов, а также для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI и совместимые интерфейсы. Модель работает с текстом и поддерживает английский, испанский, французский, немецкий, итальянский, португальский, русский, арабский, хинди, корейский и китайский языки. Доступны варианты квантизации от Q8_0 до более компактных Q3 и IQ3/IQ4; заявленный размер файлов составляет примерно от 181 до 424 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти, тогда как компактные варианты рассчитаны на системы с ограниченными ресурсами. Архитектура, число параметров и размер контекста в README не указаны. Сильными сторонами являются поддержка многоязычной генерации, задач рассуждения и агентского взаимодействия, а также широкий выбор квантизаций. Ограничениями выступают очень большие требования к дисковому пространству и памяти, зависимость совместимости от обновлений используемого программного обеспечения и возможное снижение качества у компактных вариантов. Модель распространяется по лицензии Apache-2.0.

BigQwen2.5-125B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели BigQwen2.5-125B-Instruct, разработанной mlabonne. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix; модель предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск через llama.cpp и LM Studio. В README указан английский язык. Модель имеет заявленный размер 125 миллиардов параметров и доступна в нескольких вариантах квантизации от Q8_0 до IQ1_M. Более качественные варианты Q6_K, Q5_K_M и Q4_K_M рекомендованы автором, тогда как низкобитные варианты требуют меньше памяти, но заметно уступают по качеству. Размер файлов составляет примерно от 40,59 до 133,22 ГБ, поэтому для запуска необходима система с большим объёмом оперативной или видеопамяти. Модель поддерживает специальный формат промптов Qwen с ролями system, user и assistant. Архитектура, размер контекста и мультимодальные возможности в README не указаны; по представленным данным это текстовая модель без подтверждённой поддержки изображений или других модальностей. Лицензия обозначена как other с названием tongyi-qianwen и ссылкой на лицензию Qwen2-72B-Instruct.

Command-R-01-Ultra-NEO-V1-35B-IMATRIX-GGUF — текстовая генеративная модель в формате GGUF на базе CohereLabs c4ai-command-r-v01, доработанная разработчиком DAVID_AU с использованием собственной технологии IMATRIX NEO V1. Модель предназначена для общего использования, следования инструкциям, общения, ролевых сценариев и творческой генерации, включая рассказы и художественные тексты. В README указан английский язык, размер базовой модели — 35 млрд параметров, а максимальный контекст — до 128 тысяч токенов. Для работы требуется специальный chat-шаблон Command-R. Заявленные сильные стороны — улучшенное следование инструкциям, качество вывода, работа с длинными текстами и более сильные связи между идеями и концепциями. Доступны варианты с разными уровнями GGUF-квантизации; качество, стиль и результаты генерации могут заметно различаться между квантами, поэтому выбор следует адаптировать под конкретный сценарий и доступные ресурсы. README также рекомендует настройку сглаживания sampling для некоторых интерфейсов. Модель распространяется по лицензии Apache-2.0.

Citaman/command-r-37-layer — объединённая с помощью mergekit модель на архитектуре Cohere для генерации текста и диалогового взаимодействия. В README описано слияние методом SLERP двух срезов модели Citaman/command-r-38-layer; метаданные классифицируют результат как дообучение этой базовой модели. Модель содержит 32,5 млрд параметров, использует формат safetensors и рассчитана на контекст до 8192 токенов. Она предназначена для текстовых запросов, чата и сценариев с интерфейсом вызова инструментов. Лицензия в предоставленных данных не указана.

MLX-версия модели DeepSeek-R1-Distill-Qwen-32B, разработанной DeepSeek и производной от Qwen. Данная сборка преобразована сообществом mlx-community в формат MLX с использованием mlx-lm 0.21.1 и предназначена для локального запуска и генерации текста через библиотеку mlx-lm, прежде всего на устройствах Apple, поддерживающих MLX. Из README известно, что модель имеет размер 32B параметров и использует 8-битное представление весов. Она является текстовой языковой моделью; конкретные сведения об архитектуре, поддерживаемых языках, длине контекста, сильных сторонах и ограничениях в карточке не указаны. Для работы требуется установить mlx-lm и загрузить модель через его API. Лицензия и условия коммерческого или иного использования в README не указаны. Для точной оценки прав использования следует обратиться к карточке базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-32B и к условиям публикации конвертированной версии.

bartowski/DeepSeek-R1-Distill-Qwen-7B-GGUF — это набор квантизированных версий языковой модели DeepSeek-R1-Distill-Qwen-7B, подготовленный bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста и локального инференса на устройствах с ограниченными ресурсами. В основе лежит модель размером 7B параметров; точная архитектура, поддерживаемые языки и размер контекста в представленном README не указаны. Доступны версии от F32 и F16 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3 и Q2 с размером файлов примерно от 3,55 до 30,47 ГБ. Квантизация выполнена с использованием llama.cpp и imatrix, а для запуска рекомендуется применять указанный формат prompt. Сильная сторона набора — широкий выбор компромиссов между качеством, размером файла и требованиями к памяти: версии Q6 и Q5 заявлены как обеспечивающие очень высокое или высокое качество, а Q4 — как подходящие для большинства сценариев. Более компактные варианты предназначены для систем с небольшим объёмом RAM, но могут заметно уступать по качеству. Лицензия в README не указана, поэтому условия использования следует уточнять в документации исходной модели и репозитория.

DeepSeek-V2-Lite-Chat-GGUF — это квантизированная GGUF-версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek-ai и подготовленной компанией Second State Inc. Модель предназначена для локального запуска и генерации ответов в формате чат-ассистента; в README также указана совместимость с LlamaEdge версии 0.12.3 и выше. Модель поддерживает контекст размером до 128 000 токенов и использует шаблон запросов deepseek-chat-2. В репозитории доступны варианты квантования от Q2_K до Q8_0, а также f16, с размером файлов примерно от 6,43 до 31,4 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Более сильное квантование уменьшает требования к памяти, но может заметно снижать качество ответов. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках и модальностях, поэтому эти характеристики нельзя уточнить. Модель распространяется по лицензии DeepSeek с обозначением other; ссылка на условия лицензии приведена в исходном описании.

Experiment28M7_YamshadowT3q — объединённая языковая модель семейства Mistral, созданная на основе automerger/Experiment28M7-7B и automerger/YamshadowT3q-7B. Она предназначена для генерации текста и может использоваться для составления ответов на запросы, в том числе математические. Модель содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Fusion-14B-Instruct — объединённая языковая модель на архитектуре Qwen2, созданная автором репозитория с помощью mergekit. В основе объединения лежит Qwen/Qwen2.5-14B; также использованы arcee-ai/Virtuoso-Small и qingy2024/Qwen2.5-Math-14B-Instruct-Preview. Применён метод DARE TIES, веса сохранены в формате safetensors; размер модели — 14 млрд параметров. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, рассуждений и математических задач. Она поддерживает интерфейс вызова инструментов. Контекст составляет до 131 072 токенов. В метаданных указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Лицензия в предоставленных данных не указана.

Gemma 3 1B IT QAT Q4_0 GGUF — лёгкая инструкционная мультимодальная модель Google DeepMind из семейства Gemma, созданная на основе технологий, использованных в Gemini. Модель принимает текст и изображения и генерирует текст; версия предназначена для запуска в формате GGUF, в том числе через llama.cpp и совместимые среды. Модель имеет размер 1B параметров, использует квантизацию Q4_0 и Quantization Aware Training, благодаря чему снижает требования к памяти при сохранении качества, близкого к версии bfloat16. Для варианта 1B заявлено контекстное окно до 32K токенов, максимальный объём генерируемого ответа — 8192 токена. Изображения обрабатываются с нормализацией до 896×896 пикселей и кодированием в 256 токенов; модель поддерживает более 140 языков. Gemma 3 1B IT подходит для генерации текста, ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Небольшой размер облегчает локальное развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ограничения включают меньший контекст по сравнению с более крупными версиями Gemma 3 и зависимость мультимодальных возможностей от используемого программного обеспечения: например, указанное использование через Ollama поддерживает только текстовый ввод. Доступ к модели на Hugging Face требует принятия условий лицензии Google Gemma; точные условия определяются лицензией Gemma.

Это GGUF-квантизированная instruction-модель gemma-4-31B-it, разработанная Google и подготовленная в вариантах квантизации bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых и генеративных задач и может запускаться локально через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README также указан pipeline image-text-to-text, однако подробности о поддерживаемых визуальных входах не приведены. Модель содержит 31 млрд параметров; доступны варианты от BF16 до различных уровней 8-, 6-, 5-, 4- и 3-битной квантизации. Размер файлов составляет примерно от 13,84 до 61,41 ГБ. Высокоточные варианты обеспечивают лучшее сохранение качества, а более компактные подходят для систем с ограниченной оперативной памятью, но могут заметно уступать по качеству. Для некоторых форматов заявлена оптимизация под CPU ARM и Apple Silicon. Используется специальный шаблон диалога с ролями system, user и model; для недавно поддерживаемых моделей может потребоваться обновление программного обеспечения. Модель распространяется по лицензии Apache-2.0 с дополнительными условиями Gemma; точные требования следует проверять в документации Google. README не содержит данных о длине контекста, списке языков, конкретных бенчмарках и системных требованиях, поэтому эти характеристики нельзя достоверно оценить.

professorf/gpt-oss-20b-mxfp4-gguf — GGUF-квантизация модели gpt-oss-20b, опубликованная профессором Ником В. Флором. Это открытая языковая модель OpenAI семейства gpt-oss с архитектурой MoE: около 21 млрд параметров, из которых активно используются 3,6 млрд. Вариант MXFP4 рассчитан на локальный запуск и, согласно карточке, укладывается примерно в 16 ГБ памяти; модель работает в формате диалога Harmony и поддерживает настройку уровня рассуждений. Модель предназначена для диалога, генерации текста, задач рассуждения и агентных сценариев, включая вызов функций и работу с инструментами. Её можно запускать через Transformers, vLLM, Ollama и LM Studio. Карточка предупреждает, что формат Harmony обязателен для корректной работы, а цепочку рассуждений не следует показывать конечным пользователям. Лицензия — Apache 2.0.

primitive-ai/K2-Horizon-MoVA-36B-A4B-NVFP4 — это квантованная версия модели IFM/K2-Horizon-MoVA-36B-A4B, подготовленная командой Primitive AI. Модель предназначена для генерации текста, рассуждений и сценариев с вызовом инструментов; поддерживает использование через Transformers и vLLM. Архитектура — MoE с 36B параметров и 4B активируемых параметров. Модель имеет контекст до 32 768 токенов и рассчитана на запуск на одной видеокарте без tensor parallelism. Языки и мультимодальные возможности в README не указаны. Веса 13 500 маршрутизируемых экспертных проекций представлены в формате NVFP4, остальные компоненты сохранены в BF16. Размер модели составляет 36,74 ГБ — примерно вдвое меньше BF16-версии и на 24% меньше официальной FP8-версии. По приведённым измерениям, уровень знаний и способность воздерживаться от неподходящих вызовов инструментов сопоставимы с BF16 и FP8, а пропускная способность при высокой конкуренции выше официальной FP8-версии. Слабее всего пострадала точность аргументов при выполняемых вызовах инструментов: она ниже FP8 примерно на 3,1 процентного пункта. Сборка совместима с GPU архитектур Ampere и Blackwell, включая проверенный запуск на NVIDIA A100 40 ГБ, и предназначена для компактного локального или серверного развертывания. Для работы требуется версия vLLM из main или nightly с поддержкой K2-Horizon; стабильные релизы до 0.28.1rc1.dev388 эту поддержку не содержат. Режим рассуждений выбирается на уровне сервера. Модель распространяется по лицензии Apache-2.0.

Llama-3.1-Nemotron-lorablated-70B — диалоговая текстовая модель на архитектуре Llama, созданная автором репозитория слиянием NVIDIA Llama-3.1-Nemotron-70B-Instruct-HF и mlabonne/Llama-3-70B-Instruct-abliterated-LORA с помощью mergekit и task arithmetic. Модель содержит 69,5 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы; поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и ответов на инструкции, включая запросы, на которые базовая модель могла отказываться отвечать. В метаданных также заявлен интерфейс вызова инструментов. Карточка приводит результаты оценивания на IFEval и BBH, но не описывает конкретный набор поддерживаемых языков. Модель распространяется по лицензии Llama 3.1; применимость её условий следует проверять для конкретного использования.

llm-jp-4-33b-thinking-gguf — большая языковая модель серии LLM-jp-4, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это Transformer-модель для генерации текста, диалоговых сценариев, решения инструкций и многошаговых задач на японском и английском языках. Модель представлена в формате GGUF и предназначена для локального или серверного запуска совместимых средств вывода. Модель имеет плотную архитектуру с 33,2 млрд параметров, 64 слоями, размером скрытого состояния 5120 и 40 головами внимания. Максимальная длина контекста составляет 65 536 токенов. Токенизатор основан на Unigram byte-fallback и совместим с шаблоном чата в формате OpenAI Harmony, однако для корректной работы следует использовать токенизатор из репозитория модели. Обучение включало предварительное и промежуточное обучение на 11,7 трлн токенов, а также дообучение SFT и DPO. Сильными сторонами модели являются большой контекст, поддержка японского и английского языков, а также ориентация thinking-варианта на рассуждения и выполнение сложных инструкций. README не содержит итоговых численных оценок качества, поэтому сравнивать производительность с другими моделями по этим данным нельзя. Для запуска через llama.cpp требуется специальный fork от LLM-jp с исправлениями обработки токенизатора; стандартная upstream-версия может некорректно обрабатывать чат. Модель распространяется по лицензии Apache-2.0.

Mengzi3-13B-Base — базовая языковая модель Langboat на архитектуре Llama с 13,3 млрд параметров. Она продолжительно обучалась на многоязычном корпусе объёмом в триллионы токенов, включающем веб-страницы, энциклопедии, социальные сети, СМИ, новости и открытые наборы данных. Модель предназначена для генерации текста и дальнейшей адаптации под пользовательские задачи; карточка отмечает сильные способности в китайском языке и поддержку других языков. Модель может служить основой для приложений генерации текста, а также задач по математике и программированию. В карточке приведены сравнительные результаты бенчмарков, но они не гарантируют качество на конкретных пользовательских данных. Контекст составляет 8192 токена. Репозиторий содержит веса SafeTensors, а лицензия — Apache-2.0. Разработчики предоставляют модель «как есть» и возлагают ответственность за её применение на пользователей.

Mistral-7B-Instruct-v0.2-GGUF — это квантизированная GGUF-версия языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI (mistralai) и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через LlamaEdge. Она использует шаблон запросов mistral-instruct и поддерживает контекст до 4096 токенов. Модель содержит около 7 миллиардов параметров и работает только с текстом. Доступны варианты квантизации от 2 до 8 бит в формате GGUF, различающиеся размером файлов и компромиссом между требованиями к памяти и качеством: от 3,08 ГБ для Q2_K до 7,7 ГБ для Q8_0. В README не указаны поддерживаемые языки и подробности архитектуры. Варианты с низкой разрядностью требуют меньше ресурсов, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как сбалансированные или рекомендуемые. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. Модель распространяется по лицензии Apache-2.0, однако конкретные условия использования отдельных вариантов следует соотносить с лицензией исходной модели.