II.4Отладка, тестирование и качество ПО

FreedomAISVR/Muse-Glimmer-30B-NVFP4-GGUF — квантованная сборка Muse-Glimmer-30B от Meta в формате GGUF для локального запуска через llama.cpp. Это плотный причинный трансформер с интегрированным визуальным энкодером; базовая модель насчитывает 27,8 млрд параметров и принимает изображения, в том числе снимки экрана, диаграммы и документы. Контекст достигает 131 тыс. токенов. Сборка использует NVIDIA NVFP4: 4-битные значения E2M1 с масштабированием E4M3 на группы из 16 значений; размер файла — 15,6 ГБ. Модель предназначена для генерации текста и диалогов, а также анализа изображений при локальном инференсе. Для работы с изображениями README рекомендует llama-mtmd-cli или llama-server с mmproj. Проверенная конфигурация использует llama.cpp 1647+ с поддержкой CUDA и видеокарту NVIDIA с 16 ГБ видеопамяти; NVFP4 рассчитан на GPU NVIDIA Blackwell, например RTX 50-й серии. В README приведены результаты на RTX 5060 Ti 16 ГБ: 80,2 токена/с обработки входа и 8,7 токена/с генерации. README указывает лицензию Apache 2.0 для базовой модели. Среди ограничений — требования к совместимому GPU и CUDA-ядрам; отключение рассуждений через конфигурацию не гарантируется, поэтому автор рекомендует параметр --reasoning off при запуске.

Nero-7B-slerp — диалоговая языковая модель на 7,1 млрд параметров, созданная teodortita слиянием Mistral-7B-Instruct-v0.2 и OpenHermes-2.5-Mistral-7B методом SLERP с помощью mergekit. Она предназначена для генерации текста и ответов на инструкции в диалоге; модель принимает текст и выдаёт текст. Архитектура — плотная MistralForCausalLM, контекст — до 32 768 токенов. В README приведены сравнительные результаты на AGIEval, GPT4All, TruthfulQA и Bigbench; Nero показала более высокие значения, чем обе исходные модели, на GPT4All и Bigbench. Эти результаты относятся только к указанным бенчмаркам и не гарантируют качество для конкретных запросов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

perplexity-ai/pplx-computer-qwen-3-6-35b-a3b-mlx-20260709 — локальная языковая модель, опубликованная Perplexity и предназначенная для Perplexity Computer. Она используется в сценариях Hybrid Compute на Mac: локально обрабатывает файлы, конфиденциальные сведения и действия на устройстве, тогда как облачная часть системы выполняет поиск, планирование и более сложное рассуждение. Модель доступна в формате MLX для запуска на Apple silicon. Модель относится к семейству Qwen3.6 и имеет 35 млрд параметров при конфигурации с 3 млрд активных параметров (35B-A3B). Для семейства Qwen3.6 указана разреженная hybrid-архитектура с маршрутизацией Mixture-of-Experts, сочетающая рекуррентные состояния фиксированного размера с full attention. Опубликованный checkpoint использует groupwise affine 4-bit quantization и занимает около 19,4–19,5 ГБ. Подтверждённые модальности и языки, размер контекстного окна, результаты оценки и подробности дообучения для данной версии не указаны. Сильные стороны модели — возможность локального выполнения задач с чувствительными данными, уменьшенный объём весов и оптимизация для Apple silicon. Ограничения связаны с необходимостью совместимого Mac на Apple silicon и достаточного объёма unified memory; в Hybrid Compute требуется не менее 24 ГБ, а 32 ГБ рекомендуются для лучших результатов. Лицензионные условия для этого репозитория в доступных первоисточниках явно не указаны, поэтому свободное коммерческое использование и условия перераспределения подтверждать нельзя.

Карточка модели filippovg199/Qwen2.5-7B-Instruct-abliterated-v2 на Hugging Face совпадает с карточкой huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, поэтому описание составлено по ней. Qwen2.5-7B-Instruct-abliterated-v2 — доработанная методом abliteration версия инструктивной языковой модели Qwen2.5-7B-Instruct, созданная huihui-ai. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалогов и генерации текста; она поддерживает контекст до 32 768 токенов и предназначена для работы через библиотеку Transformers. В карточке отмечены чат-возможности и интерфейс вызова инструментов. Версия позиционируется как менее ограниченная в отказах на запросы, чем исходная модель. В README приведены оценки IF_Eval 77,82, MMLU Pro 42,03 и TruthfulQA 57,81; результаты отдельных тестов отличаются от исходной Qwen2.5-7B-Instruct. Метаданные указывают языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-30B-A3B-NVFP4 — квантизированная версия языковой модели Qwen/Qwen3-30B-A3B, разработанная RedHatAI. Модель принимает и генерирует текст и предназначена для задач генерации текста, включая диалоговые сценарии и развёртывание через vLLM с OpenAI-совместимым сервером. Модель использует архитектуру Qwen3-30B-A3B, однако в представленном README не указаны подробности о числе параметров активной части, размере контекста и точном наборе поддерживаемых языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в формат FP4; квантизация выполнена с помощью LLM Compressor, а модель подготовлена для инференса в vLLM версии 0.9.1 и выше. Переход с 16 до 4 бит на параметр уменьшает размер модели на диске и требования к памяти GPU примерно на 75%, что является её основным преимуществом. К ограничениям относятся возможная потеря качества по сравнению с неквантизированной моделью и зависимость от совместимого программного стека и аппаратной поддержки. README отдельно ограничивает использование сценариями, соответствующими применимым законам и требованиям экспортного контроля, а также указывает использование на английском языке вне заявленной области применения. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-11B-A3B-Niwaki-4bit-GGUF — это GGUF-сборка модели Qwen3.6, разработанной командой Qwen и адаптированной проектом Niwaki. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая генерацию текста, диалог, рассуждения, краткие творческие задачи и программирование. В README указаны архитектура mixture-of-experts с 40 слоями, 256 маршрутизируемыми экспертами и выбором top-8 экспертов; общий размер модели составляет 11B параметров, активными являются примерно 3,05B. Размер промежуточного слоя экспертов уменьшен с 512 до 128, а контекстное окно соответствует базовой модели, но его точный размер не указан. Требуется актуальная версия llama.cpp с поддержкой Qwen3.6 и hybrid linear attention. Рекомендуемая сборка UD-Q3K занимает около 5,9 ГБ и использует структурно-ориентированное 4-битное квантование: постоянно активные компоненты хранятся с более высокой точностью, а маршрутизируемые эксперты — в компактном формате с калибровкой по матрицам важности. Также доступна сборка Q4_K_M размером около 7,0 ГБ. Модель показывает функциональные результаты в чат-сценариях, рассуждениях и кратком написании, однако её слабая сторона — продолжительная генерация кода: на длинных программных файлах возможны ранняя остановка и потеря связности. Для интенсивной работы с кодом README рекомендует более крупную 19B-модель. Лицензия — Apache 2.0; pruning, distillation и GGUF-сборки выполнены проектом Niwaki.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF. Модель предназначена для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие встроенного отказного поведения. Заявлена поддержка английского, китайского и других языков. Для изображений и видео используется отдельный vision projector в формате BF16. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, размером FFN 17408 и словарём из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный MTP/NextN, а дополнительный профиль HauhauCS FastMTP предназначен для ускорения спекулятивного декодирования. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Доступны квантизированные варианты от Q8_K_P до IQ2_M. Сильные стороны модели — широкий набор текстовых, мультимодальных, reasoning- и agentic-сценариев, большой контекст и варианты оптимизированного квантования K_P, рассчитанные на сохранение качества при уменьшенном размере. Ограничения включают потенциальные риски uncensored-поведения, отсутствие отказов на опасные запросы и необходимость отдельного vision projector для изображений и видео. В README не приведены независимые результаты оценки качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF по лицензии Apache-2.0. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа. Это плотная языковая модель на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя, размер скрытого состояния 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются английский, китайский и другие языки; заявлены текстовая, визуальная и видеомодальности. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Для обработки изображений и видео требуется отдельный vision projector в формате BF16. Модель сохраняет встроенный механизм NextN/MTP исходной Qwen3.8 и дополнительно поставляется с профилем ускорения HauhauCS FastMTP 32K, совместимым с различными текстовыми квантованиями. Доступны варианты от Q2 до Q8, включая специализированные K_P-кванты, оптимизированные для сохранения качества при уменьшенном размере. Ограничения включают значительные требования к памяти, зависимость визуального ввода от отдельного проектора и потенциальные риски некорректных или небезопасных ответов из-за uncensored-профиля; для критически важных длинноконтекстных агентских задач README рекомендует более сбалансированный вариант, если он доступен.

ashuaria/Qwen3.8-Flash-Next-GGUF-FineTuning — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen и опубликованной для запуска через llama.cpp или Unsloth Desktop. Модель предназначена для задач обработки текста и изображений, включая мультимодальные приложения и агентские сценарии с длинным контекстом. Это авторегрессионная языковая модель с vision encoder, построенная на гибридной архитектуре Qwen3.8-Flash-Next. Она использует Gated DeltaNet и Qwen Sparse Attention, Gated Residual, n-gram embedding и Mixture of Experts. Заявлено 125 млрд параметров, из которых активируется 6 млрд, дополнительно используются 51 млрд параметров n-gram embedding и 4 млрд для MTP. Модель содержит 48 слоёв, 512 экспертов с 10 маршрутизируемыми и одним общим активируемым экспертом, а её нативный контекст составляет 262 144 токена с возможностью расширения до 1 млн токенов. Сильными сторонами являются высокая эффективность активации параметров, поддержка длинного контекста, разреженное внимание на уровне блоков и сочетание текстовой и визуальной обработки. README не указывает точный список поддерживаемых языков, конкретные значения квантования GGUF, системные требования или результаты бенчмарков. Модель распространяется по лицензии qwen-community-1.0; указано, что это экспериментальный preview архитектуры, которая должна лечь в основу Qwen4, поэтому совместимость и стабильность следует проверять в целевом окружении.

Rombos-Qwen2.5-32B-lorablated — объединённая текстовая модель на 32 млрд параметров, созданная с помощью mergekit из rombodawg/Rombos-LLM-V2.5-Qwen-32b и nbeerbower/Qwen2.5-32B-abliterated-LORA. Это плотная авторегрессионная архитектура Qwen2, предназначенная для диалогов и генерации текста; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка описывает объединение методом task arithmetic, однако не приводит оценок качества или подробных сведений о языках. Как и другие крупные генеративные модели, она может выдавать неточные или вымышленные ответы; практические возможности вызова инструментов зависят от используемого интерфейса.

SciPhi-Mistral-7B-32k-Mistral-7B-Instruct-v0.2-slerp — объединённая методом SLERP диалоговая языковая модель на архитектуре Mistral, созданная из mistralai/Mistral-7B-Instruct-v0.2 и SciPhi/SciPhi-Mistral-7B-32k. Разработчик в карточке не назван. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции в диалоговом формате. Контекст модели составляет до 32 768 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0. Объединение сочетает instruct-модель Mistral с вариантом SciPhi, рассчитанным на длинный контекст; конкретные преимущества и результаты сравнительной оценки в карточке не приводятся. Модель работает с текстом; список поддерживаемых естественных языков в карточке не указан.

slerp-test-turdus-beagle — текстовая генеративная модель объёмом 7,1 млрд параметров, созданная объединением udkai/Turdus и mlabonne/NeuralBeagle14-7B методом SLERP с помощью LazyMergekit. Модель основана на архитектуре Mistral и распространяется в формате Safetensors; для неё заявлено контекстное окно до 32 768 токенов. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и творческих задач. В карточке приведены результаты оценок на бенчмарках AI2 Reasoning Challenge и HellaSwag. Лицензия — Apache-2.0. Метаданные указывают на объединение двух базовых моделей; README также приводит OpenPipe/mistral-ft-optimized-1218 как базовую модель в конфигурации слияния.

Suzhou 3.1 — созданная Tripplet Models инструкционная языковая модель с архитектурой причинного трансформера Qwen3.5, объединённая методом SLERP. В метаданных указано 7,2 млрд параметров, а README сообщает об округлённом размере 8,95 млрд; модель использует смешанное внимание с линейными и полными слоями и поддерживает контекст до 262 144 токенов. Модель предназначена для диалогов, рассуждений, генерации текста и работы в роли агента с вызовом инструментов в формате Hermes. Заявлена поддержка более 29 языков; метаданные перечисляют английский, китайский, корейский, японский, французский, испанский, немецкий, итальянский, русский и арабский. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. README описывает модель как пригодную для потребительского оборудования, но не приводит результатов сравнительных тестов.

Swift-Qwen3.8-27B-Uncensored-Dynamic-MTP-GGUF — набор GGUF-квантов модели Swift-Qwen3.8-27B-Uncensored-MTP, разработанный ajgazin. В основе лежит Swift-Qwen3.8-27B от UkisAI — дообученная для эффективного рассуждения версия Qwen3.8-27B. Модель предназначена для генерации текста, диалогов и задач рассуждения, а также поддерживает обработку изображений и видео через отдельный vision projector. Вариант содержит MTP head для self-speculative decoding в llama.cpp и ориентирован на локальный запуск через llama.cpp; заявлена совместимость также с vLLM и SGLang для NVFP4-варианта. Доступны варианты от UD-Q2_K_XL размером 9,2 GiB до UD-Q8_K_XL размером 29,3 GiB, а также исходный BF16-файл размером 50,9 GiB. Разные уровни квантования позволяют запускать модель на GPU с 12, 16, 20, 24, 32 и 48 GiB памяти, при необходимости используя частичную выгрузку на CPU. Для заявленного запуска используется контекст до 32768 токенов. Более крупные варианты ближе к качеству BF16: для UD-Q8_K_XL совпадение наиболее вероятного токена составляет 98,8%, для UD-Q4_K_XL — 95,8%, а для UD-Q2_K_XL — 85,2%. Сильные стороны модели — широкий выбор размеров квантов, поддержка текста, изображений и видео, встроенный MTP head для ускорения генерации и сниженная склонность к отказам: в описании указано 15 отказов из 100 против 98 из 100 у исходной Swift-модели. Ограничения включают потерю точности при агрессивном квантовании, необходимость отдельного mmproj-BF16.gguf для мультимодального ввода и специальной сборки llama.cpp с поддержкой MTP для qwen35. Качество измерялось преимущественно на тесте wikitext-2, поэтому оно не полностью характеризует работу с кодом и диалогами. Модель распространяется по лицензии swift-open-license-1.0; в карточке также указана категория лицензии other.

ThinkingCap-Qwen3.6-27B-GGUF — набор GGUF-квантизаций мультимодальной vision-language модели ThinkingCap-Qwen3.6-27B, разработанной BottleCap AI на основе Qwen3.6-27B от Qwen Team. Модель предназначена для локального запуска через llama.cpp и совместимые среды, включая Ollama и LM Studio, и поддерживает работу с текстом и изображениями. Дообучение направлено на сокращение рассуждений примерно на 50% в среднем при сохранении качества и стиля ответов базовой модели. Доступны варианты f16, Q8_0, Q6_K и Q4_K_M размером примерно от 15,7 до 50,9 ГБ; Q4_K_M рекомендуется как баланс размера и качества, а Q8_0 и Q6_K — как варианты, близкие к исходной точности. Для обработки изображений требуется отдельный мультимодальный проектор mmproj размером около 0,9 ГБ. Поддерживается MTP self-speculative decoding, способный дополнительно повысить скорость генерации при использовании современной версии llama.cpp. По приведённым оценкам, точность квантованных вариантов статистически сопоставима с f16 и базовой моделью: около 0,89–0,91 на MMLU-Pro и 0,78–0,82 на RealWorldQA. Сильными сторонами являются существенно более короткие рассуждения, ускорение выполнения задач, локальный запуск и почти без потерь качества при квантовании. Ограничения включают значительные требования к дисковому пространству и памяти, необходимость совместимого runtime, а для изображений — отдельного vision-проектора. Лицензия в README не указана; доступ к модели может предоставляться по запросу.

Trinity-Large-Preview — разговорная модель Arcee AI на архитектуре разреженного Mixture-of-Experts (MoE), созданная на основе Trinity-Large-Base и прошедшая лёгкое дообучение для диалога. В README указано около 398 млрд параметров всего и примерно 13 млрд активных параметров на токен; метаданные каталога приводят размер 8,7 млрд параметров. Модель обучалась на более чем 17 трлн токенов, а этап настройки инструкций охватил 20 млрд токенов. Контекст составляет до 262 144 токенов. Модель предназначена для генерации текста и диалогов, в том числе с использованием интерфейса вызова инструментов. Заявлена поддержка английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Доступны варианты запуска через Transformers, vLLM, llama.cpp, LM Studio и API. Карточка приводит неоднозначные результаты бенчмарков: модель выше Llama 4 Maverick на MMLU, но ниже на MMLU-Pro и GPQA-Diamond. Это preview-чекпойнт, который проходит активное обучение с подкреплением, поэтому качество может меняться. Указана лицензия other; конкретные условия использования следует проверять в репозитории модели.

Vedika 4.1 Flash — экспериментальная предварительная версия мультимодальной модели Veda Labs с открытыми весами. Это причинная языковая модель с визуальным энкодером, ориентированная на диалог, рассуждения и агентные сценарии; интерфейс также предусматривает вызов инструментов. Для загрузки требуется включить trust_remote_code из-за пользовательской архитектуры. Модель совместима с Transformers и рядом движков инференса. Модель содержит 125 млрд параметров, из которых активируются 6 млрд, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. Архитектура сочетает разреженное внимание Vedika, Gated DeltaNet, MoE и gated residual. Заявленная длина контекста — 262 144 токена с возможностью расширения до 1 000 000. README не приводит перечень поддерживаемых языков и численные результаты бенчмарков; модель работает в режиме рассуждений по умолчанию. Лицензия в предоставленных материалах не указана.

Wizard-Tulu-Dolphin-70B-v1.0 — объединённая языковая модель на архитектуре Llama, созданная sophosympatheia методом SLERP из Wizard-Tulu-70B-v1.0 и Dolphin 2.2 70B. В репозитории представлены веса SafeTensors; размер модели — 68,7 млрд параметров, контекст — до 4096 токенов. Модель предназначена для генерации текста и следования инструкциям. Автор включал этот бленд в Midnight Rose v2.0.3 и описывает его как попытку объединить сильные стороны WizardLM, Tulu и Dolphin 2.2, однако отмечает, что отдельно модель тестировалась мало. Лицензия в предоставленных данных не указана.

XVERSE-65B — мультиязычная базовая большая языковая модель, самостоятельно разработанная компанией Shenzhen Yuanxiang Technology. Она построена на плотной архитектуре Decoder-only Transformer и предназначена для генерации текста, включая продолжение запросов и подготовку материалов для многошагового диалога, ответов на вопросы и суммаризации. В модели 65,6 млрд параметров, контекст — до 16 384 токенов; она использует BPE-токенизатор с словарём из 100 534 токенов и распространяется в формате PyTorch. Модель обучена на 2,6 трлн токенов из веб-страниц, кода, энциклопедий, книг, научных публикаций и других источников. README указывает поддержку 41 естественного языка, включая китайский, английский, русский и испанский; наибольшие доли обучающих данных приходятся на английский и китайский. Лицензия Apache-2.0. Это базовая, а не специально настроенная для диалога модель, поэтому качество следования инструкциям и ответы в формате ассистента не гарантируются; возможны ошибки и смещения, характерные для генеративных языковых моделей.

Карточка модели Bepemin/Babelbit-h1 на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.2, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

Alberto-Codes/gemma-4-31B-it-fit24gib-GGUF — это смешанно-точный GGUF-пакет модели Google Gemma 4 31B Instruct, созданный Alberto-Codes на основе QAT-чекпойнта google/gemma-4-31B-it-qat-q4_0-unquantized. Пакет предназначен для локального запуска текстовых и мультимодальных сценариев с обработкой изображений через llama.cpp на видеокарте с 24 ГиБ VRAM. Для работы с текстом требуется файл декодера, а для изображений — также отдельный vision-проектор. Модель относится к классу image-text-to-text и поддерживает текстовый ввод, а также изображения; точный набор языков в карточке не указан. Декодер занимает 14,92 ГиБ, проектор — 629 МиБ. Пакет не использует единую схему квантования: в нём применены тензоры Q5_0, Q8_0, F16 и F32, а эффективная разрядность составляет 9,16 бит на параметр. Заявленная особенность — размещение на карте с 24 ГиБ VRAM и увеличение доступного контекста по сравнению с официальным QAT Q4_0 GGUF: до 86 016 токенов в текстовом режиме и до 73 728 токенов с одним изображением в описанной конфигурации RTX 4090 и llama.cpp. По приведённым измерениям пакет имеет меньший размер и сопоставимое качество с QAT Q4_0: на тестах он показал одну статистически значимую победу и четыре ничьи, однако у базовой версии немного лучше средние KLD и совпадение наиболее вероятного токена. Результаты зависят от конкретной конфигурации запуска, версии llama.cpp, доступной VRAM и используемого проекторного файла. Модель распространяется по лицензии Apache-2.0.

GLM-4-9B-0414 — текстовая генеративная модель семейства GLM-4 от Z.ai. По метаданным это плотная архитектура GLM-4 с 8,8 млрд параметров, рассчитанная на контекст до 32 768 токенов; репозиторий содержит веса Safetensors для Transformers. Модель поддерживает диалог и интерфейс вызова инструментов. Она предназначена для генерации текста в диалоге и решения общих задач с инструкциями. В README описан вариант GLM-Z1-9B-0414 с усиленными рассуждениями, особенно в математике, однако карточка относится к GLM-4-9B-0414, поэтому эти свойства нельзя уверенно приписать ей. Метаданные указывают китайский и английский языки. Лицензия — MIT.

GLM-5.3-Flash-GGUF — это квантизированная GGUF-версия модели GLM-5.3-Flash, разработанной zai-org и преобразованной с использованием llama.cpp пользователем qtum. Модель предназначена для генерации текста и запуска через совместимые инструменты, включая llama.cpp. Заявлены английский и китайский языки. Модель содержит 320 млрд общих параметров, из которых 18 млрд активируются для отдельного токена. Архитектура включает 45 слоёв гибридного внимания: 34 слоя KDA с линейным вниманием и 11 слоёв DSA с разреженным вниманием, построенных на MLA и дополненных Manifold-Constrained Hyper-Connections. Используется MoE с 288 экспертами, маршрутизацией top-8 и общим экспертом. Максимальная длина контекста заявлена до 1 млн токенов. В репозитории представлены квантизации IQ4_XS, IQ3_XXS, IQ2_XS и IQ1_M; каждая поставляется в 15 сегментах. IQ4_XS и IQ3_XXS рекомендуются как варианты с меньшей деградацией качества, тогда как IQ2_XS и IQ1_M существенно экономят память, но заметно ухудшают показатели. Сильными сторонами модели являются большой контекст, MoE-архитектура с относительно небольшим числом активных параметров и несколько уровней квантизации для разных ограничений по памяти. Ограничения включают очень большой размер файлов, необходимость загрузить все 15 сегментов и зависимость качества от выбранного уровня квантизации. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

CombinHorizon/huihui-ai-abliterated-Qwen2.5-32B-Inst-BaseMerge-TIES — объединённая модель генерации текста на архитектуре Qwen2.5, созданная с помощью mergekit и метода TIES. В качестве основы использована Qwen/Qwen2.5-32B, объединённая с huihui-ai/Qwen2.5-32B-Instruct-abliterated. Модель содержит 32 млрд параметров, распространяется в формате Safetensors и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалоговой генерации текста и задач, решаемых языковой моделью, включая ответы на запросы и работу с длинным контекстом. В метаданных также отмечен интерфейс вызова инструментов. Для оценки приведены результаты Open LLM Leaderboard, в том числе IFEval 82,06 и BBH 56,04; это не заменяет проверку на целевых задачах. Поддерживаемый язык карточки — английский. Лицензия — Apache-2.0.

CombinHorizon/huihui-ai-abliteratedV2-Qwen2.5-14B-Inst-BaseMerge-TIES — объединённая текстовая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-14B и huihui-ai/Qwen2.5-14B-Instruct-abliterated-v2. Она предназначена для диалоговой генерации текста и ответов на запросы. Модель содержит 14 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. В метаданных указан английский язык. Лицензия — Apache-2.0.

InternLM2.5-20B-Chat GGUF — большая языковая чат-модель в формате GGUF, разработанная Shanghai AI Laboratory (上海人工智能实验室) и представленная для запуска с помощью llama.cpp. Она предназначена для локального и облачного инференса, ведения диалогов, генерации текста и интеграции в сервисы через совместимый с OpenAI API сервер llama-server. В README также показан сценарий вызова функций, например получения текущей погоды через внешний инструмент. Модель имеет размер 20B параметров и поддерживает несколько вариантов точности и квантования, включая FP16, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. В качестве языков указано English, а в примере системного промпта заявлена способность общаться на английском и китайском языках. README демонстрирует контекст размером 4096 токенов и рекомендует использование аппаратного ускорения, включая CUDA; конкретные требования к ресурсам не указаны. Сильными сторонами модели являются возможность локального развёртывания на различных аппаратных платформах, наличие низкобитных версий и поддержка чатового взаимодействия, вызова функций и OpenAI-совместимого API. Ограничения включают отсутствие подробных данных о качестве, обучающих данных, точных языковых возможностях и рекомендуемых ресурсах, а также то, что результаты зависят от выбранной точности, конфигурации llama.cpp и параметров инференса. Модель распространяется по лицензии Apache-2.0.

IoGPT-A1-Instruct-i1-GGUF — GGUF-квантизированная версия инструкционной модели IoGPT-A1-Instruct, разработанной galaxyMindAiLabs и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, ответов на вопросы и агентских сценариев; в метаданных она также классифицируется как vision-модель, однако подробности о поддерживаемом формате изображений не указаны. Доступны файлы mmproj в статическом репозитории модели. Заявлены языки: английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский, индонезийский, малайский, непальский, польский, румынский, сербский, шведский, турецкий, украинский, вьетнамский, хинди и бенгали. В тегах указана архитектурная принадлежность к Mistral, но размер модели, длина контекста и точная архитектура не раскрыты. Представлены квантизации от i1-IQ1_S до i1-Q6_K размером примерно от 5,4 до 19,4 ГБ: более лёгкие варианты экономичнее по памяти, но могут заметно терять в качестве; Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q6_K — как вариант, близкий по качеству к статической Q6_K. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Kimi-K3-NVFP4 — квантизированная версия модели moonshotai/Kimi-K3, разработанная RedHatAI. Это мультимодальная модель архитектуры KimiK3ForConditionalGeneration, принимающая текст и изображения и генерирующая текст. Модель предназначена для задач понимания и обработки текста и изображений, включая сценарии инференса через vLLM. В модели применена FP4-квантизация весов и активаций MoE-экспертов с использованием LLM Compressor и формата compressed-tensors. Линейные операторы MoE-экспертов квантизированы с 16 до 4 бит, что уменьшает размер на диске и требования к памяти GPU для этих слоёв примерно на 75%. Attention, shared experts и другие неквантизированные слои сохраняют исходную точность. Размер модели, поддерживаемые языки и длина контекста в README не указаны. К сильным сторонам относятся существенное снижение потребления памяти и готовность к инференсу в vLLM при сохранении высокой доли качества исходной модели: на GPQA Diamond достигнуто 91,0 против 93,5 у неквантизированной версии, что соответствует восстановлению 97,33% качества. Ограничением является небольшое снижение точности, а также необходимость совместимой версии vLLM и специальной конфигурации развертывания; в README приведён сценарий с tensor parallel size 8. Лицензия указана как other, с названием kimi-k3.

KRONOS-8B-V6 — объединённая языковая модель, созданная разработчиком T145 методом TIES с помощью mergekit на базе unsloth/Meta-Llama-3.1-8B-Instruct. В объединение также вошли T145/KRONOS-8B-V1-P2, T145/KRONOS-8B-V1-P3 и mukaj/Llama-3.1-Hawkish-8B. Модель построена на плотной архитектуре Llama и содержит 7,5 млрд параметров. Она предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Контекстное окно составляет до 131 072 токенов. Модель опубликована в формате safetensors и использует библиотеку Transformers. В README приведены результаты оценки, включая 70,22% на IFEval и средний показатель 24,49 по указанной таблице, но без полного контекста этих метрик они не позволяют оценить качество для конкретного применения. Сведения о лицензии и поддерживаемых естественных языках в доступных данных отсутствуют.

Llama-3.1-8B-Instruct-EI1-2ep-sft-warmupbs — дообученная модель семейства Llama, созданная на основе meta-llama/Llama-3.1-8B-Instruct. Она предназначена для диалогов и генерации текста по инструкциям; метаданные также отмечают интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM и 7,5 млрд параметров. Контекст — до 131 072 токенов. В README указан результат оценки: loss 0,6092. Датасет обучения не раскрыт, поэтому нельзя оценить специализацию модели или переносимость результата на другие задачи. Модель распространяется в формате safetensors по лицензии Llama 3.1; условия лицензии следует учитывать при использовании.