II.3Рефакторинг, миграция и модернизация

Open-Instruct GPT-4 Alpaca 13B — языковая модель семейства LLaMA с 12,9 млрд параметров, разработанная командой AllenAI. Она дообучена на наборе GPT-4 Alpaca для следования инструкциям и генерации текста. Модель предназначена для диалоговых запросов, ответов на вопросы, рассуждений и других задач, задаваемых в текстовом формате; для результатов, соответствующих обучению, следует использовать предусмотренный формат инструкций. Контекст модели — 2048 токенов. В README приведены результаты оценки на наборах задач общего назначения, включая MMLU, GSM, BBH и Codex-Eval. Репозиторий содержит разницу весов, поэтому для использования требуется доступ к исходной модели LLaMA в формате Hugging Face и её объединение с этой разницей. Условия использования определяются лицензией AI model license вместе с исходной лицензией LLaMA.

OpenThinker-32B — плотная языковая модель на 32 млрд параметров, созданная дообучением Qwen/Qwen2.5-32B-Instruct командой OpenThoughts на наборе OpenThoughts-114k. Она предназначена для генерации текста в диалоге и задач, где требуется пошаговое рассуждение, включая математику, научные вопросы и программирование. Модель поддерживает контекст до 32 768 токенов; для работы доступны веса в формате Safetensors и интерфейс вызова инструментов. В README приведены результаты оценки на наборах математических и научных задач, но они не гарантируют аналогичного качества на других данных. Обучающие примеры получены с помощью дистилляции DeepSeek-R1, поэтому ответы могут содержать ошибки или необоснованные рассуждения. Модель распространяется по лицензии Apache 2.0.

Phi-3-Small-128K-Instruct — компактная языковая модель Microsoft семейства Phi-3 с архитектурой Phi3SmallForCausalLM и примерно 8,2 млрд параметров по метаданным. Она предназначена для генерации текста и диалоговых сценариев, включая задачи на рассуждение, математику и программирование. Модель обучена на синтетических данных и отфильтрованных общедоступных веб-данных; для следования инструкциям и повышения безопасности прошла supervised fine-tuning и direct preference optimization. Карточка описывает вариант с контекстом 128K токенов, однако метаданные указывают native_context_tokens 8192, поэтому заявленную поддержку длинного контекста следует проверить для конкретной версии и конфигурации. Модель ориентирована прежде всего на английский язык; для других языков качество может быть ниже. Она может выдавать неточные или вымышленные сведения, воспроизводить стереотипы и генерировать оскорбительный контент; сгенерированный код и API следует проверять. Лицензия — MIT.

unsloth/Phi-4-reasoning-GGUF — GGUF-версия модели Phi-4-reasoning, разработанной Microsoft Research и подготовленной для распространения Unsloth. Это открытая модель с весами, дообученная на базе Phi-4 с использованием supervised fine-tuning на наборах трасс рассуждений и reinforcement learning. Обучающие данные были ориентированы на математику, естественные науки, программирование, безопасность и Responsible AI. Модель представляет собой плотный decoder-only Transformer с 14 млрд параметров и поддерживает текстовые входы, предпочтительно в формате чата. Длина контекста составляет 32k токенов, заявленный язык — английский. Модель генерирует ответы, включающие блок рассуждений и последующее резюме, поэтому подходит для задач, требующих пошагового анализа, решения математических и научных задач, а также написания и анализа кода. К сильным сторонам относятся специализация на reasoning-задачах и сочетание сравнительно компактного размера с возможностями Phi-4. Ограничения включают поддержку только текстовой модальности, ориентацию на английский язык и необходимость корректного шаблона запуска: для включения рассуждений в llama.cpp требуется параметр --jinja. README не содержит полной информации о характеристиках конкретного квантования GGUF, включая его вариант и требования к памяти. Модель распространяется по лицензии MIT.

zetasepic/Qwen2.5-32B-Instruct-abliterated-v2 — доработанная версия Qwen/Qwen2.5-32B-Instruct, созданная с использованием кода из проекта refusal_direction и техники Abliterated. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров, предназначенная для диалогов и генерации текста; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, а заявленное окно контекста составляет 32 768 токенов. Базовая Qwen2.5-32B-Instruct рассчитана на диалог, программирование, математику и структурированные ответы; карточка этой версии не приводит отдельные оценки качества или подробные результаты. Язык карточки и метаданные указывают английский, поэтому поддержка других языков здесь не заявляется. Репозиторий содержит веса Safetensors, а лицензия — Apache-2.0.

JunLee88999/Qwen3.5-35B-A3B-heretic-v2-GGUF — GGUF-квантизации модели Qwen3.5-35B-A3B, разработанной командой Qwen. Это децензурированная версия, созданная на основе llmfan46/Qwen3.5-35B-A3B-heretic-v2 с применением Heretic v1.2.0, Magnitude-Preserving Orthogonal Ablation и Self-Organizing Map Abliteration. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений и текста. Архитектура исходной Qwen3.5 включает гибридные Gated Delta Networks и разреженную Mixture-of-Experts; размер модели — 35B с конфигурацией A3B. Указана поддержка 201 языка и диалекта. Для мультимодальной работы требуется отдельный vision projector в формате GGUF; доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Главная особенность версии — значительно меньшее количество отказов по сравнению с оригинальной моделью: 4 из 100 против 91 из 100, при заявленном KL divergence 0,0411, что указывает на относительно хорошее сохранение исходных возможностей. При этом снятие ограничений может повысить риски генерации нежелательного или небезопасного контента. README не содержит сведений о длине контекста и подробных результатах независимого тестирования. Лицензия — Apache-2.0.

fraQtl Qwen3.6-35B-A3B-Hi-Fi-GGUF — это квантизированная GGUF-версия базовой модели Qwen3.6-35B-A3B-Instruct, разработанной командой Qwen и подготовленной к квантизации fraQtl. Модель предназначена для локальной генерации текста, включая диалог, программирование, математические задачи, работу с инструментами и создание развернутых текстов. Заявлена поддержка английского и китайского языков. Модель использует архитектуру Mixture of Experts с общим размером около 35 млрд параметров, примерно 3 млрд активных параметров на токен и 256 маршрутизируемыми экспертами. Это стандартный Q4_K_M-файл для llama.cpp без необходимости в специальном runtime или измененных ядрах. Вариант Hi-Fi применяет распределение битов с учетом важности отдельных тензоров и калибровку imatrix, чтобы приблизить поведение к Q8-версии при сохранении размера обычной Q4_K_M-квантизации. К сильным сторонам относятся локальный запуск на Apple Silicon и потребительских GPU, совместимость с llama.cpp и оболочками на его основе, а также улучшенные по сравнению с некоторыми публичными Q4-квантами показатели близости распределения вывода и perplexity. Ограничения связаны с потерями точности, присущими квантизации, и значительным размером файла около 20 ГБ. На Apple M4 с 24 ГБ памяти подтвержден запуск в CPU-режиме, тогда как полная Metal-выгрузка для этой конфигурации не укладывается в доступную память; работа на системах с 32 ГБ и более обозначена как экспериментальная. Модель распространяется по лицензии Apache-2.0.

Модель Qwen3.8-27B-ED-5bpw-GGUF опубликована пользователем bakhtin и представляет собой квантованный вариант Qwen3.8-27B в формате GGUF. Автор указывает, что дополнительного дообучения и посттренировки не проводилось; для калибровки квантования использовалась матрица важности, собранная на русскоязычных технических текстах, программировании и формальной логике. Веса основаны на BF16-файле ggml-org/Qwen3.8-27B-GGUF. Модель поддерживает диалог и работу с изображениями: принимает текст и изображения, выдаёт текст. Квантование 5 BPW занимает около 15,92 ГиБ; автор ориентирует запуск на потребительскую видеокарту с 16 ГБ видеопамяти. По README, контекст свыше 90 тысяч токенов практически нецелесообразен из-за падения скорости. Указана лицензия Apache-2.0.

Qwen3.8-27B-EfficientThink-Uncensored-K3-Opus5-Grok4.6-GPT5.6Sol-SFT-SimPO-DFlash2 — плотная языковая модель с 27 млрд параметров, опубликованная пользователем nerkyor. Модель предназначена для генерации текста, рассуждений, программирования, агентских и диалоговых сценариев. В README заявлена поддержка английского и китайского языков. Обучение и доработка включают SFT и SimPO; для ускорения вывода предусмотрена совместимость с DFlash2, speculative decoding, llama.cpp, SGLang и vLLM. Доступны варианты GGUF с уровнями квантования от Q2-LynnStyle до Q8_0, включая смешанную точность GSQ-RCO и численное уточнение IQ для Q2-LynnStyle, а также True-QAT INT8 W8A8 с динамическими INT8-активациями. В приведённых измерениях результаты зависят от варианта: на GPQA показатели составляют 82,83–86,87%, на MMLU — 83,20–89,40%, на LiveCodeBench — 74–78%. Это указывает на пригодность модели для общих знаний, рассуждений и кода, но качество зависит от выбранной точности и конфигурации запуска. README не указывает размер контекстного окна, мультимодальные возможности, точные требования к оборудованию или детальные ограничения поведения. Название содержит слово «Uncensored», однако формальные характеристики безопасности не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-heretic-ara-NVFP4 — производная модель hwkranger на базе Qwen/Qwen3.8-27B, прошедшая ARA-abliteration у trohrbaugh и последующую квантизацию NVFP4 от автора репозитория. Модель предназначена для генерации текста, агентных и программных сценариев, вызова инструментов, а также обработки изображений и видео. Она ориентирована прежде всего на запуск через vLLM на NVIDIA GB10 и DGX Spark с унифицированной памятью. Модель содержит 27B параметров и использует формат квантизации W4A16 NVFP4; размер на диске составляет около 20 ГБ вместо 52 ГБ у исходной BF16-версии. Vision tower и MTP-голова сохранены без квантизации, что обеспечивает работу с изображениями и видео и поддерживает speculative decoding через vLLM. Нативный контекст составляет 262 144 токена; в рекомендуемой конфигурации используется 131 072 токена. Поддерживаются шаблон чата Qwen3, reasoning-разметка с тегами <think> и вызов инструментов в формате qwen3_coder. К сильным сторонам относятся сниженные требования к памяти, высокая пропускная способность при параллельной обработке запросов и отсутствие отказов от ответов вследствие удаления исходного refusal-поведения. MTP может повысить скорость однопоточной и многопоточной генерации, но его draft-голова не обучалась на аблитерированных весах, поэтому acceptance rate ниже; также описан единичный сбой CUBLAS при смешанной нагрузке prefill и decode. Квантизация может снизить точность, поэтому критичные сценарии следует проверять сравнением с BF16-моделью. Модель унаследует знания, смещения и ограничения базовой модели; для публичного доступа необходимы собственные защитные механизмы. Лицензия — Apache-2.0.

JASouth/Qwen3.8-27B-IQ-Hybrid — экспериментальный набор низкобитных GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, подготовленный автором JASouth. Модель ориентирована на локальный запуск с ограниченным объёмом видеопамяти, включая потребительские GPU с 8 ГБ VRAM, и предназначена для генерации текста, программного кода, задач с длинным контекстом, многошагового рассуждения и агентских рабочих процессов. В метаданных указана категория image-text-to-text, однако подробности о поддерживаемых модальностях, языках и размере контекстного окна не приведены. Доступны варианты с разной степенью сжатия. IQ2_E_S имеет около 2,40 BPW и требует примерно 7,51 GiB памяти, благодаря чему помещается в бюджет 8 ГБ, но заметно теряет качество на сложной логике, длинной генерации и функциональном кодировании. IQ2_E_S_V2 лучше подходит для кода и агентских сценариев, включая задачи с длинным контекстом, но может зацикливаться в обычном диалоге. IQ3_E_S_V2 считается наиболее сбалансированным вариантом по качеству и размеру, демонстрируя хорошие результаты в программировании и сложном рассуждении, хотя возможны отдельные ошибки внимания и галлюцинации. Для Intel Arc вариант IQ2_E_S не рекомендуется использовать с SYCL из-за риска некорректной генерации, NaN и сбоев; требуется backend Vulkan. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-ROCmI4-MTP-GGUF — это конвертированная и квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем cafonez. Модель представлена в формате GGUF и предназначена для локального запуска через совместимые сборки ROCmFPX на оборудовании AMD, прежде всего Strix Halo с архитектурой gfx1151. Репозиторий содержит языковую модель и дополнительный мультимодальный проектор для обработки изображений и видео; для текстовых сценариев проектор не требуется. Модель имеет архитектуру qwen35, около 27,32 млрд параметров, контекст до 262 144 токенов и квантизацию весов Q4_0_ROCMI4. В основной файл встроена одноступенчатая голова NextN/MTP, поэтому отдельная draft-модель не нужна. Она ориентирована на генерацию и обработку текста, включая программирование, структурированные данные и диалоги, а при подключении mmproj также поддерживает мультимодальные входы с изображениями и видео. README не указывает перечень поддерживаемых языков. Сильными сторонами являются большой контекст, снижение требований к памяти благодаря четырёхбитной квантизации, встроенный MTP и возможность ускоренного пути W4A4 на совместимом оборудовании AMD. Ограничения связаны с экспериментальным характером ROCmI4/IU4, необходимостью специальной сборки ROCmFPX и совместимого GPU; стандартные сборки llama.cpp не ожидаются совместимыми. Путь W4A4 может быть быстрее, но добавляет потери из-за четырёхбитной квантизации активаций, а эффективность MTP зависит от характера текста. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next (PLElast) GGUF — это GGUF-сборка модели Qwen3.8-Flash-Next, опубликованная whm0627 на основе весов Qwen/Qwen3.8-Flash-Next и квантизаций unsloth. Модель предназначена для генерации текста, включая программный код и структурированные форматы. Архитектура — MoE с общим размером около 177B параметров и примерно 3B активных параметров. Доступны варианты Q2_K_XL размером 79 ГБ и IQ1_S размером 68 ГБ; веса не переквантизировались, изменён только порядок тензоров. Особенность сборки PLElast — размещение большой таблицы PLE/n-gram-эмбеддингов в конце файла. Это позволяет запускать модель на Apple Silicon и Metal при ограниченной памяти: на Mac с 64 ГБ заявлено около 42–48 ГБ использования VRAM или unified memory, несмотря на больший размер файла. Поддерживается контекст до 128K токенов. В тестах на Apple M1 Max с llama.cpp скорость декодирования составила около 21 токена в секунду, а с MTP speculative decoding для кода — около 24 токенов в секунду. Q2_K_XL обеспечивает немного лучшую perplexity, тогда как IQ1_S занимает меньше места и оставляет больше памяти для длинного контекста; автор отмечает, что глубокое тестирование не проводилось. Модель требует llama.cpp с поддержкой qwen4exp, быстрой SSD-памяти и актуального runtime; для MTP нужны отдельная draft-модель и специальная ветка llama.cpp. Совместимость с LM Studio заявлена только для новых runtime. Лицензия — Apache-2.0.

uukuguy выпустил объединённую языковую модель на базе Mistral-7B для генерации текста, диалога и задач с кодом. В неё объединены ehartford/dolphin-2.1-mistral-7b, Open-Orca/Mistral-7B-OpenOrca, bhenrym14/mistral-7b-platypus-fp16 и ehartford/samantha-1.2-mistral-7b. Архитектура — плотный трансформер MistralForCausalLM с 7,1 млрд параметров; контекст — до 32 768 токенов. Модель принимает текст и генерирует текст, а карточка отмечает поддержку кода и приводит результаты HumanEval и тестов Open LLM Leaderboard. Модель подходит для диалоговых ответов, генерации кода и общих текстовых задач. В репозитории представлены варианты AWQ, GPTQ и GGUF с разной разрядностью для GPU и CPU+GPU-инференса; метаданные этого репозитория указывают Transformers и safetensors. Лицензия — Llama 2. Карточка не описывает отдельные гарантии качества или механизмы модерации для объединённой модели.

Zrald-AI Qwen 3.8 27B zraldv1-cs — GGUF-версия модели Qwen3.8-27B, опубликованная Zrald и оптимизированная для компактного размера. Это чат-модель для генерации текста, диалогов, программирования и рассуждений. В репозитории указан файл размером 10,18 GiB; README приводит результаты замеров на AMD Instinct MI300X, включая сохранение 90,72% точности и скорость генерации 76,33 токена в секунду. Для запуска рекомендуется не менее 12 ГБ VRAM. Модель основана на Qwen/Qwen3.8-27B и заявлена как дообученная; доступна в формате GGUF для использования с llama.cpp. Базовая модель описана как мультимодальная, но сведения о поддержке изображений или видео именно этой сборкой не приведены. Лицензия — Apache-2.0.

Карточка модели LUTingYu/DeepSeek-R1-0528-Qwen3-8B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-0528-Qwen3-8B, поэтому описание составлено по ней. DeepSeek-R1-0528-Qwen3-8B — плотная языковая модель семейства Qwen3, разработанная DeepSeek. Это версия Qwen3 8B, дообученная на цепочках рассуждений DeepSeek-R1-0528; число параметров составляет 7,6 млрд. Модель предназначена для диалогов и генерации текста с акцентом на многошаговые рассуждения, математику, программирование и логические задачи. В метаданных указаны интерфейс для вызова инструментов и контекст до 131 072 токенов. По описанию разработчика, модель улучшает результаты Qwen3 8B на AIME 2024 и сопоставима с Qwen3-235B-thinking в этой оценке. README также отмечает пригодность для академических исследований рассуждающих моделей и разработки компактных моделей. Модель принимает и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Лицензия — MIT, допускающая широкое использование в соответствии с её условиями.

DeepSeek-R1-Distill-Llama-8B — плотная языковая модель семейства Llama, разработанная DeepSeek и дообученная на примерах рассуждений, созданных DeepSeek-R1. Она предназначена для генерации текста с акцентом на решение математических задач, программирование и многошаговые рассуждения; также поддерживает диалоговый режим. Модель содержит 7,5 млрд параметров и имеет контекст до 131 072 токенов. Модель основана на Llama-3.1-8B. В README указано, что конфигурации и токенизатор были слегка изменены, поэтому для ожидаемого качества рекомендуется использовать настройки из карточки модели. Метаданные указывают формат safetensors, библиотеку Transformers и лицензию MIT. Модель может генерировать длинные цепочки рассуждений; качество конкретных ответов зависит от задачи и настроек генерации.

ELYZA-Thinking-1.0-llm-jp-4-32b-a3b — языковая модель ELYZA, дообученная на базе llm-jp/llm-jp-4-32b-a3b-base. Это модель семейства Qwen3 MoE для генерации текста с рассуждениями и следованием инструкциям; в карточке указаны 2,9 млрд параметров и контекст 65 536 токенов. Обучение включало промежуточное обучение, SFT и обучение с подкреплением по проверяемым результатам. Модель рассчитана прежде всего на японский язык, также поддерживает английский. В README описаны сценарии решения математических и STEM-задач, программирования, ответов на вопросы о японских знаниях, выполнения сложных инструкций и использования инструментов. Для запуска рекомендованы vLLM или Transformers; лицензия — Apache-2.0.

Это дообученная модель Gemma 4 12B от автора llmfan46, созданная на основе yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF. Она предназначена для диалоговой генерации текста, программирования и многошагового использования инструментов, включая сценарии работы с терминалом. Модель поддерживает режим рассуждений и использует встроенный протокол вызова инструментов Gemma 4; для запуска в Transformers требуется версия библиотеки с поддержкой архитектуры gemma4_unified. В README описано дообучение на траекториях агентных задач, проверенных задачах Python и данных для общих инструкций. Также автор сообщает о применении abliteration для снижения частоты отказов: в приведённом тесте она отказала в 13 случаях из 100 против 99 у исходной модели. Это не гарантирует качества или безопасности ответов; результаты MMLU близки к результатам исходной модели. Репозиторий использует формат safetensors и лицензию Apache-2.0.

Gemma 4 E4B Agentic Opus Reasoning GeminiCLI GGUF — это квантованная GGUF-версия модели на базе Gemma 4 E4B, разработанная RavenX AI. Веса объединяют результаты SFT-дообучения с паттернами рассуждений Opus 4.6, Claude Code и Gemini CLI; LoRA-адаптер слит непосредственно с моделью, поэтому отдельный адаптер и дополнительная конфигурация не требуются. Модель предназначена для диалоговых сценариев, программирования, агентных рабочих процессов и использования инструментов или функций. Она поддерживает форматы рассуждений с тегами <think>, структурированные ответы в стиле Claude и tool calling. В README также заявлена поддержка vision и мультимодальности, однако подробности о поддерживаемых типах входных данных не приведены. Указан английский язык. Модель совместима с Ollama, LM Studio и llama.cpp, а также может работать через OpenAI-совместимые локальные API. Доступны варианты квантования Q4_K_M, Q5_K_M, Q8_0 и F16 размером примерно от 2,7 до 8,3 ГБ; Q4_K_M рекомендован как баланс качества и скорости. Сильными сторонами являются встроенное агентное поведение, рассуждения и поддержка вызова инструментов без отдельного адаптера. Ограничения включают отсутствие опубликованных количественных бенчмарков, неполное описание архитектуры и контекстного окна, а также возможные потери качества из-за квантования. Модель распространяется по лицензии Gemma.

AtomicChat/gemma-4-E4B-it-assistant-GGUF — это локальная GGUF-квантизированная версия модели google/gemma-4-E4B-it-assistant, разработанной Google и самостоятельно преобразованной в GGUF командой Atomic Chat. Модель предназначена для генерации текста, диалоговых ассистентов, рассуждений, программирования и автономного офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые приложения. Архитектура модели — плотный decoder с 42 слоями, гибридным вниманием: скользящее окно 512 токенов сочетается с глобальным вниманием. Указано 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embeddings, контекст до 128K токенов, словарь 262K токенов, 4 attention heads и 2 KV heads. Базовая модель поддерживает текст, изображения и аудио, однако представленные в этом репозитории кванты являются текстовыми и не содержат vision projector. Языки модели в README не указаны. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что должно уменьшать потери качества на низкой разрядности. Q4_K_M рекомендован как компромисс между размером, скоростью и качеством, а Q8_0 и F16 — для большей точности. Ограничениями являются текстовый формат поставки, возможная потеря качества из-за квантизации и необходимость использовать шаблон чата Gemma 4 через параметр --jinja. Приведённые в README результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям данной квантизированной версии. Модель распространяется по лицензии Apache 2.0.

GLM-4-32B-0414-uncensored-heretic-v2-GGUF — набор GGUF-квантизаций 32-миллиардной языковой модели GLM-4-32B-0414. Модель разработана на основе zai-org/GLM-4-32B-0414 независимым автором llmfan46 с использованием Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA). Это декензурированная версия модели, ориентированная на генерацию текста на английском и китайском языках. Модель предназначена для диалогов, следования инструкциям, генерации инженерного кода, создания артефактов, function calling, поисковых вопросов и ответов, а также подготовки отчётов. Заявлены 32 млрд параметров и предварительное обучение исходной модели на 15 трлн единиц высококачественных данных, включая синтетические данные для рассуждений. README не содержит сведений о размере контекстного окна и мультимодальных возможностях; указанный pipeline относится к генерации текста. Ключевая особенность — существенно меньше отказов в сравнении с исходной моделью: 7 из 100 против 100 из 100 в приведённом тесте, при заявленном KL divergence 0,0555. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S и Q4_K_M; Q8_0 описан как близкий к исходному качеству, а Q4_K_M — как подходящий для систем с ограниченной VRAM. Квантизации совместимы с llama.cpp, LM Studio, Ollama и другими инструментами для GGUF. Снижение ограничений может сопровождаться меньшей безопасностью и не гарантирует сохранение всех характеристик исходной модели. Лицензия — MIT.

GLM-5.2-JANGTQ4 — версия модели zai-org/GLM-5.2, подготовленная автором репозитория bearzi для запуска через MLX на компьютерах Apple с чипами Apple silicon. Это языковая модель с архитектурой GLM MoE DSA и 30,4 млрд параметров, предназначенная для генерации текста и диалогов; базовая GLM-5.2 также рассчитана на программирование и длительные задачи. Контекст модели составляет до 1 048 576 токенов. Профиль JANGTQ4 использует смешанную точность: внимание и общие эксперты хранятся в FP16, а маршрутизируемые эксперты квантизированы до 4 бит методом JANG TurboQuant. Для загрузки требуются jang-tools или vMLX; обычные MLX, LM Studio и Ollama не поддерживаются. Для токенизатора нужны tiktoken, blobfile и разрешение удалённого кода Transformers. Репозиторий распространяется по лицензии MIT.

GLM-5.3-Flash-BF16 — мультимодальная модель семейства GLM от Z.ai для диалогов и задач с изображениями. По карточке модели, она содержит 320 млрд параметров, из которых 18 млрд активны при обработке. Архитектура GLM5 Next сочетает разреженное и линейное внимание; модель обучена с нуля и использует мультимодальную предобучающую выборку объёмом 30 трлн токенов. Модель предназначена для анализа изображений и текста, программирования и агентных сценариев. В README заявлены улучшения относительно GLM-5.2 и эффективность при работе с длинным контекстом. Доступны уровни reasoning_effort low, high и max; для локального развёртывания перечислены Transformers, vLLM, SGLang и другие фреймворки. Метаданные указывают поддержку английского и китайского языков и интерфейс чата с обработкой изображений. Лицензия — MIT.

Hermes-Euryale-70B — объединённая диалоговая языковая модель на базе Llama 3.1, созданная с помощью mergekit методом SLERP из NousResearch/Hermes-3-Llama-3.1-70B и Sao10K/L3.1-70B-Euryale-v2.2. Модель разработана владельцем репозитория harkov000; архитектура — плотная LlamaForCausalLM с 69,5 млрд параметров, для работы используется библиотека Transformers. Нативное контекстное окно составляет 131 072 токена. Модель предназначена для диалоговой генерации текста и поддерживает интерфейс вызова инструментов. Она объединяет характеристики двух исходных моделей; метаданные описывают Hermes 3 как англоязычную модель для инструкций, кода, длинных бесед и работы с инструментами. Файлы модели представлены в формате safetensors. Лицензия в предоставленных данных не указана.

Baekpica подготовил смешанно-квантованную версию GGUF модели IFM/K2-Horizon-375B-A23B для запуска крупной разреженной языковой модели на системах с ограниченной памятью. Репозиторий содержит веса в четырёх частях объёмом около 86,7 ГиБ; применены несколько типов квантования, включая Q8_0, IQ1_S, IQ1_M, IQ2_XXS и IQ2_XS. По карточке базовая модель имеет архитектуру MoE и контекст до 524 288 токенов. Модель предназначена для диалоговой генерации текста и сценариев с длинными запросами, рассуждениями, кодом и использованием инструментов. README описывает калибровку на данных для программирования, математики, науки и общих рассуждений, а также оптимизации инференса и проверки совместимости с llama.cpp. Указанные в README показатели скорости относятся к конкретной тестовой конфигурации и не гарантируют такую же производительность на другом оборудовании. Модель преобразована из BF16-чекпойнта, а не повторно квантована из FP8. Лицензия репозитория — Apache-2.0. Автор отмечает, что для производственного обслуживания ещё требуются проверки на DGX Spark GB10 и устранение проблемы согласования управления памятью; описана проверка на H200.

Marin 8B Instruct — англоязычная инструктивная модель команды Marin при Stanford CRFM, созданная как открытая модель с учителем (SFT). Это плотный авторегрессионный Transformer архитектуры Llama с 7,5 млрд параметров и контекстом 4096 токенов; карточка указывает поддержку английского языка и возможность диалогового использования. Модель предназначена для ответов на инструкции и диалога, а обучающие данные включают примеры по программированию, математике, рассуждениям и общим беседам. Она распространяется в формате safetensors и рассчитана на запуск через Transformers и совместимые библиотеки для Llama. Лицензия модели и кода — Apache 2.0. Это SFT-only модель без настройки безопасности. Она может выдавать неточную информацию или вредоносный и предвзятый контент; ответы следует проверять, а модель не предназначена для полностью автономного применения.

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q4_K_M — это квантизированная версия инструкционной модели Mellum2, разработанной JetBrains. Модель представлена в формате GGUF и предназначена для запуска в llama.cpp, Ollama, LM Studio и других совместимых средах, включая использование через OpenAI-совместимый API. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Заявлен контекст до 131 072 токенов, поддерживается генерация текста, а в карточке указана поддержка английского языка. Квантизация Q4_K_M использует 4-битное представление и занимает около 8,1 ГБ, обеспечивая компромисс между качеством и размером. Модель ориентирована на прямые ответы без внешнего отображения цепочки рассуждений и может применяться для диалогов, генерации текста и программного кода. Основное преимущество этой версии — заметное снижение требований к дисковому пространству и памяти по сравнению с BF16 при сохранении значительной близости к исходной модели: совпадение наиболее вероятного токена составляет 87,2%, а значение KLD относительно BF16 — около 0,106 на указанном тесте Wikitext-2. Ограничением является потеря точности из-за 4-битной квантизации; приведённые метрики не заменяют полноценную оценку качества прикладных задач. Модель распространяется по лицензии Apache 2.0.

Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

Muse-Glimmer-30B-assistant — лёгкая модель-планировщик Muse Glimmer от Meta Superintelligence Lab, выпущенная в августе 2026 года. Это версия на базе DFlash для ускорения генерации: она предлагает блоки по 16 токенов за один проход, после чего основная модель проверяет их и исправляет ошибки. В README основная Muse Glimmer описана как плотный причинный трансформер с энкодером восприятия, дистиллированный из Muse Spark и рассчитанный на локальную работу; однако метаданные этого репозитория указывают 2,5 млрд параметров, поэтому размер именно загруженной модели расходится с описанием основной модели на 30 млрд параметров. Модель предназначена для мультимодального общения и агентных сценариев: интерпретации изображений, снимков экрана, диаграмм и документов, планирования последовательности действий, вызова инструментов, программирования, генерации синтетических данных и оценки ответов других моделей. Метаданные указывают задачу image-text-to-text, библиотеку Transformers, формат Safetensors и контекст 131 072 токена. README сообщает, что аудио не поддерживается; видео не является целевой модальностью и обрабатывается покадрово. Языки, на которых модель особенно хорошо работает, не перечислены. Модель может ошибаться в многошаговых рассуждениях, выдавать предвзятые или нежелательные ответы; качество на языках за пределами хорошо поддерживаемого набора может снижаться. Для агентных систем автор рекомендует собственные проверки безопасности и дополнительные ограничения, особенно перед необратимыми действиями. Лицензия — Apache 2.0.