II.8Инженерия данных и аналитика

natong19/Mistral-Nemo-Instruct-2407-abliterated — версия Mistral-Nemo-Instruct-2407, обученной совместно Mistral AI и NVIDIA. Это плотная авторегрессионная языковая модель семейства Mistral с 12,1 млрд параметров, предназначенная для диалогов и генерации текста; интерфейс также поддерживает вызов инструментов. В README заявлено окно контекста 128 тыс. токенов, а метаданные указывают native context в 1 024 000 токенов, поэтому эти значения расходятся. Модель рассчитана на многоязычные задачи и код; среди языков указаны английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. В этой версии наиболее сильные направления отказа ослаблены ортогонализацией весов, однако модель всё ещё может отказывать, неверно понимать запрос или давать непрошеные советы о безопасности. В приведённых тестах результаты близки к исходной версии Mistral-Nemo-Instruct-2407. Лицензия — Apache 2.0.

Qwen1.5-72B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это дообученная версия базовой Qwen1.5-72B: плотная авторегрессионная языковая модель на архитектуре Transformer с примерно 71 млрд параметров, предназначенная для диалоговой генерации текста. Для работы используется библиотека Transformers, веса опубликованы в формате safetensors. Модель подходит для ведения диалога, ответов на вопросы, составления и редактирования текстов, а также генерации кода. В README заявлена многоязычная поддержка; метаданные карточки указывают английский язык. Контекст составляет до 32 768 токенов. Улучшения серии Qwen1.5 включают поддержку длинного контекста и качество чат-моделей, однако в README отмечены возможные ошибки переключения между языками; для генерации рекомендуется использовать параметры из generation_config.json. Карточка указывает лицензию «other», но конкретные условия в предоставленных данных не раскрыты, поэтому перед использованием следует проверить лицензионные сведения репозитория. Это крупная модель, для запуска которой требуются значительные вычислительные ресурсы.

Qwen2.5-7B-Instruct-1M-heretic — это модифицированная версия Qwen2.5-7B-Instruct-1M, разработанная автором репозитория saidutta69 с использованием Heretic v1.4.0. Модель предназначена для генерации текста, диалогов, ролевых сценариев, программирования, анализа длинных документов и рассуждений по большим контекстам, включая анализ целых кодовых баз. Она ориентирована на локальный запуск разработчиками и пользователями потребительских GPU. Модель относится к семейству Qwen 2.5, имеет около 7 млрд параметров и поддерживает контекст до 1 млн токенов. Это instruction-tuned текстовая авторегрессионная модель; заявленный язык — английский. Доступны веса BF16 и квантованные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0, что позволяет запускать её на GPU с 8–24 ГБ памяти, а также на CPU и Apple Silicon при наличии достаточного объёма оперативной памяти. Модификация выполнена методом directional ablation, или abliteration: целевые изменения весов attention output и MLP down-projections подавляют поведение, связанное с отказами, без дообучения. Сильной стороной модели являются большой контекст, возможность локального запуска и сохранение большей части знаний и возможностей базовой модели после модификации. При этом подавление отказов является осознанным ограничением безопасности: модель может выполнять запросы, которые исходная версия отклоняла, в том числе потенциально опасные, и не содержит дополнительной фильтрации. Поэтому её не рекомендуется использовать за незащищённым публичным интерфейсом без собственной модерации. Модель распространяется по лицензии other, унаследованной от базовой Qwen2.5-7B-Instruct-1M.

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, подготовленная IG1. Модель предназначена для задач генерации текста и мультимодального взаимодействия в формате image-text-to-text, включая диалоги, рассуждения, программирование, работу с мультиязычными запросами и, при соответствующей поддержке сервера, вызов инструментов. Базовая модель разработана командой Qwen; в карточке также указаны наборы данных UltraChat, GSM8K, CodeAlpaca и Aya, использованные для калибровки квантизации. Модель использует гибридную архитектуру Mamba с компонентами attention и поставляется в формате NVFP4. При квантизации длина последовательности была увеличена до 8192 токенов, а калибровочная выборка — до 1024 примеров из разговорных, математических, программных и мультиязычных данных. Для запуска рекомендуется vLLM на GPU NVIDIA; в примере конфигурации для RTX 5090 заявлена максимальная длина контекста около 110 880 токенов, однако фактический размер зависит от настроек и доступной видеопамяти. К сильным сторонам относятся сниженное потребление памяти благодаря NVFP4, поддержка режимов с рассуждением и без него, а также профили для общих, программных и творческих сценариев. Ограничением является несовместимость или нестабильная работа FP8 KV cache: по данным автора, его использование может приводить к быстрой деградации качества или повреждению результатов квантизации. Карточка рекомендует развертывание через vLLM и содержит настройки для оптимизации работы на RTX 5090. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-OptiQ-4bit — это квантизированная версия языковой модели Qwen3.6-35B-A3B, подготовленная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локальной генерации текста на компьютерах Apple Silicon через MLX, без PyTorch и облачных сервисов. Она подходит для диалога, рассуждений, программирования, извлечения информации из длинного контекста, вызова инструментов и агентских сценариев. Модель использует смешанную точность: большинство параметров представлены в 4-битном формате, а чувствительные слои — в 8-битном. Всего квантизировано 510 слоёв, размер группы — 64; 392 слоя имеют 8-битную, а 118 — 4-битную точность. Размер модели на диске составляет около 22,1 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может ускорять декодирование примерно в 1,4 раза. Поддерживаются текстовые задачи; конкретные языки и размер контекста в README не указаны. К сильным сторонам относятся чувствительно-ориентированная квантизация, локальная работа на Apple Silicon и результаты, превосходящие равномерную 4-битную квантизацию по суммарному Capability Score, особенно в вызове функций и извлечении данных из длинного контекста. Ограничениями являются требования к памяти из-за размера около 22,1 ГБ, привязка к экосистеме MLX и Apple Silicon, а также небольшое снижение результатов в отдельных тестах по сравнению с равномерной 4-битной версией. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

filvyb/Qwen3.8-27B-heretic-ara-GGUF — это GGUF-квантизированная версия модели coder3101/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, долгих многошаговых агентских сценариев, а также понимания изображений и видео. В карточке указана архитектура causal language model с vision encoder и 27 млрд параметров. Модель использует 64 слоя, архитектуру с комбинацией Gated DeltaNet и Gated Attention, поддерживает управляемый режим рассуждений и имеет нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Она заявлена как мультимодальная модель для работы с текстом, изображениями и видео, однако сведения о поддерживаемых языках отсутствуют. Формат GGUF ориентирован на совместимое локальное инференс-развёртывание, но конкретные требования к памяти и варианты квантования в README не указаны. Ключевая особенность версии — abliteration, направленная на снижение частоты отказов: в приведённом сравнении модель отказалась выполнить 9 из 100 запросов против 92 из 100 у исходной Qwen3.8-27B, при KL-дивергенции 0,0349. Это может повысить полезность модели для сценариев, где требуется меньше ограничивающих отказов, но одновременно может ослаблять встроенные механизмы безопасного поведения. Модель распространяется по лицензии Apache-2.0.

rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX — это мультимодальная MLX-сборка модели Qwen3.8-27B от Qwen, подготовленная в виде активационно-ориентированной смешанной квантизации. Модель поддерживает ввод изображений и текста с генерацией текста, а также может работать в текстовом режиме. Сборка рассчитана прежде всего на компьютеры Apple Silicon с unified memory и запускается через Rapid-MLX, совместимый с OpenAI API. Модель предназначена для диалогов, анализа изображений, работы со знаниями, математического рассуждения и генерации кода. Средний размер квантизации составляет 3,5 bits-per-weight: языковые Linear-слои распределены между 2-, 3- и 4-битными представлениями, а vision tower сохранён в 4-битном виде. Размер модели на диске составляет около 13 ГБ; заявлены языки English и Chinese. По приведённым измерениям, модель обычно укладывается в 24 ГБ памяти Apple Silicon, использует примерно 14,6–16,5 ГБ в зависимости от сценария и не помещается в 16 ГБ. Сильная сторона сборки — заметное сокращение размера и пикового потребления памяти при сохранении результатов, близких к 4-битной и исходной bf16-версиям в задачах знаний, рассуждения и кода. Поддерживается опциональное ускорение через Multi-Token Prediction, однако его эффект зависит от чипа Apple. Ограничение — качество работы с изображениями ниже 4-битной версии: в MMBench-EN указано 86,7 против 90,3 балла. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4 — это квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen. Квантизацию выполнила A2Genesis с использованием NVIDIA TensorRT Model Optimizer 0.45 и рецепта для семейства qwen3_5. Модель предназначена для генерации текста, рассуждений, программирования, работы с инструментами и сценариев image-text-to-text, включая обработку изображений при наличии соответствующей инфраструктуры. Модель использует смешанную точность: проекции MLP и lm_head представлены в NVFP4 с форматом W4A16, проекции внимания — в FP8, KV-кэш — в FP8, а vision tower, MTP head и отдельные свёрточные и gating-слои сохранены в BF16. Размер контрольной точки составляет около 21 ГБ вместо примерно 55 ГБ у BF16-версии. Доступен контекст до 262144 токенов при обслуживании через vLLM, а сохранение MTP-тензоров позволяет применять speculative decoding. Языки в README не указаны. Сильные стороны модели — существенно меньший размер, поддержка высокопроизводительного инференса на GPU Blackwell, совместимость с vLLM, инструментальными вызовами и сохранение мультимодальных компонентов. Ограничения связаны с потерями и возможными особенностями качества, характерными для посттренировочной квантизации; на видеокартах более ранних архитектур NVFP4 загружается через поддержку ModelOpt, но преимущества производительности могут быть ниже. Это общественная квантизация от A2Genesis, не связанная с официальной поддержкой Qwen или NVIDIA. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.8-27B.

Карточка модели snombi/store1 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

SuperQwen3.8-27b-abliterated — мультимодальная диалоговая модель Jiunsong, полученная изменением Qwen/Qwen3.8-27B. Это полноразмерный чекпойнт BF16 в формате safetensors, примерно 52 ГБ, с плотной архитектурой Qwen3.5 и 27 млрд параметров. Изменение rank-4 снижает выраженность отказов; башня обработки изображений и веса MTP сохранены без изменений. Модель принимает текст и изображения и формирует текстовые ответы, поддерживает вызов инструментов и контекст до 262 144 токенов. Модель предназначена для диалогов, анализа изображений, многошаговых рассуждений и работы с инструментами. По карточке, настройки reasoning по умолчанию изменены на medium, а для xhigh добавлено условие остановки после получения ответа. Разработчик сообщает о прохождении конечного набора тестов на возможности, работу с изображениями и инструментами; это не гарантирует качество на всех задачах. Снижение отказов может приводить к ответам на запросы, которые базовая модель отклонила. Лицензия — Apache-2.0.

d0xin выпустил Swift-Qwen3.8-27B-Uncensored-BF16 — BF16-производную модели ukisai/Swift-Qwen3.8-27b на архитектуре Qwen3.5 dense с генерацией текста по текстовому и визуальному вводу. Модель рассчитана на диалоги, рассуждения, программирование, агентные сценарии и вызов инструментов; заявленная конфигурация контекста — 262 144 токена. Чекпойнт занимает около 52 ГБ, работает через Transformers и может обслуживаться через OpenAI-совместимый API SGLang. Модель получена ранговой абляцией направления в residual stream: изменены 131 из 1199 тензоров, а веса зрения оставлены без изменений. Автор сообщает, что на фиксированной проверке из 100 запросов модель не отказала ни разу, хотя в 10 случаях ответ сопровождался оговоркой; на отдельной проверке из 298 примеров измеримого снижения качества по сравнению с исходной моделью не обнаружено. Эти результаты относятся к описанным наборам и настройкам и не гарантируют поведение на других запросах. Из-за снижения склонности к отказам модель может выдавать небезопасный, незаконный или недостоверный контент. Лицензия указана как other; карточка рекомендует lawful use и предупреждает, что модель не предназначена для регулируемых профессиональных консультаций.

Vikhr-Nemo-12B-Instruct-R-21-09-24 — русско-английская унимодальная языковая модель команды VikhrModels, дообученная на базе mistralai/Mistral-Nemo-Instruct-2407. Это плотная архитектура Mistral с 12,1 млрд параметров; модель распространяется в формате safetensors и предназначена для генерации текста и диалога. Для обучения использованы этапы SFT и SMPO, а среди обучающих данных — синтетические наборы GrandMaster-PRO-MAX и Grounded-RAG-RU-v2. Модель подходит для ответов на вопросы, рассуждений, суммаризации, генерации кода и ролевого диалога. Она поддерживает системные промпты и специальный режим grounded RAG для ответов по предоставленным документам, включая поиск идентификаторов релевантных документов. README заявляет контекст до 128 тысяч токенов; в метаданных указано значение 1 024 000 токенов. Практический предел зависит от конфигурации запуска. К ограничениям относятся низкий уровень безопасности ответов, возможные случайные дефекты генерации при высокой температуре и риск добавления модельных знаний к ответу по документам. Режим grounded RAG требует специального системного промпта; авторы рекомендуют низкую температуру. По оценке авторов на ru-arena-general часть тестовых примеров попала в обучающие данные, поэтому приведённый результат следует интерпретировать с осторожностью. Лицензия — Apache-2.0.

airoboros-33b-gpt4-m2.0 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, созданная Джоном Дурбином как дообучение с инструкциями на синтетических примерах Airoboros. Версия m2.0 объединяет набор данных версии 1.4.1 с данными серии 2.0 без дубликатов и категории system; данные серии 2.0 были сгенерированы GPT-4 от 14 июня 2023 года. Модель работает с текстом и предназначена для диалогов и выполнения инструкций. Модель подходит для ответов на вопросы по заданному контексту, помощи с программированием, планирования действий с инструментами и генерации структурированных ответов в JSON или YAML. Для контекстных вопросов README рекомендует явно размечать блоки входных данных и инструкций; автор также предупреждает, что модель может выдумывать ответы, если контекст не содержит нужной информации. Формат диалога использует префикс USER/ASSISTANT и системное описание помощника. Указанное в метаданных ограничение контекста — 2048 токенов. Для версии на 33 млрд параметров README сообщает о QLoRA-дообучении и исследовательском, некоммерческом назначении. Лицензия репозитория — CC BY-NC 4.0, поэтому коммерческое использование не допускается по указанным условиям.

stelterlab/DeepSeek-R1-Distill-Qwen-14B-AWQ — квантизированная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанная сообществом stelterlab на основе оригинальных весов DeepSeek AI. Квантизация выполнена в формате INT4 GEMM с использованием AutoAWQ. Модель предназначена для задач рассуждения, решения математических и программных задач, генерации текста и других сценариев применения языковых моделей. Это плотная текстовая модель, дистиллированная из DeepSeek-R1 на базе Qwen2.5; заявлено, что дистилляция переносит эффективные паттерны рассуждений крупной модели в компактные модели. Размер данной версии — 14B параметров. Сведения о поддерживаемых языках и размере контекста в README не указаны. Ключевое преимущество версии AWQ — снижение требований к памяти и вычислительным ресурсам по сравнению с полноточными весами, что упрощает локальный запуск на совместимом оборудовании. Ограничения связаны с INT4-квантизацией: она может приводить к потере качества по сравнению с исходной моделью, а фактическая совместимость и производительность зависят от используемого ПО и оборудования. Модель распространяется по лицензии MIT.

muranAI/gemma-3n-E4B-it-GGUF — коллекция GGUF-квантизованных версий instruction-tuned модели Gemma 3n E4B IT. Базовая модель разработана Google, а muranAI подготовила варианты для эффективного запуска с использованием llama.cpp и Ollama. Модель предназначена для диалоговых приложений, генерации текста, ответов на вопросы, программирования и других задач общего назначения. Архитектура — Gemma 3n с эффективным объёмом около 4 миллиардов параметров, контекстным окном 32 768 токенов и словарём размером 256 000 токенов. Заявлена многоязычная поддержка более 140 языков. Доступны варианты квантования от F16 и Q8_0 до Q2_K размером примерно от 2,6 до 13 ГБ, что позволяет выбирать между качеством, скоростью и требованиями к памяти. Модель оптимизирована для работы на обычных компьютерах и периферийных устройствах; поддерживаются CPU и совместимые GPU через llama.cpp или Ollama. Сильные стороны модели — instruction tuning для диалогов, расширенный контекст, многоязычность и широкий выбор степеней квантования. К ограничениям относятся потенциальная потеря качества в более агрессивно квантованных вариантах и зависимость производительности от оборудования и версии программного обеспечения. В README приведены ориентировочные результаты исходной модели на ряде бенчмарков, но они не обязательно отражают показатели каждой квантизованной версии. Распространение осуществляется по лицензии Gemma.

cafepm/gemma-4-12b-it-Q3Q4-GGUF — это смешанно-квантованная версия Gemma 4 12B Instruct, опубликованная cafepm. По карточке, 20% весов квантованы до 4 бит, а остальные 80% — до 3 бит; файлы представлены в формате GGUF. Базовая модель — google/gemma-4-12B-it. Репозиторий предназначен для локального запуска, в том числе для помощи при программировании в VS Code и работы на потребительском оборудовании. Модель принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и визуальное понимание. В карточке базового семейства заявлены анализ документов и изображений, распознавание текста, работа с длинным контекстом и использование инструментов. Для этого конкретного квантованного варианта заявлен контекст до 200 тысяч токенов, однако README также приводит для Gemma 4 12B значение до 256 тысяч; фактический предел зависит от сборки и рантайма. Семейство поддерживает более 35 языков, но список языков для этой сборки не приведён. README заявляет, что схема смешанной точности сохраняет качество генерации уровня Q4 при размере, близком к Q3, и позволяет разместить модель в 8 ГБ VRAM; независимые результаты оценки не приведены. Квантование снижает требования к памяти, но может влиять на качество по сравнению с исходными весами, а длинный контекст требует значительных ресурсов. Указана лицензия Apache-2.0.

Карточка модели AST-1320/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

Карточка модели Cup3/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

Карточка модели Cup4/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

GLM-4.7-Flash — модель семейства GLM, опубликованная Unsloth в формате Safetensors и предназначенная для генерации текста в диалоговом режиме. Карточка описывает исходную GLM-4.7-Flash от Z.ai как MoE-модель класса 30B-A3B; каталог указывает для этой публикации 4,1 млрд параметров и архитектуру GLM4-MoE-Lite. Контекст составляет 202 752 токена. Модель рассчитана на диалог, рассуждения и программирование. В метаданных также отмечен интерфейс вызова инструментов. README сообщает о поддержке локального запуска через vLLM и SGLang, а публикация включает исправления шаблона чата для Unsloth; заявленные результаты бенчмарков относятся к карточке исходной модели. Модель принимает текст и генерирует текст. Основные языки карточки — английский и китайский. Репозиторий использует лицензию MIT. Карточка рекомендует для llama.cpp параметр --jinja; vLLM и SGLang, согласно README, поддерживают модель только в основных ветках.

PhalaCloud/GLM-5.2-W4AFP8 — это квантизированная версия GLM-5.2, разработанного zai-org. Модель предназначена для генерации текста, рассуждений, точного следования инструкциям, работы с длинным контекстом и вызова инструментов. Указаны поддерживаемые языки English и Chinese; модель работает в текстовом режиме. Модель сохраняет полный объём 753 млрд параметров и использует архитектуру Mixture-of-Experts. Маршрутизируемые экспертные веса квантизированы до 4 бит с group size 128 и FP8-активациями, а отдельные компоненты, включая attention и MTP-слой, остаются в FP8 или BF16. На одном узле с 8 GPU H200 поддерживается контекст до 1 млн токенов. Квантизация рассчитана на снижение потребления памяти без измеримой потери качества относительно FP8-версии; заявлена поддержка EAGLE speculative decoding. По приведённым тестам модель показывает высокие результаты в reasoning, instruction following, long-context reasoning и tool calling, а также извлекает данные из контекста длиной около 983 тысяч токенов. Основные ограничения — необходимость GPU Hopper с SM90, проверенная совместимость только с SGLang версии 0.5.13.post1 или новее и непроверенная работа с vLLM и другими движками. Модель распространяется по лицензии MIT, унаследованной от GLM-5.2.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-AWQ — мультимодальная языковая модель, основанная на архитектуре GLM-5.3-Flash. Исходную архитектуру разработала Zhipu AI / ZAI, uncensored-веса подготовила dealignai, а Solstice-AI выпустила эту AWQ-квантизованную версию. Модель предназначена для генерации и анализа текста, программирования, математических и логических задач, а также понимания изображений и видео. Заявлены поддерживаемые языки английский и китайский. Модель использует MoE-архитектуру с 320 млрд общих параметров, 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Применяется формат W4A16 AWQ: веса квантизованы до INT4 с group_size=128, а активации сохраняются в 16-битном формате. Визуальные компоненты, механизмы внимания, маршрутизаторы MoE, эмбеддинги и языковая голова оставлены без квантизации. В README указана поддержка контекста до 131 072 токенов, а также speculative decoding с DFlash 2. К сильным сторонам относятся сочетание больших возможностей MoE-модели с уменьшенным размером весов, мультимодальность, поддержка длинного контекста и сценариев программирования, математики, анализа изображений и видео. Ограничения включают очень высокую общую ёмкость модели и, как следствие, значительные требования к памяти и вычислительным ресурсам, несмотря на INT4-квантизацию; для запуска требуются совместимые движки, например vLLM или SGLang. Показатели качества и отсутствие отказов приведены авторами README и не подтверждены независимой проверкой. Лицензия — MIT.

Granite 3.0 8B Instruct — это языковая модель для генерации текста, разработанная IBM и опубликованная в формате GGUF пользователем bartowski. Репозиторий содержит квантизированные варианты базовой модели ibm-granite/granite-3.0-8b-instruct, подготовленные с использованием llama.cpp и imatrix. Модель предназначена для локального запуска, в частности через LM Studio, и поддерживает стандартный формат диалога с системными и пользовательскими сообщениями. Модель имеет около 8 млрд параметров и работает в режиме text-generation. Она ориентирована на следование инструкциям, ответы на вопросы, рассуждения, математические задачи, генерацию кода и мультиязычные сценарии; в README приведены результаты на IFEval, AGI-Eval, OBQA, BoolQ, ARC-C, HumanEvalSynthesis, GSM8K и PAWS-X для семи языков. Архитектура, точный размер контекста, перечень поддерживаемых языков и модальности дополнительно не указаны, поэтому модель следует считать текстовой. Основное преимущество этой версии — выбор квантизаций от F16 до Q4, позволяющий снизить требования к памяти при сохранении качества. В README рекомендуются варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S и Q4_K_M; более компактные варианты экономят память, но могут сильнее снижать качество. Ограничениями являются отсутствие мультимодальности в описании, неполные сведения о контексте и языках, а также необходимость самостоятельно выбрать подходящий файл и совместимое ПО. Модель распространяется по лицензии Apache-2.0.

Granite-3.1-8B-Base — базовая языковая модель IBM Granite Team для генерации текста и последующей адаптации под прикладные сценарии. Это плотный decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 8,2 млрд параметров и поддерживает контекст до 131 072 токенов. Контекст расширен с 4K у Granite-3.0-8B-Base посредством поэтапного обучения на длинных последовательностях примерно на 500 млрд токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы и других задач генерации текста, в том числе по длинному контексту. Она обучалась на данных из веба, кода, академических источников, книг и математики, а также на многоязычных, инструкционных и синтетических длинноконтекстных данных. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель не проходила safety alignment и может выдавать предвзятые или недостоверные ответы, а также воспроизводить фрагменты обучающих данных. Лицензия Apache 2.0.

HauhauCS-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — модифицированная версия Qwen3.6-35B-A3B, разработанная HauhauCS. Модель предназначена для диалогов, генерации текста, рассуждений, программирования и мультимодальных сценариев с обработкой текста, изображений и видео. Ключевая особенность Aggressive-варианта — удаление отказов при сохранении заявленных возможностей исходной модели; по данным README, модель не отказывает в ответах, хотя иногда может добавлять короткие дисклеймеры. Модель использует гибридную MoE-архитектуру: 35 млрд общих параметров, около 3 млрд активных параметров на один проход, 256 экспертов и 8 маршрутизируемых экспертов на токен. Архитектура включает линейное и полное softmax-внимание в соотношении 3:1, 40 слоёв и нативный контекст до 262 тысяч токенов. Заявлена поддержка английского, китайского и других многоязычных сценариев. Доступны GGUF-квантизации Q2–Q8, включая пользовательские K_P-варианты, оптимизированные с помощью importance matrix; размер файлов составляет примерно от 11 до 44 ГБ. Для работы с изображениями требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, низкое число активных параметров для MoE-модели, мультимодальность, широкий выбор квантизаций и отсутствие встроенных отказов. Ограничения включают высокие требования к памяти, возможное появление дисклеймеров, зависимость качества от выбранной квантизации и необходимость корректной настройки runtime; для llama.cpp рекомендуется использовать флаг --jinja и не менее 128 тысяч токенов контекста для сохранения возможностей рассуждения. Модель распространяется по лицензии Apache-2.0.

IFM/K2-Horizon-32B-FP8 — открытая FP8-квантизированная версия K2-Horizon-32B-Stage1, разработанная IFM. Это плотная decoder-only языковая модель с 32 млрд параметров, предназначенная для генерации текста, агентских сценариев, программирования и задач рассуждения. Модель поддерживает английский язык и нативное контекстное окно до 524 288 токенов. Веса всех линейных слоёв, кроме lm_head, квантизированы в FP8: для весов используется статическое масштабирование по блокам 128×128, а для активаций — динамическое масштабирование по группам 1×128. По данным разработчиков, FP8-версия близка к исходной BF16-модели по результатам оценивания, при этом требует меньше памяти и обеспечивает более быстрый вывод на совместимом с FP8 оборудовании. Модель относится к этапу Stage1 обучения, а финальный чекпойнт на момент публикации ещё не выпущен, поэтому заявленные характеристики могут быть неполными. Указано, что тренировочные данные, рецепт и код обучения будут открыты, а промежуточные чекпойнты планируется публиковать для анализа изменений возможностей. Модель распространяется по лицензии Apache-2.0.

K2-Horizon-32B MLX 4-bit — 4-битная квантованная версия плотной авторегрессионной языковой модели IFM/K2-Horizon-32B, разработанной Institute of Foundation Models. Репозиторий преобразует исходную модель в формат MLX для запуска на компьютерах Apple Silicon; заявленный размер после квантования — около 18 ГБ. Модель содержит около 31,2 млрд параметров и поддерживает контекст до 524 288 токенов. Модель предназначена для генерации текста и диалогов с длинным контекстом, рассуждений, программирования и агентных задач. README описывает её как reasoning-модель и приводит результаты на tau3 Banking Agentic, Terminal-Bench 2.1 и SciCode. Для запуска указана библиотека mlx-lm; для поддержки специфичных форматов размышлений и вызовов инструментов README требует oMLX версии 0.6.4 или новее с патчем K2-Horizon. Это квантованная производная исходной модели, а не отдельное дообучение: README называет её равномерной 4-битной квантовкой IFM/K2-Horizon-32B, хотя метаданные помечают связь как finetune. В карточке указано, что опубликован Stage 1 checkpoint и ожидается финальная версия с улучшенными результатами, поэтому приведённые показатели следует считать предварительными. Лицензия — Apache-2.0.

Linkbricks-Horizon-AI-Japanese-Advanced-V7-70B — языковая модель компании Linkbricks, дообученная директором по данным Юнсоном Джи (Saxo) на базе Saxo/Linkbricks-Horizon-AI-Japanese-Advanced-V4-70B. Это плотная модель семейства Llama с 69,5 млрд параметров и контекстом до 128 тысяч токенов; опубликована в формате Safetensors и рассчитана на запуск через Transformers. Модель обучали с применением SFT и DPO на японских новостях и корпусе Википедии, а также на многоязычных данных для японского, корейского, китайского и английского языков. Она предназначена для генерации текста, письма и программирования, анализа отзывов и публикаций в социальных сетях, перевода, математических и логических задач. Поддерживается интерфейс вызова функций и инструментов. Модель распространяется по лицензии Apache-2.0. Заявленные сценарии и способности отражают сведения карточки модели; README не приводит количественных оценок качества или результатов бенчмарков.

kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.

unsloth/phi-4-GGUF — это конвертированная в формат GGUF версия модели Phi-4, разработанной Microsoft Research и основанной на microsoft/phi-4. Unsloth адаптировала модель под архитектуру Llama, чтобы упростить использование и дообучение, а также внесла исправления, связанные с Phi-4. Модель распространяется для запуска через llama.cpp и других совместимых инструментов. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических задач и программирования. Это плотный decoder-only Transformer на 14 млрд параметров с текстовым вводом, оптимизированным для запросов в чат-формате. Заявленная длина контекста составляет 16K токенов, основной язык — английский. В репозитории доступны варианты квантования GGUF, включая phi-4-Q2_K_L.gguf, что позволяет запускать модель с различными компромиссами между качеством, скоростью и требованиями к памяти. Сильными сторонами модели являются ориентация на качественные данные, развитое рассуждение, точное следование инструкциям и поддержка сценариев дообучения. Ограничения включают текстовую модальность, преимущественную ориентацию на английский язык, ограничение контекста в 16K токенов и возможные потери качества, зависящие от выбранного уровня квантования. Модель распространяется по лицензии MIT.