II.8Инженерия данных и аналитика

microsoft/phi-4-gguf — GGUF-версия модели phi-4, разработанной Microsoft Research. Это открытая языковая модель для генерации текста, ориентированная преимущественно на английский язык. Она предназначена для исследовательских задач, создания генеративных функций и универсальных AI-систем, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке, а также для задач рассуждения, логики, математики, программирования, диалогового взаимодействия и следования инструкциям. Модель построена как плотный decoder-only Transformer с 14 млрд параметров и поддерживает текстовые входы и выходы. Контекстное окно составляет 16K токенов; рекомендуемый формат взаимодействия — chat-промпты. Обучение проводилось на 9,8 трлн токенов в период с октября по ноябрь 2024 года, а выпуск состоялся 12 декабря 2024 года. Данные включали синтетические учебные материалы, отфильтрованные общедоступные документы, код, академические книги, наборы вопросов и ответов и данные для supervised fine-tuning и direct preference optimization. Мультиязычные данные составляли около 8% корпуса, поэтому основной акцент сделан на английском языке. К сильным сторонам относятся компактный для своих возможностей размер, ориентация на рассуждение и логические задачи, а также дополнительное выравнивание для соблюдения инструкций и повышения безопасности. Ограничения включают статичность модели и отсечение общедоступных данных июнем 2024 года, преимущественную ориентацию на английский язык и необходимость самостоятельной проверки точности, безопасности, справедливости и соответствия требованиям законодательства в конкретных сценариях, особенно в высокорисковых областях. Модель распространяется по лицензии MIT.

Qwen3-32B-Nex-N1 — плотная языковая модель серии Nex-N1 от разработчиков платформы Nex, дообученная для автономной работы агентов. Она предназначена для генерации текста в сценариях программирования, вызова инструментов, веб-поиска и многошаговых задач, а также для создания мини-приложений и веб-страниц. В README приведены результаты оценки этой версии на агентных и программных бенчмарках; модель также поддерживает чат и вызов функций. Модель построена на архитектуре Qwen3 и содержит 29,7 млрд параметров. Контекст — до 131 072 токенов; репозиторий предоставляет веса в формате Safetensors. Она принимает и генерирует текст. README рекомендует запуск через SGLang и для вызова функций указывает парсер инструментов qwen3_coder. Лицензия — Apache-2.0.

Richard Young выпустил эту версию Qwen3-4B-Instruct-2507, обработанную методом abliteration с помощью Heretic v1.4.0. Это плотная причинная языковая модель на 3,7 млрд параметров для генерации текста и диалогов; она рассчитана на режим без пошагового рассуждения и имеет контекстное окно 262 144 токена. Модель предназначена для следования инструкциям, ответов на вопросы, логических и математических задач, программирования, работы с длинными текстами и сценариев с вызовом инструментов. В README автор сообщает, что при его проверке модель отказала в 3 из 100 запросов, тогда как исходная версия отказала во всех 100; это описывает результаты конкретной оценки, а не гарантирует поведение на других запросах. Репозиторий содержит веса Safetensors для Transformers. Указанная лицензия — Apache-2.0. README отмечает поддержку нескольких языков, но не перечисляет их, поэтому основной язык определить нельзя.

unsloth/Qwen3.5-9B — постобученная мультимодальная модель семейства Qwen3.5, опубликованная в формате Transformers командой Unsloth. Это причинная языковая модель с визуальным энкодером на 9 млрд параметров; архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Модель принимает текст и изображения, ведёт диалог, анализирует визуальные материалы, рассуждает и поддерживает вызов инструментов. Модель рассчитана на мультиязычное применение: карточка заявляет поддержку 201 языка и диалекта. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Веса сохранены в формате safetensors и совместимы с Transformers и рядом серверов инференса. Лицензия — Apache-2.0. Среди подходящих сценариев — вопросы по изображениям и визуальное понимание, многоязычный диалог, программирование, рассуждения и агентные задачи с использованием инструментов. Режим рассуждений включён по умолчанию; высокая пропускная способность и эффективность зависят от выбранного движка и его версии. Для длинного контекста требуются значительные ресурсы памяти, а при нехватке памяти рекомендуется уменьшить окно контекста.

Карточка модели ArliAI/Qwen3.5-9B-RpRMax-v1 на Hugging Face совпадает с карточкой Qwen/Qwen3.5-9B, поэтому описание составлено по ней. Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

palmfuture/Qwen3.8-27B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия Qwen3.8-27B, опубликованная palmfuture и основанная на модели Qwen/Qwen3.8-27B. Модель предназначена для диалогов, следования инструкциям, генерации кода, математических рассуждений и работы с изображениями. Заявлены английский, китайский и тайский языки, а также сценарии codeswitching. Модель использует гибридную архитектуру с обычным attention и линейным attention на основе Gated DeltaNet/Mamba; визуальный encoder сохранён в формате bf16, как и embeddings, lm_head, нормализации и MTP-компоненты. Основной набор линейных слоёв квантизован в int4 с uniform group_size=32. Указана поддержка контекста до 262144 токенов в конфигурации SGLang; пример для vLLM ограничен 8192 токенами. В комплект входят веса Multi-Token Prediction для speculative decoding, совместимые с SGLang и vLLM. К сильным сторонам относятся существенное снижение требований к памяти, совместимость с популярными inference-системами, поддержка vision-задач и ускорение генерации за счёт speculative decoding. К ограничениям относятся необходимость корректной настройки runtime: для SGLang рекомендуется mamba-ssm-dtype=float32, поскольку float16 может вызывать дрейф состояния и ошибки в тайских диакритических знаках на длинных диалогах. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GPTQ-INT4-FP8KV — квантованная версия мультимодальной модели Qwen3.8-27B, опубликованная пользователем abhishekchohan на базе Qwen/Qwen3.8-27B. Модель предназначена для диалогов, рассуждений, решения математических и научных задач, программирования, следования инструкциям, работы с длинным контекстом и анализа изображений. Поддерживаемые языки в README не указаны. Используется 4-битное GPTQ-квантование весов в формате W4A16 с асимметричными группами размера 32, а также FP8 E4M3 KV-кэш с откалиброванными масштабами. Размер модели — 27B параметров; текстовая часть включает 64 гибридных слоя attention и DeltaNet, а визуальная часть основана на замороженном ViT-энкодере. Сохраняется нативный контекст до 262 144 токенов, с расширением YaRN до 524 288 токенов на GPU с 48 ГБ и до 1 млн токенов на 96 ГБ, однако поиск за пределами 262 144 токенов не валидировался. Контрольная точка занимает около 20 ГБ и рассчитана на запуск через vLLM, включая speculative decoding. Главные преимущества — существенно сниженное потребление памяти, возможность обслуживания нативного длинного контекста на одной 48-ГБ GPU и результаты бенчмарков, сопоставимые с BF16-версией: средний показатель на заявленном наборе тестов составил 70,29 против 70,04 у базовой модели, а извлечение информации из контекста прошло без деградации на 262 144 токенах. Ограничения включают возможную зависимость результатов генерации от GPU и конфигурации, а также неизбежные риски квантования; отдельные тесты показали небольшое снижение качества. Модель распространяется по лицензии Apache-2.0.

Lucebox/Qwen3.8-27B-IQ4_XS-fast-GGUF — квантизированная GGUF-версия базовой модели Qwen/Qwen3.8-27B, подготовленная для проекта lucebox. Файл создан на основе IQ4_XS с imatrix-калибровкой от bartowski и полностью переквантизирован в IQ4_XS для снижения объёма и ускорения декодирования. Разработчик исходной модели — Qwen; сборку и оптимизацию файла выполнил Lucebox. Модель предназначена для генерации текста, программирования, математических задач и мультимодальных сценариев с анализом изображений. При использовании отдельного проектора Qwen3.8-27B-mmproj-Q8_0.gguf поддерживает ввод изображений через OpenAI-совместимый формат сообщений, до четырёх изображений за запрос. В README указан максимальный контекст до 131 072 токенов при соответствующей конфигурации сервера. Размер файла составляет 13,54 GiB. Для ускорения текстовой генерации предусмотрена совместная работа с черновой моделью DFlash2 и speculative decoding. Главное преимущество версии — более высокая скорость по сравнению с Unsloth UD-IQ4_XS: на указанном AMD Radeon AI PRO R9700 измерено 37,4 токена/с при обычном декодировании и 174,5 токена/с в сквозном тесте с draft-моделью. Компромисс — немного более низкое качество: относительно Q8_0 зафиксированы рост perplexity на 1,9%, top-1 agreement 92%, результат HumanEval 144/164 и GSM8K 171/200. Показатели зависят от оборудования, настроек и сценария; для задач, чувствительных к качеству, README рекомендует UD-IQ4_XS. Модель распространяется по лицензии Apache-2.0.

Qwen3-Next-80B-A3B-Instruct-REAM — сжатая версия диалоговой модели Qwen3-Next-80B-A3B-Instruct, созданная методом REAM, описанным в статье об объединении экспертов для улучшения их прореживания. Разработчик уменьшил число экспертов в слоях MoE с 512 до 384; по README, объём модели сократился с 80 до 60 млрд параметров, а требования к хранению и памяти GPU — примерно на 25%. Метаданные указывают архитектуру MoE семейства Qwen3-Next и 2,3 млрд параметров, что расходится с числом в README. Модель предназначена для диалогов и генерации текста, в том числе для задач с длинным контекстом до 262 144 токенов; метаданные также отмечают интерфейс вызова инструментов. README сообщает о сохранении не менее 95% исходного качества на ряде тестов: опубликованные результаты охватывают следование инструкциям, математику, общие знания и программирование. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Это доработка Qwen/Qwen3-Next-80B-A3B-Instruct методом сжатия экспертов; README также описывает версию v2 с изменённым составом данных сжатия, настройкой групп экспертов и сжатием слоя MTP. Лицензия — Apache-2.0. Число параметров в метаданных противоречит README, а приведённые результаты относятся к конкретным тестам и не гарантируют качество во всех сценариях.

BennyDaBall/Qwopus3.8-27B-Flash-NVFP4 — локальная квантованная версия модели Qwopus3.8-27B-Flash, разработанной Jackrong. Это GGUF-модель для запуска через llama.cpp и LM Studio, оптимизированная прежде всего для видеокарт NVIDIA Blackwell, включая RTX 5090. Модель предназначена для программирования, агентских сценариев, работы с инструментами и функциями, генерации кода и диалоговых приложений. В основе находится плотная текстовая модель с 27 млрд параметров и 64 текстовыми слоями, использующая NVFP4 для основных матриц внимания, Gated DeltaNet и MLP. В модели сохранена высокоточная MTP-компонента для встроенного speculative decoding без отдельной draft-модели. Выходные, embedding- и крупные MTP-тензоры имеют более высокую точность, а малые служебные тензоры сохранены в F32. Поддерживается контекст до 262 144 токенов. Модель мультимодальная: для анализа изображений используется отдельный совместимый BF16 vision projector. Заявлены языки English, Chinese, Spanish, Russian и Japanese. К сильным сторонам относятся уменьшенный размер по сравнению с исходной BF16-версией, встроенное ускорение генерации через MTP, поддержка изображений, tool use и function calling, а также готовый шаблон чата с поддержкой мультимодального ввода и сохранения reasoning-контента. Основные ограничения связаны с требованиями к окружению: оптимизация и проверка выполнены на одной RTX 5090 с 32 ГБ памяти, необходима свежая сборка llama.cpp с поддержкой NVFP4, мультимодальности и draft-mtp, а старые runtime могут не загрузить тензоры типа 40. Для работы с изображениями требуется дополнительный файл mmproj; доступный контекст в таком режиме может быть уменьшен из-за расхода памяти. Модель распространяется по лицензии Apache-2.0.

Apriel-1.5-15b-Thinker-GGUF — это GGUF-квантизированная версия мультимодальной reasoning-модели Apriel-1.5-15b-Thinker, разработанной ServiceNow AI в рамках серии Apriel SLM. Модель предназначена для генерации текста, решения математических, научных и логических задач, программирования, работы с корпоративными сценариями и анализа изображений. Вариант GGUF создан с использованием llama.cpp; в процессе конвертации применялся подход с повышением точности отдельных важных слоёв для улучшения качества при заданном уровне квантизации. Модель содержит 15 млрд параметров и поддерживает текстовые и визуальные входные данные. Она обучалась на текстах, связанных с математикой, программированием, научными и логическими задачами, а также на мультимодальных данных для понимания изображений, создания подписей и работы с чередующимися изображениями и текстом. Постобучение включало текстовый SFT более чем на 2 млн высококачественных примеров; reinforcement learning не применялся. Заявлены результаты 52 балла в Artificial Analysis, 68 в Tau2 Bench Telecom и 62 в IFBench. Модель рассчитана на размещение на одной GPU и по умолчанию выполняет расширенное рассуждение, что может повышать точность, но увеличивает расход токенов и время ответа. К ограничениям относятся повышенная ресурсоёмкость вывода из-за подробного рассуждения, возможная зависимость качества от выбранного GGUF-квантизированного варианта и отсутствие image SFT и RL в процессе обучения. Лицензия модели — MIT.

DeepHermes-3-Llama-3-3B-Preview-Abliterated — англоязычная чат-модель Nous Research, дообученная на базе NousResearch/DeepHermes-3-Llama-3-3B-Preview. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров и контекстом до 131 072 токенов. Она поддерживает обычный режим ответов и режим развёрнутых рассуждений, переключаемые системным промптом, а также вызов функций. Модель предназначена для рассуждений, решения сложных задач, структурированной генерации, аннотирования, оценки ответов и автоматизации. Её можно применять для программирования, исследовательской работы и поддержки принятия решений. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Суффикс «Abliterated» указывает на изменение защитного поведения, но README не описывает его механизм или результаты оценки.

NVIDIA DeepSeek-R1-0528-NVFP4-v2 — FP4-квантизированный вариант модели рассуждений DeepSeek-R1-0528, подготовленный с помощью NVIDIA TensorRT Model Optimizer. Это авторегрессионная языковая модель семейства DeepSeek V3 с архитектурой трансформера; в метаданных указано 37,6 млрд параметров и контекст до 163 840 токенов. Версия v2 дополнительно квантизирует модуль wo в слоях внимания по сравнению с DeepSeek-R1-0528-FP4. Модель принимает текст и генерирует текст. Она предназначена для диалогов и решения задач, в том числе многошаговых рассуждений; доступен интерфейс вызова инструментов. Квантизация весов и активаций линейных операторов снижает требования к диску и памяти GPU примерно в 1,6 раза. Для запуска README указывает TensorRT-LLM, Linux и оборудование NVIDIA Blackwell; приведённый пример развёртывания требует 8 GPU B200. Модель основана на DeepSeek-R1-0528 и, согласно README, готова к коммерческому и некоммерческому использованию; метаданные указывают лицензию MIT. Ответы могут быть неточными, неполными или избыточными, а обучающие данные могут приводить к токсичному языку и усилению социальных предубеждений.

unsloth/DeepSeek-R1-Distill-Llama-8B — текстовая языковая модель семейства Llama, опубликованная Unsloth на основе DeepSeek-R1-Distill-Llama-8B от DeepSeek. Это плотная авторегрессионная модель примерно на 7,5 млрд параметров с контекстом до 131 072 токенов; репозиторий содержит веса Safetensors и рассчитан на Transformers. Модель предназначена для диалоговой генерации текста и многошаговых рассуждений, включая решение математических задач и помощь в программировании. Её веса происходят от модели Llama 3.1 8B, дообученной на примерах рассуждений, сгенерированных DeepSeek-R1. В карточке заявлена поддержка английского языка; метаданные также отмечают чат и интерфейс вызова инструментов. Модель подходит для прототипирования ассистентов и задач, где полезны длинный контекст и развернутые рассуждения. Качество ответов может быть нестабильным, а сгенерированные выводы требуют проверки; README указывает максимальную длину генерации 32 768 токенов для описанной оценки. Лицензия репозитория — Llama 3.1, поэтому использование должно соответствовать её условиям.

Dolphin 2.7 Mixtral 8X7B AWQ — квантизированная 4-битная версия языковой модели Dolphin 2.7 Mixtral 8X7B, разработанной Cognitive Computations и подготовленной TheBloke. Модель основана на архитектуре Mixtral и предназначена для генерации текста, выполнения инструкций, диалоговых сценариев и задач программирования. При обучении использовались наборы данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder, Capybara и другие. Основной язык модели — английский. Модель использует квантизацию AWQ с параметрами 4 бит, group size 128 и форматом GEMM. Максимальная заявленная длина последовательности составляет 8192 токена, размер файлов модели — около 24,65 ГБ. Предусмотрен шаблон запросов ChatML с отдельными ролями system, user и assistant. Квантизация уменьшает требования к памяти и ускоряет инференс при сохранении качества, однако может незначительно влиять на точность по сравнению с исходной версией в формате FP16. Для запуска поддерживаются AutoAWQ, vLLM, Transformers и text-generation-webui; для Mixtral AWQ подтверждена работа vLLM версии 0.2.6. AWQ-версии рассчитаны преимущественно на Linux и Windows с GPU NVIDIA, поэтому на macOS рекомендуется использовать формат GGUF. В README указано, что модель распространяется по лицензии Apache-2.0.

dolphin-2.9.1-llama-3-70b-IMat-GGUF — GGUF-квантизированная версия текстовой модели dolphin-2.9.1-llama-3-70b, разработанной cognitivecomputations. Модель основана на Llama 3 с исходным типом данных BF16 и содержит около 70 млрд параметров. Квантизация выполнена с использованием llama.cpp версии b3003, а разработчиком сборки указан legraphista. Для калибровки применён IMatrix-набор данных. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, function calling и агентские задачи. При обучении исходной модели использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math Word Problems, Locutusque Function Calling ChatML и Agent-FLAN. Поддерживаются варианты квантизации от Q2_K и IQ3 до Q8_0, а также FP16 и BF16; доступны как цельные, так и разделённые файлы. Ключевое преимущество сборки — возможность запускать крупную модель в формате GGUF через совместимое программное обеспечение, выбирая компромисс между размером файла и сохранением качества. IMatrix применяется в ряде вариантов с более низкой разрядностью и может улучшать качество по сравнению с обычной квантизацией. Ограничения включают значительные требования к дисковому пространству и вычислительным ресурсам, особенно для вариантов высокого качества; сведения о конкретном контекстном окне, языках и мультимодальности в README не указаны. Лицензия указана как llama3.

Это набор GGUF-квантизаций модели dolphin-2.9-llama3-8b-1m, созданной на базе Meta-Llama-3-8B. Квантизации подготовлены пользователем bartowski с использованием llama.cpp и метода imatrix; исходная модель разработана командой Cognitive Computations. Модель предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, программирования, математических задач, function calling и агентских сценариев. Модель содержит около 8 миллиардов параметров, работает в текстовой модальности и использует формат диалоговых сообщений ChatML с ролями system, user и assistant. В обучении или дообучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие датасеты. Суффикс 1m указывает на вариант с очень длинным контекстом, однако точный размер контекстного окна в README не указан. Доступно множество вариантов квантизации с размером файлов примерно от 2,39 до 8,54 ГБ. Q6_K и Q5-серии обеспечивают высокое качество, а Q4 и более компактные варианты снижают требования к памяти и подходят для локального запуска; наиболее агрессивные Q2 и Q3-квантизации имеют заметно более низкое качество. Ограничения включают возможную потерю качества из-за квантизации, отсутствие мультимодальности и неуказанные в README показатели производительности. Лицензия обозначена как other, поэтому точные условия использования следует уточнять у разработчиков исходной модели.

Falcon3-3B-Instruct — языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Она предназначена для диалогов и выполнения инструкций, а также для задач рассуждения, понимания языка, программирования и математики. Модель содержит 2,8 млрд параметров и принимает текст, формируя текстовые ответы; поддерживает интерфейс вызова инструментов. Это трансформерный авторегрессионный декодер с 22 блоками, Grouped Query Attention, SwiGLU и RMSNorm. Контекстное окно — до 32 768 токенов. Модель подготовлена на веб-данных, коде, STEM-материалах и многоязычных данных, а затем дообучена на диалогах, инструкциях, коде, математике, безопасности и вызовах функций. Поддерживаемые языки: английский, французский, испанский и португальский. Для практического применения доступны веса в формате safetensors и библиотека Transformers. Лицензия — TII Falcon-LLM License 2.0; перед использованием следует ознакомиться с её условиями. Качество ответов может различаться в зависимости от языка и задачи; заявленные сильные результаты не гарантируют точности в каждом конкретном случае.

Fx-Work — мультимодальная языковая модель класса 35B для профессиональных задач в средах с файлами и инструментами. Она разработана командой Endless Frontier на базе Qwen3.6-35B-A3B и дообучена на 20 тысячах траекторий взаимодействия с инструментами. Модель интерпретирует рабочие материалы разных типов, учитывает операционные ограничения, при необходимости формирует вызовы инструментов и создаёт результаты по заданным требованиям. Модель рассчитана на агентные рабочие сценарии: анализ документов и других материалов, выполнение последовательных задач и подготовку профессиональных результатов. Поддерживает изображения и видео вместе с текстом; карточка указывает английский язык. В README для запуска приведён контекст до 262 144 токенов. Заявленные результаты сравнительных оценок относятся к конкретным бенчмаркам и не гарантируют такого же качества в других задачах. Для работы с инструментами требуется окружающая агентная инфраструктура; сервер модели выдаёт текст и, при настройке, ответы с вызовами инструментов. Модель распространяется по лицензии Apache-2.0.

AtomicChat/gemma-4-26B-A4B-it-assistant-GGUF — это GGUF-квантизированная версия модели Google Gemma 4 26B A4B It Assistant, подготовленная Atomic Chat на основе оригинальных весов google/gemma-4-26B-A4B-it-assistant. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалоговых ассистентов, рассуждений, программирования, работы с математическими и визуальными задачами. Репозиторий содержит только текстовые варианты модели без vision projector. Модель имеет 25,2 млрд параметров, из которых 3,8 млрд активны на каждом токене, 30 слоёв и контекст до 256 тысяч токенов. Архитектура — decoder с гибридным вниманием: sliding-window attention с окном 1024 токена и глобальное внимание; используется 16 attention heads и 8 KV heads. Базовая модель поддерживает текст и изображения, однако данные GGUF рассчитаны только на текст. Доступны варианты квантизации Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; Q4_K_M указан как оптимальный баланс размера, скорости и качества. К сильным сторонам относятся высокая эффективность MoE-подобной конфигурации с малым числом активных параметров, большой контекст, возможности рассуждения и хорошие заявленные результаты в тестах по знаниям, математике, программированию и мультимодальным задачам. Результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям этих квантизированных файлов; качество также зависит от выбранного уровня квантизации. Для корректной работы требуется применять чат-шаблон Gemma 4 Assistant, например через поддержку jinja. Модель распространяется по лицензии Apache 2.0.

TeichAI Gemma 4 31B it Claude Opus Distill — мультимодальная модель диалогового семейства Gemma 4, созданная дообучением unsloth/gemma-4-31B-it с помощью Unsloth на наборах траекторий рассуждений Claude Opus и Sonnet. Она предназначена для диалогов и задач, требующих многошагового анализа: генерации и отладки кода, научных рассуждений, синтеза исследовательских материалов и выполнения инструкций. Архитектура — плотная Gemma4ForConditionalGeneration; модель работает с текстом и изображениями, поддерживает режим рассуждений и использует формат safetensors. В метаданных основная задача указана как image-text-to-text. README описывает вариант с высоким уровнем усилий рассуждения и рекомендует более новую версию v2, отмечая улучшения качества данных и шаблона чата в v2. Модель рассчитана на применение с Transformers и поддерживает переменное разрешение изображений. Карточка не сообщает размер контекстного окна и перечень поддерживаемых естественных языков, поэтому эти характеристики здесь не уточняются. Лицензия — Apache-2.0. Качество и стабильность текущей версии могут уступать v2; заявленные возможности в коде, науке и исследованиях в README не сопровождаются приведёнными здесь количественными результатами оценки.

MuXodious выпустил дообученную мультимодальную модель Gemma 4 E4B Instruct с применением Heretic v1.4.0 и методов abliteration, включая Self-Organizing Maps и Magnitude-Preserving Orthogonal Ablation. В README приведены результаты эксперимента по снижению отказов и KL-дивергенции относительно исходной модели. Основа — google/gemma-4-E4B-it-qat-q4_0-unquantized; архитектура — плотная Gemma4ForConditionalGeneration, библиотека Transformers, веса в формате Safetensors. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст; семейство Gemma 4 E4B также поддерживает аудио. Она предназначена для диалога, рассуждений, анализа изображений и документов, распознавания речи, программирования и сценариев с вызовом инструментов. Для семейства в целом указаны контекст до 128K токенов у E4B и поддержка множества языков, но README не подтверждает, что все перечисленные возможности доступны именно этому чекпойнту после дообучения.

cyankiwi/GLM-5.2-AWQ-INT4 — это квантизированная версия GLM-5.2, разработанная на базе модели Z.ai (zai-org). Модель предназначена для генерации текста, решения задач с длинной цепочкой рассуждений, программирования, работы с инструментами и агентских сценариев. В README также указана калибровка на наборах STEM и Agentic. Модель использует формат AWQ с точностью INT4. Заявлена поддержка контекста до 1 млн токенов. Архитектура GLM-5.2 включает IndexShare, повторно использующий один индексатор для каждой группы из четырёх разреженных attention-слоёв, что снижает вычисления на длинном контексте; MTP-слой предназначен для speculative decoding. В карточке указаны английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Размер основных файлов составляет 454,29 ГБ, дополнительного MTP-слоя — 19,91 ГБ, общий объём загрузки — 474,19 ГБ. Сильные стороны модели — работа с очень длинным контекстом, программирование, математическое и научное рассуждение, а также агентские задачи; конкретные результаты приведены в бенчмарках базовой GLM-5.2. Ограничениями являются крупный объём файлов и высокие требования к ресурсам для локального развёртывания, а также возможные потери качества из-за INT4-квантизации. Для запуска указана совместимость с SGLang, vLLM, Transformers, KTransformers и Unsloth. Лицензия — MIT.

Карточка модели whodat6969/GLM-5.3 на Hugging Face совпадает с карточкой unsloth/GLM-5.3, поэтому описание составлено по ней. GLM-5.3 — текстовая диалоговая модель Z.ai, представленная в репозитории Unsloth. По карточке модели, она использует ту же базовую модель, что и GLM-5.2, а улучшения получены на этапе постобучения. В каталожных метаданных производная отмечена как слияние с zai-org/GLM-5.3 и zai-org/GLM-5.3-BF16; архитектура относится к семейству GLM MoE DSA, размер — 30,4 млрд параметров. Модель предназначена для генерации текста в диалогах, сложного программирования и длительных агентских задач. Карточка сообщает о высоких результатах на тестах кодирования, работы с терминалом, уязвимостей и эксплуатации, но эти результаты не гарантируют аналогичного качества в каждом сценарии. Поддерживаются английский и китайский языки, а контекст составляет до 1 048 576 токенов. Параметр reasoning_effort управляет глубиной рассуждений и принимает значения low, high и max; по умолчанию используется max. Для локального развёртывания перечислены SGLang, vLLM, Transformers, KTransformers, Unsloth и другие среды. Формат файлов — safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

Карточка модели xannie1/GLM-5.3 на Hugging Face совпадает с карточкой unsloth/GLM-5.3, поэтому описание составлено по ней. GLM-5.3 — текстовая диалоговая модель Z.ai, представленная в репозитории Unsloth. По карточке модели, она использует ту же базовую модель, что и GLM-5.2, а улучшения получены на этапе постобучения. В каталожных метаданных производная отмечена как слияние с zai-org/GLM-5.3 и zai-org/GLM-5.3-BF16; архитектура относится к семейству GLM MoE DSA, размер — 30,4 млрд параметров. Модель предназначена для генерации текста в диалогах, сложного программирования и длительных агентских задач. Карточка сообщает о высоких результатах на тестах кодирования, работы с терминалом, уязвимостей и эксплуатации, но эти результаты не гарантируют аналогичного качества в каждом сценарии. Поддерживаются английский и китайский языки, а контекст составляет до 1 048 576 токенов. Параметр reasoning_effort управляет глубиной рассуждений и принимает значения low, high и max; по умолчанию используется max. Для локального развёртывания перечислены SGLang, vLLM, Transformers, KTransformers, Unsloth и другие среды. Формат файлов — safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

CoboSan/GLM-5.3-Flash-GGUF — это GGUF-версия GLM-5.3-Flash, разработанная на основе модели zai-org/GLM-5.3-Flash. Модель относится к семейству GLM-5 и предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с изображениями и текстом. В README указаны английский и китайский языки, а также поддержка нативной мультимодальности. Модель использует гибридную архитектуру со sparse attention и linear attention, а также Manifold-Constrained Hyper-Connections. Она содержит 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса, что ориентировано на снижение вычислительных затрат и стоимости работы с длинным контекстом. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. В оценках использовались контексты до 300 000 токенов, а для отдельных тестов — до 1 млн токенов, однако точное ограничение контекста данной GGUF-сборки в README не указано. К сильным сторонам относятся сочетание высокой заявленной производительности, эффективности разреженной активации, работы с длинным контекстом, программирования, агентских задач и мультимодального ввода. Для запуска требуется совместимое программное обеспечение, например llama.cpp с указанной поддержкой или Unsloth Desktop. README не содержит подробных сведений о конкретных уровнях квантования, системных требованиях и ограничениях качества квантованной версии. Лицензия модели — MIT.

Granite-4.0-H-1B-Base — базовая языковая модель команды Granite компании IBM для генерации текста. Это декодерный плотный трансформер семейства GraniteMoeHybrid с компонентами GQA, Mamba2, SwiGLU и RMSNorm. Модель содержит 1,2 млрд параметров, обучена с нуля примерно на 15 трлн токенов и поддерживает контекст до 131 072 токенов. Модель предназначена для краткого и эффективного запуска, в том числе на устройствах с ограниченными ресурсами, и для офлайн-сценариев, где важна приватность. Она может использоваться для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода; поддерживается заполнение пропусков в коде в формате Fill-in-the-Middle. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель распространяется по лицензии Apache 2.0. Она не проходила выравнивание безопасности, поэтому может генерировать проблемный или недостоверный текст; авторы также отмечают риск дословного воспроизведения обучающих данных. Качество следует проверять для конкретной задачи.

Hermes-4.3-36B-heretic — это экспериментальная версия разговорной языковой модели Hermes 4.3 от Nous Research, созданная на базе ByteDance-Seed/Seed-OSS-36B-Base. Модель дообучена для диалога и следования инструкциям; поддерживает генерацию текста, рассуждения, вызов инструментов и структурированные ответы в JSON. В карточке указано 31,7 млрд параметров, архитектура SeedOssForCausalLM и контекст до 524 288 токенов. Модель предназначена для ответов на вопросы, решения задач по математике и программированию, работы с текстом и диалоговых сценариев, в том числе с инструментами. Вариант heretic получен abliteration: приведённые в README измерения показывают меньше отказов, чем у исходной Hermes-4.3-36B, но это не означает гарантированную пригодность ответов во всех сценариях. Модель принимает текст и выдаёт текст. Лицензия — Apache-2.0.

Карточка модели macintushar/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

Карточка модели rayrickypp/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.