II.8Инженерия данных и аналитика

miifanboy/Spark-X2.5-4B-i1-GGUF — набор GGUF-вариантов модели Spark-X2.5-4B, разработанной XHToken и опубликованной Mii Fanboy. Это компактная универсальная языковая модель для диалогов, написания текстов, перевода, рассуждений, программирования, использования инструментов и агентских сценариев. Модель предназначена для локального запуска через Ollama и LM Studio с совместимой реализацией llama.cpp. Spark-X2.5-4B использует гибридную архитектуру внимания, имеет размер 4B параметров, поддерживает нативный контекст до 1 млн токенов и более 200 языков; в метаданных явно указаны английский и китайский. Репозиторий содержит imatrix-квантизованные варианты IQ3, Q3, IQ4, Q4, Q5, Q6 и Q8 с размером файлов примерно от 1,68 до 4,07 ГБ. Квантизация позволяет снизить требования к памяти при сохранении близкого к базовой модели качества; наиболее качественными в приведённых тестах являются Q6_K и Q8_0, а IQ4_XS рекомендован при ограниченном объёме VRAM. Сильные стороны модели — универсальность, поддержка длинного контекста, широкого набора языков и нескольких уровней квантизации для локального развертывания. Ограничения зависят от варианта: низкобитные кванты могут требовать подробных системных подсказок и заметнее уступать базовой модели, а IQ-варианты медленнее работают на CPU; для CPU рекомендуется использовать Q-кванты. Лицензия — Apache-2.0.

Bonsai-27B-gguf — компактная 1-битная версия языковой модели класса 27B, разработанная Prism ML на базе Qwen3.6-27B. Модель предназначена для генерации текста, диалогов, рассуждений, решения математических задач, программирования и агентских сценариев с локальным запуском через llama.cpp на CPU, CUDA или Metal. Также предусмотрена мультимодальная обработка изображений через отдельную vision tower, однако основной режим — текстовый. Модель использует гибридную архитектуру с примерно 75% linear attention и 25% full attention, SwiGLU, RoPE и RMSNorm. Она содержит около 27,3 млрд бинарных языковых весов и vision tower примерно на 0,46 млрд параметров. Контекстное окно составляет до 262 тысяч токенов; KV-кэш квантизован до 4 бит. Формат GGUF Q1_0_g128 использует веса со значениями −1 и +1 и групповым масштабированием FP16, обеспечивая эффективные 1,125 бита на вес и размер около 3,9 ГБ вместо примерно 54 ГБ у FP16. В комплект входит слой DSpark для speculative decoding, заявлено ускорение декодирования до 1,37 раза на CUDA. Сильные стороны модели — очень малый размер, возможность запуска 27B-класса на обычных ноутбуках и одиночных GPU, сохранение рассуждений и агентского поведения при экстремальном сжатии, а также длинный контекст. Ограничения связаны с агрессивной 1-битной квантизацией: заявленное качество составляет около 90% от FP16, а результаты зависят от аппаратной платформы и поддержки специализированных ядер. Для обработки изображений требуется дополнительный пакет mmproj объёмом около 0,63 ГБ. Модель распространяется по лицензии Apache 2.0.

GLM-5.2-NVFP4 — квантизированная версия языковой модели GLM-5.2 от zai-org, опубликованная lukealonso. Модель предназначена для генерации текста, диалоговых сценариев, программирования, многошагового агентного взаимодействия, вызова инструментов и function calling. Она поддерживает английский и китайский языки и работает через библиотеку Transformers. В основе лежит Mixture-of-Experts-модель с 744 млрд параметров, из которых 40 млрд активируются для каждого токена. В каждом MoE-слое используются 256 экспертов, восемь из которых выбираются для обработки токена; также применяется архитектура DeepSeek Sparse Attention (DSA). Неквантизированная часть модели включает attention-веса, плотные MLP-слои и общие эксперты в формате BF16. MLP-проекции необщих MoE-экспертов квантизированы в NVFP4 — 4-битный формат с блочными FP8-масштабами для групп по 16 элементов. Ключевое преимущество модели — существенное снижение требований к памяти при сохранении специализированных экспертных весов и калибровке по естественной маршрутизации токенов. Калибровочные данные включали программирование, вызов инструментов, реальные пользовательские диалоги на разных языках и длинные последовательности свыше 8 тысяч токенов. Ограничения — необходимость мощной инфраструктуры: рекомендована конфигурация из восьми RTX PRO 6000 Blackwell по 96 ГБ с b12x MoE runner. Лицензия MIT.

Granite-3.0-1B-A400M-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов, в том числе для бизнес-сценариев. Это дообученная версия Granite-3.0-1B-A400M-Base: обучение включало supervised fine-tuning, выравнивание с помощью обучения с подкреплением и слияние моделей. Модель использует декодерный разреженный Transformer с архитектурой Mixture of Experts (MoE); в метаданных указан размер 163,6 млн параметров и контекст до 4096 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова функций и многоязычного диалога. Карточка заявляет поддержку английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Лицензия — Apache 2.0. Качество на языках кроме английского может быть ниже; few-shot-примеры могут улучшить ответы в многоязычных сценариях. Модель способна выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует проверять и настраивать для конкретного применения.

Hermes3.6-35B-A3B-Uncensored-Genesis-NVFP4-GGUF — квантованная версия семейства Qwen 3.6 / Hermes 3.6, созданного на основе работ LuffyTheFox и HauhauCS. Квантование NVFP4, интеграцию MTP и публикацию GGUF выполнил jan1k. Модель предназначена для генерации текста, программирования, точных и творческих задач, агентских сценариев и вызова инструментов. Также заявлена поддержка изображений через отдельный мультимодальный проектор mmproj в формате F16. Модель построена на архитектуре Mixture of Experts: содержит около 35 млрд параметров, при этом на каждом токене активируется примерно 3 млрд параметров и 8 экспертов. Доступен контекст до 128K токенов при использовании рекомендованной конфигурации llama.cpp. Заявлена поддержка английского, китайского и других языков. Формат NVFP4 оптимизирован для GPU NVIDIA поколений Ada Lovelace, Blackwell и Ampere. Genesis — применённый алгоритм посттренировочной регенерации и калибровки GGUF, направленный на снижение шума весов и сохранение значимой части исходного сигнала без переобучения. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, поддержка vision, режимов рассуждения и JSON-вызова инструментов, а также сниженное потребление памяти благодаря 4-битному представлению. Ограничение этой версии существенно: репозиторий помечен как устаревший, а расширенный вариант NVFP4 с отдельными тензорами масштабирования несовместим с LM Studio и Pelican и может выдавать некорректный результат. Для работы рекомендуется совместимый llama.cpp и соответствующая настройка шаблона чата. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF — это набор квантованных сборок Meta-Llama-3-70B-Instruct в формате GGUF, подготовленный и опубликованный MaziyarPanahi на основе модели Meta. Исходная модель разработана Meta и предназначена для диалоговых сценариев, коммерческого и исследовательского использования на английском языке. Модель содержит около 70 млрд параметров и построена на авторегрессионной архитектуре оптимизированного Transformer с Grouped-Query Attention (GQA). Она принимает только текст и генерирует текст и код, поддерживает контекст до 8 тысяч токенов и была обучена на смеси общедоступных онлайн-данных объёмом более 15 трлн токенов. Инструкционная версия дополнительно оптимизирована с помощью supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Главное преимущество репозитория — наличие вариантов квантования от 2 до 8 бит, а также 16-битной версии, что позволяет запускать модель с различными требованиями к памяти и производительности. При этом более сильное квантование может снижать качество по сравнению с исходными весами, а запуск 70-миллиардной модели всё равно требует значительных вычислительных ресурсов. Модель ориентирована прежде всего на английский язык; использование для других языков обозначено как выходящее за предполагаемую область применения, хотя разработчикам разрешено дообучение при соблюдении условий лицензии. Распространение регулируется специальной коммерческой лицензией Meta Llama 3 и Community License, включая Acceptable Use Policy. Это статическая модель, обученная на офлайн-данных; дата выпуска семейства — 18 апреля 2024 года.

Карточка модели NostraEmpire/mirror-qwen3-1.7b на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

Mistral-Large-218B-Instruct — плотная языковая модель на 217,7 млрд параметров из семейства Mistral, созданная автором репозитория путём слияния исходной Mistral Large 2. Модель предназначена для генерации текста и диалоговых сценариев. Она поддерживает несколько естественных языков, а также обучена на более чем 80 языках программирования; заявленное контекстное окно — 128 тыс. токенов. Для запуска нужны значительные вычислительные ресурсы: в карточке рекомендованы восемь ускорителей H100 с суммарно 640 ГБ памяти либо распределённый запуск на нескольких машинах. Лицензия Mistral Research License разрешает использование и модификацию для исследований и некоммерческих целей. Автор описывает модель как экспериментальную тестовую сборку; встроенных механизмов модерации нет, ответы могут отражать предвзятость обучающих данных и требуют проверки в чувствительных сценариях.

Ornith-1.5-397B-MXFP4 — квантизированная версия модели Ornith-1.5-397B, опубликованная truespirit на базе модели ornith-ai. Это генеративная текстовая модель для задач общего рассуждения, программирования и агентских сценариев; сервер предоставляет OpenAI-совместимый API. README не содержит сведений о поддерживаемых языках и полном наборе модальностей, хотя в архитектуре упоминаются визуальные компоненты. Модель использует архитектуру Qwen3.5 MoE / Ornith 1.5 с 397 млрд параметров. Квантизация выполнена по формату OCP MXFP4 с размером блока 32 с помощью AMD Quark 0.12.post1. В MXFP4 переведены веса маршрутизируемых MoE-экспертов, а attention, shared experts, gates, MTP, визуальные компоненты и lm_head сохранены в BF16. Размер чекпойнта составляет около 239 ГБ, что примерно вдвое меньше исходной версии. Сборка ориентирована на запуск на одной AMD Instinct MI355X с 288 ГБ HBM и TP=1. В протестированной конфигурации с SGLang ROCm достигались примерно 180–200 токенов/с при однопоточном декодировании и около 290 токенов/с при четырёх одновременных запросах; измеренный предел входа составлял около 86 тысяч токенов, а в конфигурации сервера задан контекст до 81920 токенов. Эти показатели зависят от оборудования и программного окружения и не являются оценкой качества модели. Квантизация может приводить к численным отличиям от исходного FP8-чекпойнта. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Qwen1.5-32B-Chat-GPTQ-Int4 — чат-модель из серии Qwen, разработанная командой Qwen. Это decoder-only языковая модель на архитектуре Transformer, дообученная с применением supervised fine-tuning и direct preference optimization для диалогового взаимодействия и генерации текста. Она предназначена для создания виртуальных ассистентов, ответов на вопросы, ведения диалогов и других сценариев text-generation. Модель содержит 32 млрд параметров и предоставляется в формате GPTQ с 4-битным квантованием, что снижает требования к памяти по сравнению с полноразмерной версией. Для неё заявлена поддержка контекста до 32K токенов, мультиязычность и работа с естественными языками и кодом; в метаданных README явно указан английский язык. Архитектура включает SwiGLU, bias в QKV и group query attention для версии 32B. Модель поддерживает стандартный интерфейс Transformers без необходимости использовать trust_remote_code. К сильным сторонам относятся чатовая настройка, улучшенная работа с предпочтениями пользователей, большой контекст и более экономичное размещение благодаря Int4-квантованию. Ограничения включают beta-статус семейства, возможные проблемы при переключении между языками и необходимость подбора рекомендованных параметров генерации. README временно не рекомендует развёртывание этой версии через vLLM и советует использовать AWQ-модель. Для загрузки рекомендуется transformers версии 4.37.0 или новее. Лицензия указана как tongyi-qianwen; применяются условия лицензии, опубликованной разработчиками.

RobinsonLabs Qwen3.5-122B-A10B-REAP-30-abliterated-GGUF — набор квантованных GGUF-версий языковой модели, созданный Robinson Labs на основе 0xSero/Qwen3.5-88B. Исходная модель представляет собой примерно 30%-ную экспертную pruning-версию Qwen/Qwen3.5-122B-A10B, уменьшенную с 122B до примерно 88B параметров при сохранении архитектуры qwen35moe и бюджета из 10B активных экспертов. Модель поддерживает стандартное предсказание одного токена, без Multi-Token Prediction; конфигурация содержит 48 слоёв и 879 тензоров. Данные о поддерживаемых языках и размере контекстного окна в карточке не указаны. Модель предназначена для генерации текста, рассуждений, программирования, математических и фактических задач, а также следования инструкциям. Abliteration уменьшает склонность к отказам в ответах на запросы, связанные со взрослым и творческим содержанием, при этом заявлено сохранение защитных механизмов против самоповреждения и содействия реальному неправомерному поведению. В опубликованных проверках модель получила 5/5 на тесте способностей, 2 отказа из 25 на общем тесте отказов и 10/10 на ограниченном наборе проверок детской безопасности, однако эти результаты не гарантируют сохранность защитных механизмов во всех сценариях. Распространение выполняется в формате GGUF с importance-matrix-квантизацией и вариантами Q6_K, Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS, Q3_K_M, IQ3_M, IQ3_XS, IQ2_M и IQ2_XS. Качество, требования к памяти и скорость зависят от выбранного варианта квантизации. Модель лицензирована по Apache-2.0; использование должно быть ответственным, поскольку она помечена как предназначенная не для всех аудиторий.

Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored-GGUF — набор GGUF-квантизаций базовой модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored. Квантизацию выполнил mradermacher. Модель предназначена для генерации и обработки текста, диалогов, рассуждений, решения математических и STEM-задач, программирования и исследовательских экспериментов. В метаданных заявлена поддержка английского, китайского, японского и испанского языков, а также conversational, instruction-tuned и multilingual-сценариев. Доступны варианты с разными уровнями квантизации — от Q2_K размером 13,3 ГБ до Q8_0 размером 37,9 ГБ, включая IQ4_XS, Q4_K_M и другие форматы. Для мультимодального использования предоставляются дополнительные файлы mmproj. Более качественные варианты требуют больше памяти, тогда как компактные быстрее и экономичнее, но могут сильнее терять качество; конкретные характеристики архитектуры, максимального контекста и производительности в README не указаны. Лицензия — Apache-2.0.

RedHatAI/Qwen3.8-27B-INT4 — квантизированная версия модели Qwen/Qwen3.8-27B, разработанная RedHatAI. Это мультимодальная модель с архитектурой Qwen3_5ForConditionalGeneration: принимает текст и изображения, генерирует текст. Заявлены поддерживаемые языки английский и китайский. Размер контекста в README не указан. Модель предназначена для диалоговых приложений, следования инструкциям, рассуждений, решения математических задач, ответов на вопросы и обработки визуально-текстовых запросов. Веса линейных операторов в блоках Transformer квантизированы до INT4, активации сохраняют исходную точность, а KV-cache использует FP8. Оптимизация снижает размер на диске и требования к памяти GPU примерно на 75% по сравнению с 16-битным представлением и подготовлена для инференса через vLLM с поддержкой выбора инструментов и мультимодального кодировщика. По результатам оценки модель сохранила большую часть качества BF16-версии на тестах IFEval, MMLU-Pro, GSM8K Platinum, MATH-500, GPQA Diamond и AIME 2025; небольшое снижение наблюдается на большинстве benchmark-ов, хотя на GSM8K Platinum результат оказался выше. Ограничения включают возможные потери качества из-за квантизации, отсутствие сведений о размере контекста и неполное описание требований к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-32B-Instruct-unsloth-bnb-4bit — 4-битная версия модели Qwen3-VL-32B-Instruct, подготовленная Unsloth на базе модели Qwen. Это мультимодальная vision-language модель для понимания и генерации текста по изображениям и видео, а также для работы с чистым текстом. Модель предназначена для описания и анализа изображений, визуального и пространственного рассуждения, распознавания текста, понимания длительных видеоматериалов, STEM- и математических задач, генерации кода и взаимодействия с графическими интерфейсами. Заявлены возможности визуального агента для работы с GUI, поддержка 2D- и 3D-пространственного анализа, а также OCR для 32 языков. Архитектурные компоненты включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Контекст составляет 256K токенов с возможностью расширения до 1M. Это instruct-модель с 32B параметров в исходной конфигурации, представленная в 4-битном формате bitsandbytes для снижения требований к памяти. К сильным сторонам относятся объединённое понимание текста и визуальных данных, расширенное восприятие изображений и видео, длинный контекст и агентские сценарии. Ограничения, включая возможные потери качества из-за квантизации и требования к вычислительным ресурсам, в README подробно не описаны. Указана лицензия Apache-2.0.

Qwen3-VL-4B-Thinking-GGUF — это мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen. Репозиторий содержит веса базовой модели Qwen3-VL-4B-Thinking в формате GGUF, разделённые на языковую модель и vision encoder. Модель предназначена для понимания и генерации текста по текстовым и визуальным данным, включая изображения и видео, а также для локального запуска на пользовательских устройствах. Модель поддерживает сценарии визуального анализа, OCR, пространственного рассуждения, STEM- и математические задачи, понимание документов и видео, генерацию кода и разметки по изображениям, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены улучшенные визуальное восприятие и рассуждение, распознавание текста на 32 языках, работа с объектами, позициями, перекрытиями и временными событиями в видео. Для семейства Qwen3-VL указано нативное контекстное окно 256K токенов с возможностью расширения до 1M. Веса доступны для языковой модели в вариантах FP16, Q8_0 и Q4_K_M, а для vision encoder — в FP16 и Q8_0, что позволяет выбирать баланс качества, скорости и требований к памяти. Формат совместим с llama.cpp, Ollama и другими инструментами GGUF; заявлена поддержка CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Для работы требуются совместимые инструменты и отдельный файл vision encoder, а выбор квантования может влиять на качество и производительность. Модель распространяется по лицензии Apache-2.0.

Apertus-70B-Instruct-2509 — многоязычная языковая модель Swiss AI Initiative для диалогов и генерации текста. Это дообученная версия Apertus-70B-2509 с архитектурой декодерного трансформера; в метаданных указано 97,7 млрд параметров и контекст до 65 536 токенов. Модель принимает текст и выдаёт текст, поддерживает более 1 800 языков и умеет использовать инструменты в агентных сценариях. Модель предназначена для ответов на вопросы, диалогов и других задач генерации текста, в том числе с длинным контекстом. Разработчики заявляют об открытых весах, данных и описании обучения, а также о соблюдении согласия владельцев данных. Модель распространяется по лицензии Apache-2.0. Ответы могут содержать фактические ошибки, логические несоответствия и смещения. Фильтр для удаления персональных данных в комплект не входит; важные сведения следует проверять.

Dragonboy3940/DeepSeek-V3-0324 — текстовая языковая модель семейства DeepSeek-V3, представленная в формате safetensors FP8. В карточке описаны улучшения рассуждений, генерации кода для веб-интерфейсов и игр, написания текстов на китайском языке, перевода, анализа поисковых результатов и вызова функций. Модель поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для генерации текста в диалоге, решения задач на рассуждение, написания и редактирования текстов, перевода и создания кода. Архитектура — DeepseekV3ForCausalLM; размер и контекстное окно соответствуют метаданным репозитория. Указана лицензия MIT. Карточка рекомендует обратиться к репозиторию DeepSeek-V3 за сведениями о локальном запуске.

DeepSeek-V4-Flash-0731-W4A16 — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Модель предназначена для генерации текста, включая диалоговые ответы, рассуждения, решение математических задач, программирование, работу с инструкциями и задачи на понимание текста. В карточке указаны английский и китайский языки. Архитектура поддерживает 283 млрд параметров; сведения о контекстном окне и мультимодальных возможностях не приведены. Модель использует смешанную точность: routed experts преобразованы из FP4 в INT4 с group_size=32 и вычислениями активаций в BF16, attention, shared experts и indexer сохранены в FP8, а остальные перечисленные компоненты — в BF16. Формат совместим с vLLM и предназначен для запуска на GPU NVIDIA без аппаратной поддержки FP4, включая H20, H100, A100, L40S, L20 и RTX 4090, при наличии подходящей конфигурации. Размер файлов модели составляет около 166 ГБ; для запуска рекомендуется vLLM версии 0.26.0 или новее и не менее двух H20 96 ГБ либо четырёх A100 80 ГБ. Сильная сторона модели — возможность инференса исходной DeepSeek-V4-Flash-0731 на Hopper и Ampere без FP4 tensor core, при сохранении заявленного качества на небольшой проверочной выборке из 50 заданий. К ограничениям относятся неизбежная ошибка INT4-квантизации, высокая потребность в видеопамяти и необходимость использовать специальный модуль кодирования prompt вместо стандартного chat template. Лицензия обозначена как DeepSeek с отдельной ссылкой на её текст; условия коммерческого и иного использования следует уточнять в лицензии.

llmfan46/gemma-4-12B-it-uncensored-heretic-NVFP4-GGUF — квантизированная в формате GGUF версия Gemma 4 12B Instruct, доработанная в варианте uncensored/heretic. Карточка описывает семейство Gemma 4 как мультимодальное; эта сборка предназначена для диалогового использования через llama.cpp, LM Studio, Ollama и другие инструменты с поддержкой GGUF. Архитектура семейства сочетает локальное скользящее и глобальное внимание. Для 12B указано контекстное окно до 256K токенов. Модель предназначена для диалога, рассуждений, генерации и исправления кода, суммаризации, ответов на вопросы по тексту и анализа изображений, видео и аудио. Семейство поддерживает более 35 языков; для версии 12B заявлены распознавание речи и перевод речи в текст на нескольких языках. Сборка имеет метку uncensored, однако карточка не описывает отдельные процедуры её дообучения или снятия ограничений. Указана лицензия Apache-2.0. Качество ответов зависит от формулировки запроса и обучающих данных; возможны фактические ошибки, предвзятость и трудности с нюансами языка или сложными открытыми задачами. Заявленные возможности семейства не подтверждают отдельно поведение именно этой GGUF-сборки во всех режимах.

AEON-7/Gemma-4-26B-A4B-it-Uncensored-NVFP4 — инструкцияная мультимодальная модель семейства Gemma 4, разработанная AEON-7 на основе TrevorJS/gemma-4-26B-A4B-it-uncensored. Модель предназначена для диалогов, генерации текста и кода, агентских сценариев, рассуждений, вызова инструментов и обработки изображений вместе с текстом. Заявлена поддержка английского языка. Архитектура — разреженная Mixture-of-Experts: 26 млрд параметров всего и около 4 млрд активных параметров. Веса квантизованы в NVFP4, используется формат safetensors. Для развёртывания предусмотрена интеграция с vLLM и OpenAI-совместимым API; в документации указана конфигурация с контекстом до 262 144 токенов, chunked prefill, prefix caching и speculative decoding через DFlash. Модель ориентирована на GPU-платформы NVIDIA Grace Blackwell, включая DGX Spark/GB10, а также на локальное или периферийное развёртывание. К сильным сторонам относятся сочетание мультимодальности, MoE-архитектуры с небольшим числом активных параметров, поддержки function calling и reasoning, а также оптимизации для высокопроизводительного инференса. Ограничения связаны с зависимостью от совместимого оборудования NVIDIA и специализированной конфигурации vLLM; заявленные параметры производительности относятся к конкретному серверному стеку и не гарантируют аналогичные результаты в других средах. Модель обозначена как uncensored/unfiltered, поэтому встроенные ограничения безопасности могут быть ослаблены. Лицензия указана как Gemma.

ArchiveStudio/gemma-4-E4B-it-assistant — ассистент на базе Gemma 4 E4B от Google DeepMind. Карточка описывает его как черновую модель Multi-Token Prediction (MTP): в спекулятивном декодировании она предлагает несколько следующих токенов, которые основная модель проверяет параллельно, ускоряя генерацию без изменения её качества. Модель предназначена для низколатентного диалогового и локального использования. Семейство Gemma 4 поддерживает текст и изображения, а модели E2B и E4B также работают с аудио; семейство умеет генерировать текст и, по карточке, обрабатывать видеокадры. Указаны задачи рассуждения, программирования, распознавания речи, перевода речи в текст, OCR и разбора документов. Для E4B заявлено контекстное окно 128K токенов; семейство поддерживает более 140 языков при предобучении и более 35 языков в штатном режиме. Репозиторий содержит веса safetensors и распространяется по лицензии Apache 2.0. Карточка описывает возможности всего семейства Gemma 4, поэтому отдельные функции, включая видео, нельзя уверенно приписать именно этому чекпойнту. Точный размер этой модели и список поддерживаемых языков отдельно не приведены. Механизм MTP требует совместимого целевого чекпойнта и конвейера спекулятивного декодирования.

GLM-4.6V-Flash-GGUF — мультимодальная модель семейства GLM-V, разработанная Z.ai (zai-org) и представленная в формате GGUF компанией Unsloth. Это облегчённая версия GLM-4.6V с 9 млрд параметров, ориентированная на локальное развёртывание и приложения с низкой задержкой. Модель поддерживает китайский и английский языки, работает с текстом и изображениями, а также предназначена для обработки скриншотов, страниц документов, таблиц, графиков и других визуальных данных. Модель рассчитана на визуальное понимание, мультимодальное рассуждение, анализ длинных и сложных документов, распознавание структуры и содержимого изображений, а также на сценарии мультимодальных агентов. Она поддерживает контекст до 128K токенов, нативный Function Calling с передачей изображений и документов инструментам, интерливинг текстового и визуального контента, генерацию HTML/CSS по скриншотам интерфейсов и визуальное редактирование по инструкциям на естественном языке. К сильным сторонам относятся сочетание визуального восприятия, рассуждения и вызова инструментов, поддержка длинного мультимодального контекста и оптимизация для локального использования. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с облачной версией GLM-4.6V на 106 млрд параметров; конкретные требования к оборудованию и характеристики квантования для данного GGUF в README не указаны. Лицензия модели — MIT.

Это модель realoperator42, представляющая собой «разцензурированную» версию IBM Granite-4.1-3B, созданную с помощью Heretic v1.4.0. Это плотный декодерный трансформер с 3,4 млрд параметров, ориентированный на диалог и генерацию текста; максимальная длина контекста — 131 072 токена. Модель распространяется в формате Safetensors по лицензии Apache 2.0. Модель подходит для генерации ответов на инструкции и диалоговых сценариев, включая суммаризацию, извлечение и классификацию текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Исходная Granite-4.1-3B поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; данные карточки не подтверждают отдельную языковую оценку именно этой модификации. В README приведено сравнение отказов: 3 из 100 для этой версии против 88 из 100 у исходной модели, поэтому её поведение в отношении отказов заметно изменено. Модификация создана методом abliteration, меняющим поведение модели без обычного дообучения на целевом наборе данных. README сообщает о воспроизводимости процесса и приводит KL-дивергенцию 0,2603 относительно исходной модели. Она может выдавать неточные, предвзятые или небезопасные ответы; перед применением требуется оценить её поведение и настроить подходящие меры безопасности.

MiMo-V2-Flash — большая языковая модель Xiaomi для генерации текста, диалогов, рассуждений и агентных сценариев, включая работу с инструментами. В README она описана как MoE-модель с гибридным вниманием, многотокенным предсказанием и 309 млрд параметров, из которых активно используются 15 млрд. Метаданные Hugging Face указывают архитектуру MiMoV2FlashForCausalLM, 12 млрд параметров и файлы Safetensors в формате FP8; это расходится с характеристиками размера в README. Модель принимает текст и рассчитана на контекст до 262 144 токенов. Модель предназначена для быстрых ответов, сложных рассуждений и агентных рабочих процессов; карточка также сообщает о результатах на SWE-Bench и других тестах. Для развёртывания README рекомендует SGLang и описывает вариант запуска с выгрузкой MoE-экспертов на CPU через KTransformers. Языки в предоставленных данных не перечислены. Лицензия — MIT. Реальное качество зависит от задачи и конфигурации развёртывания; заявленные в README результаты бенчмарков являются оценками разработчика.

MiniCPM5-2B MLX 8-bit — это квантованная версия текстовой языковой модели OpenBMB MiniCPM5-2B, подготовленная в формате MLX для локального запуска. Модель имеет плотную Llama-based архитектуру и около 2 млрд параметров; конверсия использует аффинное 8-битное квантование с размером группы 64 и занимает примерно 2,5 ГБ в формате MLX safetensors. Поддерживаются английский и китайский языки, максимальная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста, программирования, рассуждений, задач с длинным контекстом и использования инструментов, включая сценарии локального развертывания через mlx-lm. Это text-only модель: компоненты для обработки изображений и MTP-файлы отсутствуют, поэтому мультимодальные задачи не поддерживаются. Лицензия — Apache-2.0; приведённые в README результаты тестирования относятся к исходной версии MiniCPM5-2B от OpenBMB, а не непосредственно к этой MLX-конверсии.

Карточка модели luckyChenY/nothink_284 на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

Orion-14B-LongChat — многоязычная плотная авторегрессионная языковая модель компании OrionStarAI, обученная с нуля. Версия LongChat предназначена для диалогов и работы с очень длинными текстами; заявленная длина контекста составляет 200 000 токенов, а максимальная поддерживаемая длина — до 320 000 токенов. Размер модели — 14,1 млрд параметров, формат весов в репозитории — PyTorch. Модель рассчитана на генерацию текста и может применяться для диалогов, анализа длинных документов и работы с кодом. В карточке заявлена поддержка китайского, английского, японского и корейского языков; модель обучена на многоязычном корпусе объёмом 2,5 трлн токенов. OrionStarAI указывает на высокие результаты для длинных последовательностей, но качество ответов и фактическая точность могут зависеть от задачи и входного контекста. Условия лицензирования в предоставленной карточке не описаны.

Qwen3.5-9B-AWQ — это квантованная в формате AWQ версия модели Qwen/Qwen3.5-9B, опубликованная пользователем nicklas373. Конвертация выполнена с помощью llm-compressor версии 0.10.0.1 с использованием наборов данных Salesforce/wikitext и lmms-lab/COCO-Caption2017. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и задач понимания изображений в рамках мультимодальной архитектуры. Базовая модель представляет собой causal language model с vision encoder, однако приведённая конфигурация запуска через vLLM ориентирована на текстовый режим и включает специализированные chat template, reasoning parser и tool-call parser. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру из Gated DeltaNet, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии AWQ — снижение требований к памяти и потенциально более эффективный инференс при сохранении возможностей базовой модели. Ограничения включают зависимость от совместимого стека инференса и необходимость специальной настройки vLLM; фактическая работоспособность мультимодального режима для данной конвертации в README описана неоднозначно. Лицензия в предоставленных данных не указана. Для запуска рекомендуется vLLM с quantization compressed-tensors, tokenizer базовой модели Qwen/Qwen3.5-9B и параметрами, приведёнными в README.

AtomicChat/Qwen3.5-9B-MLX-4bit — 4-битная MLX-квантизированная версия базовой модели Qwen/Qwen3.5-9B, подготовленная компанией Atomic Chat на основе оригинальных весов с использованием матрицы важности для повышения близости к полноточной модели. Модель предназначена для локального и полностью офлайн-использования на устройствах Apple Silicon через MLX и поддерживает генерацию текста, а также работу с изображениями. Она может применяться для диалогов, рассуждений, программирования, агентских сценариев и визуального понимания. Модель содержит около 9,7 млрд параметров, имеет 32 слоя, контекст до 262 144 токенов, словарь размером 248 320 токенов и архитектуру Qwen3_5ForConditionalGeneration с 16 attention heads и 4 KV heads. В README она описана как мультимодальная модель с ранним объединением текстовых и визуальных токенов; также заявлена эффективная гибридная архитектура с Gated Delta Networks и разреженным Mixture-of-Experts, хотя в сводных характеристиках указана dense decoder. Квантизация уменьшает требования к памяти и ускоряет локальный инференс, но может приводить к некоторой потере качества относительно полноточной версии. Языки явно не перечислены. Модель распространяется под лицензией Apache 2.0; квантизацию выполнила Atomic Chat.

QuantTrio/Qwen3.6-27B-AWQ-6Bit — квантованная версия открытой модели Qwen3.6-27B, разработанной командой Qwen. Вариант из данного репозитория получен с помощью data-free-квантования без калибровочного набора данных и предназначен для запуска через Transformers и высокопроизводительные серверы инференса, включая vLLM, SGLang и KTransformers. Модель представляет собой авторегрессионную языковую модель с vision encoder, содержащую около 27 млрд параметров. Архитектура включает 64 слоя, Gated DeltaNet и Gated Attention, а также поддержку multi-step speculative decoding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Основные сценарии применения — программирование, агентная работа с кодом, анализ репозиториев, фронтенд-разработка, рассуждения по длинному контексту и задачи, требующие обработки текста и изображений. README не указывает полный перечень поддерживаемых языков. К сильным сторонам относятся большой контекст, ориентация на coding agent-сценарии, поддержка сохранения контекста рассуждений и снижение требований к памяти благодаря AWQ-квантованию до 6 бит; размер файлов модели составляет около 26 GiB. Ограничения включают возможные потери качества относительно исходной модели из-за квантования, отсутствие опубликованных в README подробных результатов именно для этой квантованной версии и зависимость от совместимых версий vLLM, Transformers и CUDA. Для запуска рекомендуются vLLM 0.19.0, Transformers 5.5.4 и CUDA 12.8 или 13.0; при использовании tensor parallelism на 8 GPU требуется expert parallelism. Модель распространяется по лицензии Apache-2.0.