II.7DevOps, облако и эксплуатация IT-систем

TheBloke/Mixtral-8x7B-v0.1-GPTQ — это GPTQ-квантизированная версия языковой модели Mixtral 8x7B v0.1, разработанной Mistral AI и подготовленной к публикации в формате GPTQ командой TheBloke. Модель предназначена для генерации и обработки текста, включая диалоговые и другие сценарии применения больших языковых моделей. В метаданных указаны английский, французский, итальянский, немецкий и испанский языки. Архитектура обозначена как Mixtral; исходная модель имеет конфигурацию 8×7B, однако точные сведения о контекстном окне в представленном README отсутствуют. Репозиторий содержит несколько вариантов 4-битной GPTQ-квантизации с разными параметрами group size и Act Order, что позволяет выбирать компромисс между требованиями к видеопамяти и точностью. Размер основного варианта составляет около 23,81 ГБ, а другого варианта — около 24,70 ГБ. Для работы требуются Transformers версии 4.36.0 или новее и совместимая реализация AutoGPTQ либо специальная версия Transformers; поддерживаются Linux с GPU NVIDIA или AMD и Windows с GPU NVIDIA. macOS в README не поддерживается для GPTQ-вариантов. Модель распространяется по лицензии Apache-2.0.

OpenAI o3 Pro — модель семейства o, обученная с подкреплением рассуждать перед ответом и решать сложные задачи. По сравнению с o3 она использует больше вычислений на этапе рассуждения, чтобы давать более последовательные ответы. Модель предназначена для сложных запросов, где полезны многоэтапное рассуждение и тщательная проработка ответа. Данных о размере, модальностях, поддерживаемых языках, длине контекста и лицензии в предоставленной карточке нет.

OpenAi-GPT-oss-20b-abliterated-uncensored-NEO-Imatrix-gguf — это квантизированная GGUF-версия текстовой модели на базе huihui-ai/Huihui-gpt-oss-20b-BF16-abliterated. В README указано, что модель подготовлена DavidAU с использованием наборов данных NEO, Horror и NEOCode для Imatrix-квантизации. Модель ориентирована на генерацию текста, чат, программирование и генерацию кода, рассуждения, решение задач, мозговой штурм, творческие сценарии и работу с общими запросами. Заявлена поддержка английского языка и контекста до 128K токенов. Архитектура описана как Mixture of Experts с 24 экспертами; размер базовой модели — 20B параметров. Доступны варианты квантизации IQ4_NL, Q5_1 и Q8_0, включая варианты с одной, двумя или тремя Imatrix-матрицами. Удаление ограничений и отказов делает модель менее склонной к цензурированным ответам, но автор предупреждает, что из-за abliteration она может быть менее стабильной и «грубоватой»; поведение зависит от варианта квантизации и настроек. README также отмечает, что Q5_1 может быть стабильнее IQ4_NL, тогда как IQ4_NL иногда дает более непредсказуемые и творческие ответы. Модель распространяется по лицензии Apache-2.0. Для работы требуется среда, совместимая с форматом GGUF и соответствующим вариантом квантизации; конкретные аппаратные требования в README не указаны.

Open-Instruct Human-mix 13B — языковая модель Allen Institute for AI (AI2), полученная дообучением LLaMA с 12,9 млрд параметров на смеси созданных людьми инструкционных данных, включая FLAN V2, CoT, Dolly и OpenAssistant 1. Модель предназначена для генерации ответов на инструкции и запросы на естественном языке; её обучали и оценивали в рамках исследования состояния instruction tuning на открытых ресурсах. Модель использует плотную архитектуру LLaMA и принимает текст. Контекст составляет 2048 токенов; в карточке указан английский язык. Для генерации рекомендуется соблюдать заданный авторами формат входа с переносами строк. В README приведены результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Это diff весов, поэтому для использования нужна доступная базовая LLaMA в формате Hugging Face. Модель распространяется по лицензии AI model license вместе с исходной лицензией LLaMA; условия обеих лицензий следует учитывать при использовании.

Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

NVIDIA Qwen3-30B-A3B-NVFP4 — это квантизированная версия авторегрессионной языковой модели Qwen3-30B-A3B, разработанной Alibaba и подготовленной с использованием NVIDIA TensorRT Model Optimizer версии 0.31.0. Модель предназначена для генерации текста и ориентирована на разработчиков, создающих AI-агентов, чат-ботов, RAG-системы и другие приложения на основе искусственного интеллекта. Модель использует трансформерную архитектуру Qwen3-30B-A3B, принимает текстовые последовательности и возвращает текст. Поддерживается контекст длиной до 131K токенов. Веса и активации линейных операторов внутри трансформерных блоков квантизированы в FP4, что примерно в 3,3 раза сокращает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Модель рассчитана на запуск через TensorRT-LLM на GPU NVIDIA, включая архитектуру Blackwell, предпочтительно в Linux. К сильным сторонам относятся уменьшенные требования к памяти и готовность к высокопроизводительному инференсу на совместимом оборудовании. Ограничения включают зависимость от TensorRT-LLM и NVIDIA GPU, а также возможное снижение точности из-за квантизации; конкретные языковые возможности и результаты для отдельных языков в README не указаны. В README приведены результаты на MMLU Pro, GPQA Diamond, HLE, LiveCodeBench, SciCode, MATH-500 и AIME 2024, а для калибровки использован датасет CNN/DailyMail. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

TeichAI/Qwen3.5-27B-Claude-Opus-4.6-Distill — плотная мультимодальная модель семейства Qwen3.5 с 27 млрд параметров, дообученная TeichAI на базе unsloth/Qwen3.5-27B. В README указаны датасет crownelius/Opus-4.6-Reasoning-2100x-formatted и личные данные Claude от EclipseMist; также отмечено, что LoRA предоставил EclipseMist. Модель предназначена для программирования, творческого письма, общего диалога и понимания изображений. Модель принимает текст и изображения и выдаёт текст; карточка также приводит рекомендации для работы с видео. Среди опубликованных проверок — ARC Challenge, GPQA Diamond, HellaSwag и отдельные разделы MMLU; результаты на ARC Challenge и HellaSwag выше, чем у указанной базовой модели, а на GPQA Diamond совпадают. Репозиторий содержит веса safetensors и опубликован под лицензией Apache-2.0. Метаданные относят модель к задачам image-text-to-text и указывают возможности чата и работы с изображениями.

Qwen3.6-27B-GPTQ-Pro-4bit — это 4-битная GPTQ-квантизация модели Qwen/Qwen3.6-27B, опубликованная пользователем groxaxo. Модель предназначена для эффективного запуска на GPU в локальных и размещённых средах, открытой оценки и воспроизводимых экспериментов. В метаданных указана задача image-text-to-text и поддержка английского языка. Модель содержит около 27 млрд параметров и использует формат GPTQ с оптимизацией под Marlin и сервер vLLM. Для сжатия применялись GPTQ-Pro, FOEM и настройки GPTAQ-style; заявленная цель — сохранить качество исходной модели при уменьшении потребления памяти. Репозиторий включает веса в формате safetensors, конфигурации, токенизатор, процессор и шаблон диалога. В документации приведена конфигурация с контекстом до 132144 токенов, однако практические ограничения зависят от оборудования, длины контекста, размера KV-кэша и числа параллельных запросов. Модель ориентирована на генерацию текста, задачи рассуждения и программирования, а также на сценарии инференса через vLLM или Transformers. В качестве проверенной конфигурации указаны две NVIDIA RTX 3090; для наиболее надёжного запуска рекомендуются float16 и gptq_marlin. К ограничениям относятся возможные изменения качества, памяти и скорости из-за квантизации, необходимость совместимого runtime и сохранения согласованности всех файлов одной версии. На протестированной конфигурации speculative decoding не дал прироста скорости, а запуск с контекстом 262144 токенов привёл к нехватке памяти. Лицензия — Apache 2.0.

sakamakismile/Qwen3.6-27B-Text-NVFP4-MTP — текстовая NVFP4-квантизованная версия базовой модели Qwen/Qwen3.6-27B. Модель подготовлена пользователем sakamakismile с использованием pipeline GGUF-to-NVFP4-SM120 от Lna-Lab. Она предназначена для генерации текста и запуска через vLLM на GPU NVIDIA Blackwell с архитектурой SM120, включая сценарии со speculative decoding. Модель содержит около 27,78 млрд параметров, 64 слоя гибридной архитектуры с linear attention и full attention, а также один MTP-слой Multi-Token Prediction. Зрительная башня удалена, поэтому модель работает только с текстом. Поддерживаются английский, китайский, японский, корейский, французский, немецкий, испанский, итальянский, португальский, русский и арабский языки. Заявлен максимальный контекст до 256 тысяч токенов. Квантизация выполнена в формате modelopt NVFP4 с помощью nvidia-modelopt 0.43.0; MTP-компоненты и ряд других частей сохранены в bf16 для совместимости и эффективной спекулятивной генерации. К сильным сторонам относятся оптимизация под Blackwell, меньшие требования к памяти по сравнению с полноразмерной bf16-моделью, поддержка KV-кэша FP8 и рабочий MTP-механизм для ускорения декодирования. Ограничения — отсутствие обработки изображений, зависимость от совместимой версии vLLM и аппаратуры Blackwell, а также потенциальные ограничения по памяти при большом контексте и высокой конкуренции запросов. Модель распространяется по лицензии Apache-2.0.

Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Balance — локальная модель для генерации текста, опубликованная пользователем или организацией Youssofal и основанная на семействе Qwen3.6. Она предназначена для запуска на компьютерах Apple Silicon через MLX и ускорения генерации с помощью MTPLX — механизма speculative decoding, использующего собственные MTP-головы модели для чернового предсказания токенов с последующей проверкой основной моделью. Модель подходит для локального чата, программирования и других сценариев генерации текста, включая задачи с рассуждениями и обычные контексты разработки. README не указывает поддерживаемые языки и точное максимальное окно контекста. Модель имеет конфигурацию 35B-A3B и архитектуру mixture-of-experts, поставляется в виде 6-битного MLX-квантизованного основного блока с размером группы 64, 8-битными router и gate-тензорами, а также калиброванными INT4 MLX MTP-головами. Нормализации, масштабы, смещения и обычные тензоры сохранены в BF16. Заявлены высокая скорость локальной генерации и практичное потребление памяти; измеренная скорость генерации в режиме MTPLX Sustained Max на Apple Silicon для рекомендованной конфигурации D2 составила около 123–126 токенов в секунду, а скорость обработки промпта в тестах достигала 1756,8–4109,8 токена в секунду в зависимости от длины контекста. Ограничения связаны с применением квантизации, зависимостью от Apple Silicon и MTPLX, а также с тем, что это не полноточный чекпойнт. Лицензия — Apache-2.0.

TheBloke/SOLAR-10.7B-Instruct-v1.0-AWQ — это квантизированная версия инструкционной языковой модели Solar 10.7B Instruct v1.0, разработанной upstage. Репозиторий содержит файлы модели в формате AWQ для эффективного запуска генерации текста на совместимом оборудовании. Модель предназначена для диалоговых сценариев и выполнения задач по текстовым инструкциям; рекомендуемый шаблон промпта использует роли User и Assistant. Модель имеет размер 10,7 млрд параметров и представлена в 4-битной AWQ-квантизации с group size 128, максимальной длиной последовательности 4096 токенов и размером файлов около 5,96 ГБ. Квантизацию выполнил TheBloke; модель распространяется в виде шардированных файлов safetensors. AWQ обеспечивает более низкое потребление памяти и высокую скорость инференса при сопоставимом с распространёнными настройками GPTQ качестве. Модель подходит для локального и серверного GPU-инференса через AutoAWQ, vLLM, Text Generation Inference или Transformers. Основное ограничение — поддержка AWQ в README указана для Linux и Windows с видеокартами NVIDIA; для macOS рекомендованы модели в формате GGUF. Языки и мультимодальные возможности отдельно не указаны. Лицензия — Apache 2.0.

Swift-Qwen3.8-27b-int4-AMD — квантованная версия модели Swift-Qwen3.8-27B, разработанная UkisAI на базе Qwen3.8-27B. Модель предназначена для задач рассуждения, генерации текста, программирования и структурированного вывода, а также заявлена как image-text-to-text модель с поддержкой визуального компонента. Swift оптимизирована для сокращения избыточных рассуждений: по данным разработчика, она использует на 58,3% меньше thinking-токенов при потере производительности менее 1% и ускорении до 1,95 раза на ряде задач. Данный выпуск использует квантование AMD Quark AWQ INT4 в формате W4A16: веса имеют точность INT4, активации — BF16, применяется симметричное группирование с размером группы 128. Квантованы 496 линейных слоёв языковой модели, а vision tower, embeddings, output head и 15 MTP-тензоров сохранены в BF16. Размер файлов весов составляет около 19,5 ГБ против 55,6 ГБ у BF16-версии. Калибровка выполнена на 128 образцах Pile по 512 токенов. Сильными сторонами являются снижение объёма весов и потенциальное ускорение инференса при сохранении основных возможностей базовой модели. Проверки показали небольшой рост perplexity на Wikitext-2, успешную арифметическую и JSON-генерацию, однако это не является полноценным сравнением качества. Ключевое ограничение выпуска состоит в том, что квантование и проверка проводились на NVIDIA H100, а работа и производительность на AMD/ROCm ещё не валидировались; требуется совместимый с native Quark INT4 runtime. Vision inference и MTP decoding отдельно не тестировались. Модель распространяется по лицензии swift-open-license-1.0.

Ternary Bonsai 27B — GGUF — это компактная модель для генерации текста и рассуждений, разработанная Prism ML на базе Qwen3.6-27B. Она предназначена для локального запуска через llama.cpp на CPU, CUDA- и Metal-устройствах, включая стандартные ноутбуки и отдельные GPU. Модель ориентирована на диалоговые сценарии, математические задачи, программирование, агентное использование инструментов и работу на устройствах с ограниченными ресурсами. Модель сохраняет архитектуру исходной 27B-классовой causal language model с гибридным вниманием: около 75% слоёв используют линейное внимание, а около 25% — полное. Она содержит примерно 27,3 млрд тернарных языковых весов и около 0,46 млрд параметров vision tower. Используются SwiGLU, RoPE и RMSNorm. Веса представлены в формате GGUF Q2_0_g128 с тернарными значениями −1, 0 и +1, что соответствует примерно 1,71 бита на вес. Размер развёрнутой модели составляет около 7,2 ГБ против примерно 54 ГБ у FP16-версии. Поддерживается контекст до 262 тысяч токенов, а KV-кэш квантизирован до 4 бит. Vision tower доступна в 4-битном формате и подключается при обработке изображений. К сильным сторонам относятся существенное снижение требований к памяти, сохранение рассуждений и агентного поведения при низкой битности, поддержка локального инференса и заявленное сохранение около 95% показателей FP16-версии на наборе из 15 тестов. Для CUDA доступен слой DSpark для спекулятивного декодирования с заявленным ускорением 1,34 раза. Ограничения включают зависимость от специализированных низкобитных ядер и совместимых форков llama.cpp, а также отсутствие в README точного перечня поддерживаемых языков. Модель распространяется по лицензии Apache 2.0.

CortexLM/Teutonic-1-Chat-Preview — экспериментальная чат-модель, разработанная CortexLM на базе текстовой линии Qwen3.5-9B. Модель предназначена для диалогов с поддержкой рассуждений, решения проверяемых математических и программных задач, работы с инструментами и обработки длинного контекста. Это предварительный снимок в процессе обучения, поэтому он не рекомендуется для production-сценариев. Модель использует гибридную архитектуру с linear attention и softmax attention, относится к классу примерно 9B параметров и поставляется с весами FP8 block-scaled e4m3 и конфигурацией квантования в стиле Qwen. Поддерживается текстовая модальность и английский язык. Заявлена вместимость контекста до 256 тысяч входных токенов благодаря RoPE с max_position_embeddings 262144. Шаблон чата поддерживает опциональные блоки рассуждений <think>…</think> и разметку вызова инструментов. Сильные стороны текущего checkpoint — извлечение информации из длинного контекста, включая внутренние тесты с одним ключевым фрагментом на 128k и 256k токенах, а также математические задачи и сохранение качества чата. Ограничения связаны с экспериментальным статусом: обучение продолжается, стабильная генерация ответов длиной 64k ещё не завершена, более сложные многоключевые и многошаговые задачи длинного контекста требуют доработки, а мультимодальность запланирована на будущее. Модель распространяется по лицензии Apache-2.0.

Toffee-3B-β — языковая модель для генерации текста и диалогового взаимодействия, разработанная maxzt. Модель дообучена на базе mistralai/Ministral-3-3B-Base-2512 с целью создания компактного полезного ассистента. Основной язык — английский; заявленные сценарии включают чат, выполнение инструкций, ответы на вопросы, рассуждения, математические задачи и программирование. Модель содержит около 3 млрд параметров и использует архитектуру Ministral 3 семейства Mistral. Длина контекста составляет 8 192 токена, размер словаря — 131 072, размер скрытого состояния — 3 072, 26 слоёв, 32 attention heads и 8 KV heads. Базовая точность указана как BF16. Дообучение выполнено методом SFT с LoRA на наборах UltraChat 200k, OpenMathInstruct-2 и CodeFeedback-Filtered-Instruction; использовалось до 80 000 примеров. Сильными сторонами являются компактный размер, пригодность для локального развёртывания и хорошие результаты на ряде стандартных тестов для моделей этого класса: 63,10% на MMLU, 72,04% на HellaSwag, 84,98% на BoolQ и 68,11% на Winogrande. Ограничения включают преимущественно англоязычную специализацию, небольшой контекст в 8 192 токена и отсутствие заявленной мультимодальности. Результаты на бенчмарках могут зависеть от настроек оценки и не гарантируют аналогичное качество в прикладных сценариях. Лицензия — MIT.

AFM-4.5B-Base — базовая языковая модель Arcee.ai для генерации текста. Она предназначена для развертывания в облаке и на периферийных устройствах и может служить основой для приложений, которым нужны ответы на запросы, математические рассуждения или помощь с кодом. Несмотря на слово Base в названии, в карточке указано, что модель прошла supervised fine-tuning на инструкционных данных, а доступная версия получена после слияния и расширения контекста. Модель построена как плотный декодерный трансформер ArceeForCausalLM с grouped-query attention и активациями ReLU². README указывает 4,5 млрд параметров, тогда как метаданные каталога — 6 млрд. Обучение включало 8 трлн токенов, в том числе данные для улучшения математических рассуждений и генерации кода. Контекст составляет 65 536 токенов. Поддерживаются английский, испанский, французский, немецкий, итальянский, португальский, русский, арабский, хинди, корейский и китайский языки. Модель доступна в формате safetensors и работает с библиотекой Transformers. Лицензия — Apache-2.0. Качество ответов и точность рассуждений могут зависеть от задачи; в карточке нет результатов бенчмарков, подтверждающих уровень качества в конкретных сценариях.

jondurbin/airoboros-110b-3.3 — экспериментальная чат-модель Джона Дурбина, дообученная на базе Qwen1.5-110B преимущественно на синтетических данных Airoboros. Это плотная авторегрессионная языковая модель с архитектурой Qwen2ForCausalLM; она использует шаблон диалога ChatML и принимает текстовые запросы. По метаданным, размер модели — 110 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода, следования инструкциям и выдачи аргументов для вызова функций в JSON или YAML. Карточка описывает настройку для контекстных ответов, призванную ограничивать ответы сведениями из источника, а также планирование многошагового выполнения задач; для контекстных запросов рекомендуется низкая температура. Автор отмечает, что иногда в конце ответов появляются лишние токены. Репозиторий содержит веса в формате safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели. Автор характеризует модель как экспериментальную; карточка не приводит количественных оценок качества.

Bagel-20B-v04 — дообученная модель jondurbin на базе InternLM2-20B, созданная для диалогов и широкого круга инструктивных задач. Это плотная языковая архитектура InternLM2 с 19,3 млрд параметров, контекстом до 32 768 токенов и форматом весов safetensors. Хотя в метаданных Hugging Face указана задача feature-extraction, каталог и описание модели подтверждают её применение для генерации текста; основная задача здесь — text-generation. Модель обучалась на наборах данных для диалогов, вопросов и ответов, суммаризации, математики, естественных наук, программирования, ролевого общения и вызова функций. README указывает четыре варианта форматирования запросов: Vicuna, Llama 2, Alpaca и ChatML; шаблон по умолчанию использует формат Llama 2. Она принимает текст и генерирует текст. Поддержка русского языка отдельно не заявлена; в данных есть многоязычное чтение и задачи на нескольких языках. Лицензия в метаданных обозначена как other, без уточнения конкретных условий. Модель унаследовала ограничения базовой языковой модели и обучающих данных; README также отмечает, что часть обучающих данных содержит токсичный контент. Результаты могут различаться в зависимости от формата запроса.

bagel-dpo-8x7b-v0.2-GGUF — это квантизированная версия текстовой генеративной модели bagel-dpo-8x7b-v0.2, разработанной jondurbin и подготовленной в формате GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp версии b4222 и метода imatrix. Модель распространяется для локального запуска, в частности через LM Studio. Модель предназначена для генерации текста в формате инструкций и диалогов, а также может применяться к широкому кругу задач: ответам на вопросы, рассуждениям, программированию, работе с естественным языком, математике, извлечению и пониманию информации и ролевым сценариям. В обучении или дообучении использовался широкий набор датасетов, включая MMLU, ARC, BoolQ, DROP, Spider, SQuAD, MathInstruct, CodeParrot и наборы диалогов и preference-данных DPO. Доступны варианты квантизации от Q2_K и Q3 до Q8_0 с размером файлов примерно от 17,44 до 49,63 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M, Q5_K_M и Q6_K отмечены как рекомендуемые. Модель работает с текстом; сведения о поддерживаемых языках, размере контекста и точной архитектуре в README не указаны. Ограничения включают возможное снижение качества в компактных вариантах квантизации и высокие требования к памяти. Лицензия — Apache-2.0.

Карточка модели squ0sh/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V4-Flash-0731-AWQ — это квантизированная сборка базовой модели deepseek-ai/DeepSeek-V4-Flash-0731, подготовленная в формате AWQ для запуска на компьютерах Apple Silicon через oMLX. Исходная модель представляет собой MoE-архитектуру с 304 млрд параметров, 43 слоями, 256 маршрутизируемыми экспертами на слой, механизмами Hyper-Connections и HISA attention; в README разработчик исходной модели не указан, а автор данной квантизированной сборки также не идентифицирован. Модель предназначена для генерации текста, диалоговых и агентских сценариев, решения математических задач и генерации кода. В сборке маршрутизируемые эксперты квантизированы до 2–3 бит, а attention, общие эксперты, embeddings и head оставлены в 8-битном формате. Основная часть содержит 278,6 млрд квантизированных параметров и занимает около 101,4 ГБ; вместе с квантизированным MTP/DSpark speculative drafter общий размер составляет около 108,2 ГБ. Поддерживаются режимы reasoning_effort low, high и max. Языки и максимальная длина контекста в README не указаны. Сильными сторонами являются возможность запуска очень крупной MoE-модели на одной системе Apple Silicon, высокая скорость генерации около 47–51 токена в секунду на M5 Max с 128 ГБ памяти, а также хорошие результаты на GSM8K и HumanEval — 93,5% и 87,2% соответственно. Главные ограничения связаны с агрессивной 2/3-битной квантизацией: на MMLU сборка получила 64,5% против 81,5% у неквантизированного учителя, то есть потеряла 17 процентных пунктов в задачах на широкий массив знаний. Для длинного контекста рекомендуется 4- или 6-битная квантизация KV-кэша; без специализированных ядер oMLX предварительное заполнение длинного контекста может работать значительно медленнее. Модель распространяется по лицензии, обозначенной как other с именем лицензии deepseek. Полные условия лицензии в README не приведены.

EXAONE-3.5-7.8B-Instruct-GGUF — двуязычная инструкционная языковая модель, разработанная LG AI Research. Она предназначена для генерации текста, диалоговых приложений, ассистентов и других практических сценариев обработки естественного языка на английском и корейском языках. Модель доступна в формате GGUF, рассчитанном на локальный запуск и инференс с использованием llama.cpp, TensorRT-LLM, vLLM, SGLang или Ollama. Модель содержит 7,8 млрд параметров, из которых 6,98 млрд приходятся на параметры без embeddings, имеет 32 слоя и архитектуру GQA с 32 головами запросов и 8 головами ключей и значений. Размер словаря составляет 102 400 токенов, а максимальная длина контекста — 32 768 токенов. Доступны варианты BF16 и квантизации Q8_0, Q6_0, Q5_K_M, Q4_K_M и IQ4_XS, что позволяет выбирать между качеством, скоростью и требованиями к памяти. К сильным сторонам относятся поддержка длинного контекста, двуязычность и ориентация на реальные прикладные задачи при относительно компактном размере. Ограничения включают возможную генерацию вредного, предвзятого, фактически неверного или синтаксически некорректного текста; модель также не гарантирует актуальность знаний. Для работы рекомендуется использовать системные промпты, предусмотренные разработчиком. Модель распространяется по лицензии EXAONE AI Model License Agreement 1.1 - NC; условия лицензии и ограничения на использование следует уточнять в файле LICENSE.

Falcon-H1-1.5B-Instruct — многоязычная авторегрессионная языковая модель семейства Falcon-H1, разработанная командой TII. Это дообученная для следования инструкциям версия Falcon-H1-1.5B-Base с гибридной архитектурой, сочетающей Transformer-внимание и блоки SSM/Mamba. Модель содержит 1,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям: она подходит для ответов на вопросы, рассуждений, математических задач, программирования и работы с научными знаниями. В карточке заявлена поддержка 18 языков, включая арабский, английский, хинди, японский, китайский и русский. Для запуска указаны Transformers, vLLM и llama.cpp; метаданные репозитория отмечают формат safetensors. В README указана лицензия Falcon-LLM License, тогда как метаданные Hugging Face обозначают лицензию как other. Перед использованием следует проверить условия лицензии в репозитории. Как компактная модель на 1,1 млрд параметров, она может уступать более крупным моделям на сложных задачах; заявленные в карточке результаты бенчмарков не гарантируют качество на конкретных данных.

Fx-Work — мультимодальная языковая модель класса 35B для профессиональных задач в средах с файлами и инструментами. Она разработана командой Endless Frontier на базе Qwen3.6-35B-A3B и дообучена на 20 тысячах траекторий взаимодействия с инструментами. Модель интерпретирует рабочие материалы разных типов, учитывает операционные ограничения, при необходимости формирует вызовы инструментов и создаёт результаты по заданным требованиям. Модель рассчитана на агентные рабочие сценарии: анализ документов и других материалов, выполнение последовательных задач и подготовку профессиональных результатов. Поддерживает изображения и видео вместе с текстом; карточка указывает английский язык. В README для запуска приведён контекст до 262 144 токенов. Заявленные результаты сравнительных оценок относятся к конкретным бенчмаркам и не гарантируют такого же качества в других задачах. Для работы с инструментами требуется окружающая агентная инфраструктура; сервер модели выдаёт текст и, при настройке, ответы с вызовами инструментов. Модель распространяется по лицензии Apache-2.0.

Abiray/Gemma-4-12B-it-AEON-Abliterated-K4-GGUF — это GGUF-квантизированная версия инструкционной модели Gemma-4-12B-it-AEON-Abliterated, разработанной AEON-7 на основе Google Gemma-4-12B-it. Модель предназначена для генерации текста, чат-взаимодействия, выполнения инструкций, рассуждений, программирования, а также сценариев с tool calling и function calling. В карточке указана поддержка английского языка. Модель использует архитектуру gemma4_unified и содержит около 12 миллиардов параметров. Отличительная особенность — abliteration с применением пользовательской K=4 multi-direction norm-preserving biprojection, призванной сохранять качество генерации и устранять стандартные шаблоны отказов. Репозиторий предоставляет варианты квантизации от 3 до 8 бит: размеры файлов составляют примерно от 6,09 до 12,70 ГБ. Рекомендуемый вариант Q4_K_M занимает 7,38 ГБ и рассчитан на запуск на одной видеокарте уровня T4 или RTX 3060/4060; Q8_0 близок к точности BF16 и требует около 16 ГБ видеопамяти. В примере запуска указан контекст 4096 токенов, но максимальный размер контекста в README не заявлен. Сильными сторонами являются широкий выбор уровней квантизации, возможность запуска через llama.cpp и llama-cpp-python, поддержка локального развёртывания и ориентация на сценарии, где требуется меньше отказов. Ограничения включают отсутствие заявленных сведений о качестве на стандартных бенчмарках, неполные данные о мультимодальности и максимальном контексте, а также возможные риски, связанные с удалением стандартных механизмов отказа. Модель распространяется под лицензией Gemma.

HauhauCS/Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced — модифицированная версия Google Gemma 4 26B A4B IT, разработанная HauhauCS. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, задач эмоционального интеллекта, программирования и агентных рабочих процессов с использованием инструментов. Она позиционируется как uncensored-вариант с минимальным количеством отказов; при этом в отдельных пограничных случаях может сначала добавить краткое предупреждение или отклонить запрос, но обычно отвечает после повторного запроса. Модель имеет MoE-архитектуру: около 25,2 млрд общих параметров и 3,8 млрд активных параметров на проход, 128 маршрутизируемых экспертов, top-8 и один общий эксперт. Используются 30 слоёв с гибридным вниманием, включающим пять оконных слоёв на 1024 токена и один слой полного внимания, а также Proportional RoPE. Нативный контекст составляет 256 тысяч токенов. Модель мультимодальная, поддерживает текст и изображения, поставляется с визуальным проектором mmproj и переменным бюджетом визуальных токенов. В README явно указан английский язык. Сильными сторонами заявлены стабильная работа при повторной генерации, сохранение связности в длинных контекстах, высокая пропускная способность благодаря малому числу активных параметров и пригодность для локального запуска через GGUF-совместимые среды, включая llama.cpp и LM Studio. Для сложных агентных задач автор README отмечает превосходство Qwen3.6. Доступны различные варианты квантования размером примерно от 10 до 27 ГБ; рекомендуемый вариант для программирования — Q4_K_P. Модель распространяется по лицензии Apache-2.0.

Gemma 4 31B JANG4M CRACK — это модифицированная версия Gemma 4 31B IT от dealignai. Модель представляет собой плотную 60-слойную мультимодальную архитектуру с чередованием скользящего и глобального внимания; она предназначена для диалога, рассуждений, генерации кода и обработки изображений. В README автор сообщает о сохранении визуальных возможностей и результатов MMLU на уровне 86,8% после модификации, а также о значительном снижении отказов на тестах HarmBench. Веса представлены в формате Safetensors с квантизацией JANG_4M: 8-битное внимание и 4-битные MLP. Для запуска автор рекомендует vMLX с поддержкой Gemma 4 на Mac с Apple Silicon и достаточным объёмом объединённой памяти; стандартные mlx_lm и mlx_vlm поддерживают модель не полностью. Лицензия — Gemma. README позиционирует выпуск как исследовательский и возлагает на пользователей ответственность за соблюдение применимых законов.

Gemma 4 E4B it qat JANG_4M CRACK — дообученная и квантованная мультимодальная модель dealignai на базе google/gemma-4-e4b-it. Это плотная модель семейства Gemma 4 с гибридным скользящим и глобальным вниманием. Вариант JANG_4M использует 8-битную точность для attention и 4-битную для MLP; модель предназначена для запуска на Apple Silicon через vMLX. Модель поддерживает диалог, работу с изображениями и аудио, ответы на вопросы, многошаговые рассуждения и генерацию кода. Разработчик заявляет об удалении отказов при сохранении возможностей; в приведённых тестах модель показала 71,9% на MMLU и 100% выполнения запросов из вредоносных категорий HarmBench. Для запуска требуется vMLX с поддержкой Gemma 4 и достаточный объём объединённой памяти. Указана лицензия Gemma; карточка рекомендует использовать модель для исследований и возлагает соблюдение применимых законов на пользователя.

unsloth/GLM-Z1-32B-0414-GGUF — GGUF-версия 32-миллиардной reasoning-модели GLM-Z1-32B-0414, разработанной командой THUDM на основе GLM-4-32B-0414 и подготовленной в формате GGUF проектом Unsloth. Модель предназначена для локального текстового диалога и генерации текста, особенно для задач, требующих глубокого рассуждения: математики, программирования, логики и решения сложных многоэтапных задач. Модель поддерживает китайский и английский языки и относится к задачам text-generation. Заявлены улучшенные математические способности и общее качество решения сложных задач по сравнению с базовой моделью. В README указано 32 миллиарда параметров; архитектура подробно не описана. Для работы с длинным контекстом предусмотрен YaRN: при длине входа свыше 8192 токенов рекомендуется включать масштабирование RoPE, исходный максимальный размер позиционных эмбеддингов составляет 32768 токенов. Модель подходит для локального развертывания через совместимые инструменты, включая llama.cpp; для корректной обработки системного промпта в llama.cpp рекомендуется параметр --jinja. Для генерации рекомендованы temperature 0.6, top_p 0.95, top_k 40 и max_new_tokens 30000. Ограничения включают значительные требования к вычислительным ресурсам из-за размера 32B и возможное небольшое ухудшение качества на коротких текстах при постоянном включении YaRN. Лицензия — MIT.

unsloth/GLM-Z1-9B-0414-GGUF — это GGUF-квантизированная версия модели GLM-Z1-9B-0414, разработанной командой THUDM и подготовленной Unsloth. Модель относится к семейству GLM, предназначена для генерации текста и поддерживает китайский и английский языки. Это компактная модель примерно на 9 млрд параметров, ориентированная на локальный запуск в условиях ограниченных вычислительных ресурсов. Модель обучалась с применением методов cold start и расширенного обучения с подкреплением на задачах математики, программирования и логики. Она рассчитана на диалоговые и общие текстовые задачи, требующие рассуждений, включая математическое решение проблем и выполнение сложных инструкций. Для инференса рекомендуется использовать параметры temperature 0.6, top_p 0.95, top_k 40 и max_new_tokens до 30000; поддерживается принудительный режим рассуждений. Базовый максимальный контекст составляет 8192 токена, а для более длинных входов может применяться YaRN с исходным пределом позиционных эмбеддингов 32768 токенов, что потенциально снижает качество на коротких текстах. Для запуска через llama.cpp требуется включить опцию --jinja. Модель распространяется по лицензии MIT.