II.7DevOps, облако и эксплуатация IT-систем

Карточка модели foranyone2026/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

Kiwen1.1-27B-MTP-GGUF — это набор смешанных GGUF-квантизаций модели Kiwen1.1-27B, разработанной beyoru и подготовленной пользователем NikiKrutan для запуска через llama.cpp. Модель ориентирована на диалоговые сценарии, программирование, агентские задачи, рассуждения, математику и работу с текстами на нескольких языках, включая английский, русский и вьетнамский. Суффикс MTP и метаданные указывают на вариант, связанный с multi-token prediction, однако подробности архитектуры MTP в README не приведены. Квантизации создаются инструментом niki-allocator, который подбирает тип квантования отдельно для каждого тензора с учётом целевого размера файла и оценок качества на основе KLD. Доступно 15 вариантов размером примерно от 8500 до 23000 МиБ; автор рекомендует выбирать максимально крупный вариант, помещающийся в доступную память, поскольку больший размер обычно обеспечивает более высокое качество. Производительность зависит от оборудования и конфигурации и отдельно не измерялась. Сильной стороной модели является тщательная оценка качества квантизаций на корпусах для программирования, агентских задач, рассуждений, сложной логики, мультиязычных текстов и научных материалов, а также сравнение с альтернативными сборками. Ограничения включают зависимость скорости и пригодности от аппаратной конфигурации, возможные потери качества из-за квантования и отсутствие в README точных сведений о размере контекста, полном наборе поддерживаемых языков и характеристиках исходной архитектуры. Распространение заявлено по лицензии Apache-2.0.

LLaDA2.0-flash-preview — открытая инструктивно настроенная диффузионная языковая модель от InclusionAI для диалогов и практических задач. Она использует архитектуру Mixture-of-Experts: в README указано 100 млрд параметров, из которых около 6,1 млрд активируются при инференсе; метаданные каталога указывают 5,5 млрд параметров. Архитектура включает 32 слоя, 32 головы внимания, RoPE и словарь размером 157 184 токена. Модель предназначена для генерации текста, ответов на вопросы, написания кода, математических рассуждений и сценариев с вызовом инструментов. Это diffusion language model (dLLM), доступная в формате safetensors через Transformers. В README указан контекст 4 096 токенов, тогда как метаданные каталога сообщают нативный контекст 16 384 токена. Репозиторий распространяется по лицензии Apache-2.0. README рекомендует температуру 0 и параметры block_length=32, steps=32; при повышении температуры возможно смешение языков и снижение качества. Модель обозначена как preview, поэтому её зрелость следует считать экспериментальной.

DavidAU/Llama-3.2-4X3B-MOE-Ultra-Instruct-10B-GGUF — инструкционная текстовая модель на базе Llama 3.2, собранная с использованием Mergekit из четырёх экспертных моделей Llama 3.2 3B. В состав входят базовая модель общего назначения, модель для программирования, модель для логики и рассуждений и модель для работы с промптами. Архитектура Mixture of Experts объединяет около 10 млрд параметров; по умолчанию используются два эксперта, но поддерживается настройка на одного, трёх или четырёх экспертов. Модель предназначена для генерации текста общего назначения, следования инструкциям, программирования, логических задач, prompt engineering, творческого и художественного письма, ролевых сценариев и reasoning. Заявлен контекст до 128 000 токенов. Указан английский язык, формат распространения — GGUF, а для запуска требуется шаблон Llama 3 или Command-R. Количество активных экспертов влияет на баланс между качеством и скоростью: большее число экспертов может повышать качество, но снижает производительность. К заявленным сильным сторонам относятся высокая скорость на совместимом оборудовании, стабильная генерация, низкая perplexity и особенно развитые способности к созданию подробной прозы и художественных текстов. При этом результаты могут заметно различаться между повторными генерациями из-за смены выбранных экспертов, а слишком высокая температура способна ухудшать следование инструкциям. Модель распространяется по лицензии Apache 2.0.

RedHatAI/Meta-Llama-3.1-8B-quantized.w8a8 — квантизированная версия языковой модели Meta-Llama-3.1-8B, разработанная Neural Magic. Модель предназначена для генерации текста и ассистентских диалогов, а также для коммерческого и исследовательского использования в многоязычных сценариях. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует архитектуру Meta-Llama-3 и работает только с текстовыми входами и выходами. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8 по схеме W8A8 с применением GPTQ. Используются статическая поканальная квантизация весов и динамическая потокенная квантизация активаций. Заявленная максимальная длина контекста при развертывании составляет 8192 токена. Модель оптимизирована для работы с vLLM и совместимого с OpenAI API сервинга. Ключевые преимущества — примерно двукратное снижение требований к памяти GPU и увеличение пропускной способности матричных умножений примерно в два раза, а также сокращение размера модели на диске примерно на 50%. При этом качество близко к исходной модели: средний результат на OpenLLM Leaderboard составляет 62,71 против 63,03 у неквантизированной версии. Ограничения включают возможное небольшое снижение точности из-за квантизации, текстовую модальность и зависимость от совместимого окружения развертывания. Модель распространяется по лицензии Llama 3.1.

Карточка модели NarsAI/mini-2.0 на Hugging Face совпадает с карточкой inclusionAI/Ling-mini-2.0, поэтому описание составлено по ней. Ling-mini-2.0 — компактная разговорная языковая модель семейства Ling 2.0 от inclusionAI, предназначенная для генерации текста, следования инструкциям и решения задач на рассуждение. Это дообученная версия Ling-mini-base-2.0; по метаданным, она использует архитектуру Bailing MoE для причинного языкового моделирования и содержит 1,2 млрд параметров. README описывает семейство Ling-mini-2.0 как разреженную MoE-модель с 16,26 млрд параметров всего и примерно 1,43 млрд активных на токен, обученную на более чем 20 трлн токенов с многоэтапной настройкой и обучением с подкреплением. Модель подходит для диалоговых приложений, сложных рассуждений, математики, программирования и ответов на вопросы, а также предоставляет интерфейс вызова инструментов. Метаданные указывают контекст 32 768 токенов; README сообщает о расширении до 128K с YaRN. Разработчик заявляет о высокой скорости генерации и сильных результатах на тестах рассуждения, однако приведённые показатели зависят от оборудования и режима развёртывания. Веса доступны в формате safetensors, библиотека — Transformers; лицензия MIT.

MiniCPM5-2B — плотная причинная языковая модель семейства MiniCPM5, разработанная командой MiniCPM. Она предназначена для локальных помощников, запуска на устройствах и в условиях ограниченных ресурсов, а также для задач программирования, рассуждений и работы с инструментами. Модель построена на архитектуре LlamaForCausalLM, содержит 2,2 млрд параметров по метаданным и поддерживает контекст до 131 072 токенов. Модель подходит для диалогов, агентных сценариев и обработки длинного контекста. В карточке отмечены сильные результаты относительно моделей сопоставимого размера в программировании, математике, работе с длинным контекстом и инструментами. Указаны английский и китайский языки. Доступны веса safetensors и запуск через Transformers, в том числе на CPU и GPU. Лицензия — Apache-2.0. Ответы могут содержать ошибки, предвзятые или оскорбительные сведения; выводы по медицине, финансам, праву и политике не являются профессиональной консультацией. Модель предоставляется без гарантий.

ehristoforu/mllama-3.1-8b-instruct — языковая модель, созданная объединением нескольких моделей семейства Llama 3.1 с помощью mergekit и метода TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct, а в объединение вошли Hermes 3, Skywork-o1, Dolphin, LLaMA-O1 и SuperNova Lite. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; в метаданных также заявлен интерфейс вызова инструментов. Её можно применять для ответов на вопросы, рассуждений и генерации кода, однако README не приводит отдельных оценок качества или рекомендаций по использованию. Карточка указывает формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

Это текстовая модель NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16 с изменёнными параметрами отказов: автор карточки сообщает, что после abliteration модель отказала в 1 из 100 тестовых запросов против 98 из 100 у исходной версии. Она предназначена для генерации текста, диалога и рассуждений, а также для дообучения и адаптации разработчиками. В карточке приведены результаты проверок на задачах знаний, рассуждений, программирования и использования инструментов. Модель использует гибридную архитектуру Mixture-of-Experts с Mamba-2, MoE и слоями Attention; всего в ней 30 млрд параметров, из которых активны 3 млрд. Формат весов — BF16, заявленная длина контекста в метаданных — 262 144 токена. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский. README указывает лицензию исходной модели как допускающую коммерческое использование, но метаданные этой копии обозначают лицензию как other, поэтому условия распространения и использования именно этой производной версии следует сверять с лицензией репозитория.

Olmo-Hybrid-Instruct-SFT-7B — англоязычная авторегрессионная языковая модель семейства Olmo Hybrid, разработанная Allen Institute for AI (Ai2). Это плотная гибридная RNN-модель с 6,3 млрд параметров, дообученная методом supervised fine-tuning на наборах Dolci для инструкций, включая примеры использования инструментов. Модель принимает текст и генерирует текст; размер контекста — до 32 768 токенов. Модель предназначена для диалогов и ответов на инструкции, в том числе для задач по математике, программированию, общим знаниям и вызову инструментов. Ai2 сообщает о повышенной эффективности обучения и инференса на длинном контексте по сравнению с Olmo 3; приведённые в карточке результаты показывают пригодность модели для решения разнообразных текстовых задач. Лицензия — Apache 2.0. Модель может выдавать неточные ответы и вредный или предвзятый контент, поскольку не имеет фильтрации безопасности.

Phi-3-medium-4k-instruct-GGUF — это квантизированная GGUF-версия языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft и подготовленной к квантизации компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Указана поддержка нескольких языков, но их точный перечень в карточке не приведён. Модель использует архитектуру Phi, имеет контекст до 4000 токенов и поддерживает формат GGUF с вариантами квантизации от 2 до 8 бит, а также f16. Размер файлов составляет примерно от 5,14 до 27,9 ГБ. Вариант Q4_K_M обозначен как рекомендуемый баланс размера и качества, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Модель совместима с LlamaEdge версии 0.11.2 и выше и использует шаблон запросов phi-3-chat. Основное преимущество этой версии — возможность локального запуска с выбором компромисса между потреблением памяти, размером файла и качеством ответов. Низкобитные варианты экономичнее, но могут заметно терять в качестве; для большинства практических сценариев рекомендуется избегать Q2_K и ряда более агрессивных квантизаций. Карточка не содержит данных о точном числе параметров, обучающих данных, результатах оценки, аппаратных требованиях или ограничениях безопасности. Модель распространяется по лицензии MIT.

Phi-3-mini-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Phi-3-mini-128k-instruct, разработанной Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая обработку запросов и работу с кодом. Она поддерживает английский язык, использует формат GGUF и рассчитана на контекст до 128 000 токенов. Для работы в GaiaNet предусмотрен шаблон prompt phi-3-chat. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, с размером файлов примерно от 1,42 до 7,64 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем размере. Более агрессивная квантизация уменьшает требования к ресурсам, но может заметно ухудшать качество ответов. Модель ориентирована преимущественно на английские задачи; сведения о мультимодальности отсутствуют. Квантизацию выполнила Second State Inc. Лицензия — MIT.

EasierAI/Phi-4-14B — текстовая языковая модель на 14 млрд параметров, разработанная Microsoft Research и основанная на Microsoft Phi-4. В данном варианте модель преобразована в архитектуру, совместимую с Llama, для более удобного использования и дообучения; также заявлены исправления Unsloth. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач и программирования. Она принимает текстовые входы и лучше всего работает с запросами в чат-формате. Модель представляет собой плотный decoder-only Transformer с контекстом до 16 000 токенов и поддерживает английский язык. Phi-4 обучалась на сочетании синтетических данных, отфильтрованных общедоступных веб-источников, академических книг и наборов вопросов и ответов, а для улучшения поведения использовались supervised fine-tuning и direct preference optimization. К сильным сторонам относятся ориентация на качественные данные, развитое рассуждение, следование инструкциям и возможности для локального запуска и дообучения в форматах, поддерживаемых экосистемой Unsloth и llama.cpp. Ограничения включают текстовую модальность, заявленную специализацию на английском языке и необходимость учитывать ресурсы, требуемые для запуска 14B-модели; конкретные показатели качества в README не приведены. Лицензия указана как MIT. README описывает этот репозиторий как конверсию Phi-4 и ссылается на базовую модель microsoft/phi-4; сведения о точном формате или квантовании данной версии в предоставленных данных отсутствуют.

unsloth/phi-4-unsloth-bnb-4bit — 4-битная версия модели Phi-4, разработанной Microsoft Research и подготовленной Unsloth. Модель основана на dense decoder-only Transformer с 14 млрд параметров, преобразована в архитектуру, совместимую с Llama, и предназначена для более удобного использования и дообучения. Квантизация выполнена в формате Unsloth BNB 4-bit с динамическим выбором параметров, что призвано сохранить более высокую точность по сравнению со стандартной 4-битной квантизацией. Модель работает с текстом, лучше всего подходит для запросов в чат-формате и предназначена для генерации текста, диалоговых приложений, задач NLP, математики и программирования. Поддерживаемый язык — английский. Контекстное окно составляет 16K токенов. Базовая Phi-4 обучалась на сочетании синтетических данных, отфильтрированных общедоступных веб-источников, академических книг и наборов вопросов и ответов, а также проходила supervised fine-tuning и direct preference optimization для следования инструкциям и повышения безопасности. К сильным сторонам относятся компактность по сравнению с более крупными моделями, возможности рассуждения, а также сниженные требования к памяти благодаря 4-битному представлению; Unsloth заявляет о преимуществах для последующего fine-tuning. Ограничения включают текстовую модальность, ориентацию прежде всего на английский язык и возможные потери качества из-за квантизации, хотя динамический подход должен их уменьшать. Модель распространяется по лицензии MIT.

Qwen2.5-14B-Instruct-1M — плотная авторегрессионная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста, включая обработку очень длинных документов и контекстов. Модель содержит около 14 млрд параметров; архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и групповое внимание с 40 головами Q и 8 головами KV. Заявленная длина контекста достигает 1 010 000 токенов, а генерация — до 8192 токенов. Для эффективного инференса на длинных последовательностях разработчик рекомендует специальную ветку vLLM с разреженным вниманием и методами экстраполяции длины; для обработки миллиона токенов версии 14B требуется не менее 320 ГБ видеопамяти суммарно. На обычном стеке Qwen2.5 возможна потеря точности при длине свыше 262 144 токенов. Модель основана на Qwen/Qwen2.5-14B и дообучена; лицензия Apache-2.0. Метаданные указывают английский язык, поэтому поддержка других языков здесь не заявляется.

FastFlowLM/Qwen3-0.6B-NPU2 — языковая модель семейства Qwen3, разработанная командой Qwen; в README она указана как производная от базовой модели Qwen/Qwen3-0.6B. Это причинная языковая модель для генерации и продолжения текста, диалогов, следования инструкциям, решения математических и логических задач, генерации кода, творческого письма, перевода и сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами рассуждения и обычного ответа в рамках одного запроса. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, и включает 28 слоёв. Используется Grouped Query Attention с 16 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. В README заявлена поддержка более 100 языков и диалектов, однако для данной карточки явно указан язык English. Модель относится к текстовой модальности; сведения о поддержке изображений, аудио или видео отсутствуют. Сильными сторонами являются компактный размер, возможность выбора между более глубоким рассуждением и эффективной генерацией, а также ориентация на диалоги, инструкции, мультиязычные задачи и работу в агентных сценариях. Ограничения включают небольшой объём параметров по сравнению с крупными моделями и отсутствие в README подробных результатов бенчмарков, требований к оборудованию и специфических характеристик варианта NPU2. Для использования рекомендуется актуальная версия библиотеки Transformers; также указана совместимость с vLLM и SGLang. Лицензия — Apache-2.0.

6block/Qwen3-14B-GGUF — набор GGUF-квантизированных версий языковой модели Qwen3-14B, разработанной Qwen. Квантизацию выполнил 6block с использованием llama.cpp и метода imatrix; исходная модель доступна как Qwen/Qwen3-14B. Модель предназначена для генерации текста и программного кода, включая двуязычные сценарии на английском и китайском языках, и может применяться локально через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 15,70 до 5,75 ГБ. Для калибровки использовался датасет с английскими, китайскими и программными текстами, что должно помогать сохранять способности к работе с китайским языком и кодом в моделях с низкой разрядностью. Более высокие варианты обычно обеспечивают лучшее качество, а низкоразрядные требуют меньше памяти, но сильнее ограничены потерями качества; I-кванты могут быть эффективнее по качеству на размер, но медленнее K-квантов на CPU. Архитектура, длина контекста и точный набор поддерживаемых языков в карточке не указаны. Модель распространяется по лицензии Apache 2.0. Для запуска требуется подходящее локальное программное обеспечение и объём RAM или VRAM, соответствующий выбранному файлу; конкретные требования зависят от варианта квантизации.

Qwen3.6-27B-OBLITERATED — текстовая модель на базе Qwen/Qwen3.6-27B, изменённая разработчиком с помощью метода OBLITERATUS source-tethered ASPA. В карточке указано 26,9 млрд параметров; метаданные каталога сообщают 22,3 млрд. Доступны веса BF16 в safetensors и варианты GGUF с квантованием Q4_K_M, Q5_K_M, Q6_K и Q8_0. Модель рассчитана на локальную генерацию текста и диалог, включая программирование, выполнение инструкций и работу с заданными форматами; основное изменение направлено на снижение отказов при сохранении полезных возможностей исходной модели. Контекстное окно составляет 262 144 токена. Модель принимает текст и выдаёт текст; визуального энкодера нет. Разработчик сообщает о проверках отказов и сохранения возможностей, однако это результаты локальных оценок, а не официальные результаты бенчмарков. Для запуска подходят Transformers и современные локальные среды, включая llama.cpp; для GGUF рекомендуется начинать с Q4_K_M. Лицензия — Apache-2.0.

sakamakismile/Qwen3.6-35B-A3B-NVFP4 — это квантизированная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной Qwen и сжатой с помощью llm-compressor от Lna-Lab. Модель предназначена для генерации текста, программирования, рассуждений, агентских сценариев и задач с изображениями. Она поддерживает вызов инструментов и рассчитана на работу через vLLM. В основе лежит разреженная архитектура MoE: около 35 млрд параметров всего, из которых активны примерно 3 млрд на токен; используются 256 экспертов, включая 8 маршрутизируемых и 1 общий. Архитектура сочетает Gated DeltaNet и механизмы внимания. Квантизация NVFP4 W4A4 использует 4-битные веса и активации со шкалами FP8, а визуальная часть сохранена в BF16. Нативный контекст составляет 262 144 токена, заявлена возможность расширения до 1 млн токенов. Указана поддержка мультимодального ввода, однако конкретный перечень языков в README не приведён. К сильным сторонам относятся высокая скорость инференса, малая занимаемая память и заявленные результаты в задачах программирования и агентского взаимодействия. Размер модели после сжатия — около 21,9 ГБ; на одной видеокарте NVIDIA Blackwell заявлена скорость до 168 токенов в секунду. Ограничения связаны с аппаратной и программной совместимостью: требуется GPU NVIDIA Blackwell с архитектурой SM 120, примерно 22 ГБ видеопамяти и nightly-версия vLLM с CUDA 13.0; на Ampere и Hopper модель не работает. Распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B — это квантизированная и подвергнутая экспертному прунингу языковая модель для генерации текста, разработанная сообществом mlx-community на базе mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit. Модель использует архитектуру Mixture-of-Experts: в каждом слое сохранено 128 из 256 экспертов, при этом для каждого токена активируются 8 экспертов. Число параметров уменьшено с 35,1 до 18,8 млрд, размер на диске составляет 13,8 ГБ, а пиковое потребление памяти — около 11,6 ГБ. Данные о поддерживаемых языках и размере контекста в README не указаны. Модель предназначена для локального запуска и генерации текста на устройствах Apple Silicon через MLX, а также для задач следования инструкциям, математических рассуждений, вызова функций и генерации кода. Прунинг выполнен методом REAP без деквантизации, повторной квантизации или дообучения; активные параметры на токен и скорость декодирования сохраняются, а скорость в указанном сравнении выросла с 47,0 до 54,7. По сравнению с исходной моделью Capability Score снизился с 80,03 до 76,57; особенно заметно падение на MMLU, тогда как результаты GSM8K и IFEval улучшились. Модель распространяется по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-GPTQ-INT4-G128 — это квантизированный вариант базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Репозиторий содержит deployment-вариант, а не дообученную модель. Квантизация выполнена с помощью GPTQModel в формате GPTQ с 4-битными весами и размером группы 128; размер артефакта составляет около 18,2 ГиБ. Модель предназначена для генерации текста и сценариев image-text-to-text, включая работу с изображениями, кодом, отладкой, математикой, научными задачами, структурированными ответами, инструментами, многоязычными запросами и контекстами большой длины. В сборке сохранены поддержка vision и schema-valid XML tool calls. Точная длина контекста, перечень поддерживаемых языков и требования к производительности в README не указаны. К сильным сторонам относятся существенное снижение размера модели за счёт INT4-квантизации, сохранение визуальных и инструментальных возможностей, а также близость к исходной модели по численным метрикам: top-1 agreement составляет 0,9355, а logit cosine similarity — 0,9950. Ограничения включают возможное снижение качества после квантизации, зависимость совместимости от точной версии GPTQModel и родительской ревизии, а также низкую скорость на протестированной конфигурации с CPU offload: RTX 4070 12 ГБ показала медианную скорость декодирования 0,075 токена в секунду. Поддержка speculative decoding не заявлена. Модель распространяется по лицензии Apache-2.0. Тестирование проводилось с GPTQModel 7.3.4+ на NVIDIA GeForce RTX 4070 12 ГБ в WSL2 Ubuntu 24.04; приведённые показатели производительности не являются гарантией чисто GPU-режима.

Primitive-AI Qwen3.8-27B-mixed-NVFP4-FP8 — это квантизированная версия модели Qwen/Qwen3.8-27B, опубликованная организацией Primitive AI. Модель предназначена для генерации текста, задач общего назначения и сценариев с инструментальным вызовом. Она поддерживает работу через Transformers и stock vLLM, а также speculative decoding с сохранённой MTP-головой. Модель использует смешанную квантизацию NVFP4/FP8 и занимает около 20,7 GiB — примерно в 2,5 раза меньше версии BF16 и на 28% меньше собственной версии Qwen в FP8. Она протестирована на GPU Blackwell и A100: на Blackwell применяются нативные FP4/FP8-ядра, а на A100 используется fallback Marlin W·A16. В заявленных измерениях модель показала общую оценку 88,8 против 89,3 у BF16, пропускную способность 908 токенов в секунду при конкуренции 32 и до 2,5-кратного ускорения при конкуренции 1. К сильным сторонам относятся существенно сниженное потребление памяти, высокая скорость инференса, совместимость с обычным vLLM без калибровочных данных и сохранение возможностей speculative decoding, дающего прирост до 101% с DSpark drafter. Ограничения связаны с потерями точности относительно BF16, особенностями поддержки аппаратных платформ и тем, что приведённые результаты получены на конкретном наборе из 1370 заданий и не гарантируют аналогичную производительность в других сценариях. Языки, максимальный контекст и точная архитектура в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwopus-GLM-18B-Merged-GGUF — экспериментальная модель, разработанная KyleHessling1 на основе двух дообученных моделей Jackrong: Qwopus3.5-9B-v3.5 и Qwen3.5-9B-GLM5.1-Distill-v1. Это 64-слойное объединение моделей Qwen3.5, дополнительно обработанное 1000-шаговым QLoRA-дообучением для устранения проблем на границе объединения слоёв. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, структурированного вывода, вызова инструментов и агентских сценариев. Модель содержит около 18 млрд параметров; доступная версия распространяется в формате GGUF с квантизацией Q4_K_M и размером около 9,2 ГБ. Заявлена поддержка английского, китайского, корейского, японского, французского, немецкого и испанского языков. По данным автора, модель показывает сильные результаты в рассуждениях, вызове инструментов, многошаговых агентских задачах и структурированном выводе, а также способна работать примерно на 12 ГБ видеопамяти, включая потребительские GPU. В тестовом наборе она набрала 40 из 44 заданий, однако программирование остаётся неидеальным: некоторые случаи форматирования и генерации кода всё ещё завершаются ошибками. Модель следует считать экспериментальной: несмотря на улучшение качества после QLoRA-дообучения, у неё могут сохраняться артефакты объединения и другие непредсказуемые особенности. Лицензия — Apache-2.0.

jondurbin/spicyboros-70b-2.2 — экспериментальная инструкционная языковая модель на архитектуре Llama, созданная Jondurbin на основе преимущественно синтетических данных Airoboros 2.2. Модель содержит 68,7 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 4096 токенов. Карточка описывает формат диалога с ролями USER и ASSISTANT и примерами для ответов по предоставленному контексту, написания текстов, программирования и генерации JSON или YAML для вызова функций. Модель рассчитана на широкий круг инструкционных задач и особенно ориентирована на пары «инструкция — ответ», а не на непринуждённый чат. В обучении использовались синтетические данные, включая примеры с ослабленными ограничениями на ответы. Разработчик предупреждает, что модель может выдавать ненормативную лексику и чувствительный или откровенный контент, а также рекомендует останавливать генерацию при появлении новой реплики USER. Лицензия указана как Llama 2; применение должно соответствовать её условиям.

Jiunsong/SuperDeepseek-V4-Flash-abliterated-MQ-2xDGX — производная от DeepSeek-V4-Flash-0731 модель для генерации текста, рассуждений, программирования, работы с длинным контекстом и вызова инструментов. Она создана на базе официального чекпойнта DeepSeek и распространяется как самостоятельно загружаемый дообученный чекпойнт без LoRA-адаптера или адаптера времени выполнения. Заявленная архитектура — MoE класса 304B: 43 основных слоя и 3 MTP-слоя, 256 маршрутизируемых экспертов с выбором top-6. Поддерживаются английский и корейский языки, а заявленный контекст составляет 1 048 576 токенов; README сообщает об успешном извлечении данных из запроса длиной 1 028 621 токенов. Модель использует смешанную точность: FP4 для весов экспертов, FP8 E4M3 для блочно-квантизированных путей и отдельных обновлений, BF16 для чувствительных к качеству компонентов, а также NVFP4 для KV-кэша при измерениях. Ключевые преимущества — значительно меньше отказов в тестовом режиме, сохранённые показатели вызова инструментов, проверенная работа с контекстом около миллиона токенов и высокая совокупная скорость декодирования на двух узлах DGX Spark. Ограничения — модель ориентирована на специализированную конфигурацию ускорителей, имеет крупный размер около 169,5 ГБ, использует квантизацию и не предназначена для оценки как полноразмерный BF16-чекпойнт; приведённые показатели производительности относятся к конкурентной генерации, а не к одному потоку. Лицензия — MIT.

airoboros-34b-3.3 — экспериментальная разговорная модель, разработанная Jon Durbin как дообучение 01-ai/yi-34b-200k. Это плотная языковая модель семейства Llama с архитектурой LlamaForCausalLM и 33,9 млрд параметров; она принимает текст и генерирует текст. Модель настроена на формат диалога Llama 2 и предназначена для многошаговых бесед, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода, инструкций и структурированных аргументов для вызова функций. Обучение опирается главным образом на синтетические данные Airoboros 3.2, а также на сторонние наборы для диалогов, рассуждений, кода, суммаризации и ролевых сценариев. Хотя базовая Yi поддерживает контекст до 200 000 токенов, эту версию дообучали с длиной контекста 8 000 токенов, поэтому качество на более длинном вводе может быть ненадёжным. Автор отмечает склонность к выдумыванию ответов и рекомендует низкую температуру и явные инструкции для задач по контексту. Лицензия указана как other; конкретные условия в предоставленных данных не описаны.

Calcium-Opus-14B-Elite2 — языковая модель на архитектуре Qwen2.5, разработанная prithivMLmods и дообученная на базе Qwen/Qwen2.5-14B-Instruct. Модель содержит 14 млрд параметров, принимает текст и предназначена для диалогов, генерации ответов и решения задач, требующих рассуждений в несколько шагов. Метаданные указывают контекст до 131 072 токенов; README также заявляет генерацию ответов длиной до 8 тысяч токенов. Модель ориентирована на следование инструкциям, математические задачи, программирование, анализ таблиц и создание структурированных ответов, в том числе JSON. Карточка заявляет поддержку более 29 языков, включая русский и английский; качество может различаться между языками. Модель не имеет доступа к актуальным событиям, а длинные ответы могут содержать ошибки или терять связность. Для запуска требуются значительные вычислительные ресурсы, особенно при работе с длинным контекстом. Распространяется по лицензии Apache-2.0.

dolphin-2.9.1-mixtral-1x22b-IMat-GGUF — это квантизированная версия текстовой генеративной модели dolphin-2.9.1-mixtral-1x22b, разработанной cognitivecomputations и подготовленной в формате GGUF пользователем legraphista. Модель предназначена для локального запуска и задач генерации текста, включая диалоговое взаимодействие, следование инструкциям, программирование, математические задачи, function calling и агентские сценарии, на которые указывают использованные при обучении наборы данных. Заявленный язык — английский. Модель основана на архитектуре Mixtral и имеет обозначение 1x22b; точные характеристики архитектуры и размер контекстного окна в README не указаны. Доступны варианты от BF16 и FP16 до Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 с размером файлов примерно от 8,27 до 44,48 ГБ. Для ряда вариантов применена IMatrix-квантизация, предназначенная для более эффективного уменьшения размера при сохранении качества. Это позволяет выбирать баланс между требованиями к памяти и качеством вывода, однако квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно у компактных вариантов. Для запуска используются совместимые инструменты экосистемы llama.cpp. Модель распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, данных о поддерживаемых языках помимо английского, точного контекстного окна или подробных сведений о системных требованиях, поэтому эти характеристики нельзя надежно оценить.

Edmon02/gemma-4-12B-it-GGUF — это общественное GGUF-зеркало инструкционно дообученной мультимодальной модели Gemma 4 12B IT от Google DeepMind, основанное на google/gemma-4-12B-it. Репозиторий поддерживается Edmon02 и содержит наборы квантованных весов, синхронизированные из bartowski/gemma-4-12B-it-GGUF, для локального запуска на пользовательском оборудовании. Модель предназначена для генерации текста, создания локальных агентов, программирования, а также мультимодальных сценариев с анализом изображений и аудио. Она имеет около 12 млрд плотных параметров, поддерживает текст, vision и audio, использует encoder-free архитектуру без отдельных визуального и аудиокодировщиков. Для обработки изображений в llama.cpp требуется дополнительный файл mmproj-*.gguf. Точное значение контекстного окна в README не указано. Заявлена поддержка английского языка; отдельно упоминаются сценарии исследований на армянском и английском, но полноценный перечень языков не приведён. К сильным сторонам относятся широкий выбор квантований, возможность запуска на устройствах с примерно 8–24 ГБ видеопамяти и интеграция с llama.cpp, LiteRT-LM, LM Studio, Ollama и MLX. Рекомендуемый вариант Q4_K_M рассчитан примерно на 16 ГБ памяти. Ограничения включают необходимость проверять качество общественных квантований относительно официальной версии BF16, возможную потребность в самых свежих сборках llama.cpp или LM Studio для аудио, а также требование принять лицензию и получить доступ к исходному gated-репозиторию Google. Указана лицензия Apache 2.0.

TeichAI Gemma 4 31B it Claude Opus Distill — мультимодальная модель диалогового семейства Gemma 4, созданная дообучением unsloth/gemma-4-31B-it с помощью Unsloth на наборах траекторий рассуждений Claude Opus и Sonnet. Она предназначена для диалогов и задач, требующих многошагового анализа: генерации и отладки кода, научных рассуждений, синтеза исследовательских материалов и выполнения инструкций. Архитектура — плотная Gemma4ForConditionalGeneration; модель работает с текстом и изображениями, поддерживает режим рассуждений и использует формат safetensors. В метаданных основная задача указана как image-text-to-text. README описывает вариант с высоким уровнем усилий рассуждения и рекомендует более новую версию v2, отмечая улучшения качества данных и шаблона чата в v2. Модель рассчитана на применение с Transformers и поддерживает переменное разрешение изображений. Карточка не сообщает размер контекстного окна и перечень поддерживаемых естественных языков, поэтому эти характеристики здесь не уточняются. Лицензия — Apache-2.0. Качество и стабильность текущей версии могут уступать v2; заявленные возможности в коде, науке и исследованиях в README не сопровождаются приведёнными здесь количественными результатами оценки.