II.11Кибербезопасность и приватность

TeichAI разработала эту диалоговую MoE-модель на основе Qwen3-30B-A3B-Thinking-2507, дообучив её на наборе примеров рассуждений Claude Sonnet 4.5 с высоким уровнем reasoning. Модель предназначена для генерации текста, сложных рассуждений, программирования и научных задач; поддерживает интерфейс вызова инструментов. В метаданных указан размер 2,6 млрд параметров и контекст до 262 144 токенов. Модель принимает текст и выдаёт текст. Карточка указывает английский язык; отдельные сведения о других поддерживаемых языках не приведены. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Дообучение на синтетических примерах рассуждений может влиять на стиль и точность ответов; карточка не приводит независимых оценок качества. Применимость к задачам за пределами программирования и науки отдельно не описана.

Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled — модель, разработанная Jackrong на базе Qwen/Qwen3.5-27B. Она дообучена методом SFT с применением LoRA на наборах данных с примерами рассуждений, включая материалы, заявленные как дистиллированные из взаимодействий с Claude-4.6 Opus. Модель ориентирована на задачи, требующие пошагового анализа, планирования, программирования и работы в средах coding agents, включая Claude Code и OpenCode. Модель относится к плотной архитектуре размером 27B параметров. В карточке указаны поддержка английского и китайского языков, а также совместимость с Transformers, llama.cpp и форматом GGUF. Метаданные описывают её как image-text-to-text и мультимодальную, однако в описании итоговая версия явно названа text-only, поэтому возможности обработки изображений следует считать не подтверждёнными. Заявлена поддержка роли developer в шаблоне диалога и сохранённого thinking mode с выводом рассуждений в тегах <think>. К сильным сторонам относятся структурированное рассуждение, улучшенная автономность и стабильность при работе инструментального агента, а также снижение избыточных повторов в рассуждениях на простых запросах. Согласно карточке, модель способна продолжать автономную работу более девяти минут без вмешательства пользователя, но приведённые результаты основаны на общественных тестах, а не на независимой систематической оценке. Размер 27B может предъявлять существенные требования к памяти и вычислительным ресурсам, особенно без квантования. Модель распространяется по лицензии Apache-2.0.

jondurbin/airoboros-65b-gpt4-1.3 — плотная языковая модель семейства LLaMA с 65 млрд параметров, дообученная автором методом QLoRA на синтетических инструкциях, созданных GPT-4. Она предназначена для диалогов с ассистентом, выполнения инструкций, генерации кода и ответов с рассуждением перед итоговым ответом. Для общения используется шаблон Vicuna с ролями USER и ASSISTANT; модель принимает текст и генерирует текст. Указанная длина контекста — 2048 токенов. README предупреждает о проблемах в этой версии и рекомендует использовать её с осторожностью или дождаться версии 1.4. Модель распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.

jondurbin выпустил инструкционно дообученную модель Airoboros на базе Llama 2 с 13 млрд параметров. Она обучена на синтетических инструкциях Airoboros, созданных GPT-4: серия 2.0 использует данные версии GPT-4 от июня 2023 года, а вариант m2.0 дополнительно объединяет датасет 1.4.1 без дубликатов и категории system, включая данные GPT-4 от марта 2023 года. Модель предназначена для генерации ответов на инструкции, вопросов по заданному контексту, помощи с программированием и построения аргументов функций в JSON или YAML. Для диалога применяется формат с маркерами USER и ASSISTANT и заданным системным префиксом; заявленная длина контекста — 4096 токенов. Архитектура — плотная LlamaForCausalLM, веса доступны в формате PyTorch. README описывает модель как uncensored и указывает, что она настроена отвечать без отказов; поэтому ответы могут включать небезопасное или сомнительное содержание. Автор отмечает, что результаты вариантов 2.0 и m2.0 следует сравнивать на практике. Лицензия указана как other; README характеризует лицензию 7B/13B как неоднозначную, поэтому условия использования следует уточнить в карточке модели.

Карточка модели squ0sh/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Карточка модели thoddnn/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-Distill-Qwen-7B-GGUF — это квантизированная в формате GGUF версия модели DeepSeek-R1-Distill-Qwen-7B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp, релиз b4514. Модель предназначена для генерации текста, прежде всего для задач рассуждения и сценариев, где требуется пошаговый анализ. Модель поддерживает контекст длиной до 128 тысяч токенов и ориентирована на использование дистиллированных возможностей reasoning-модели DeepSeek-R1. Формат GGUF и совместимость с llama.cpp упрощают локальный запуск, однако квантизация может влиять на качество и точность по сравнению с исходной моделью. Языки и точный вариант квантизации в README не указаны. Как и другие генеративные модели, она может выдавать неточные, вредные или вводящие в заблуждение ответы. Лицензия в предоставленных данных не указана.

Карточка модели ByteResearch/Llama-3-8B-Instruct на Hugging Face совпадает с карточкой kuotient/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.

coder3101/Muse-Glimmer-30B-heretic-v2 — производная версия Muse Glimmer-30B от Meta Superintelligence Lab, изменённая методом abliteration для снижения частоты отказов. Это плотная причинная трансформерная модель с энкодером восприятия, примерно на 29,6 млрд параметров; она принимает текст и изображения и предназначена для диалогов, мультимодального анализа и агентных сценариев. Модель рассчитана на локальный запуск и поддерживает вызов инструментов, многошаговое планирование и восстановление после ошибок. Её можно применять для анализа скриншотов, диаграмм и документов, программирования, вызова функций и оценки ответов других моделей. В сравнении с исходной моделью в карточке указано 14 отказов из 100 против 58 из 100; это отражает снижение отказов, но не гарантирует точность или безопасность ответов. Карточка отдельно предупреждает о возможных ошибках в рассуждениях, смещённых или нежелательных ответах и ухудшении качества на недостаточно проверенных языках. Аудио не поддерживается, видео специально не оптимизировано. Лицензия — Apache 2.0.

Карточка модели OpenYourMind/OpenYourMind-NVIDIA-Nemotron-3-Ultra-550B-A55B-abliterated-uncensored на Hugging Face совпадает с карточкой Laerins/OpenYourMind-NVIDIA-Nemotron-3-Ultra-550B-A55B-abliterated-uncensored, поэтому описание составлено по ней. OpenYourMind создала эту полноразмерную BF16-версию NVIDIA Nemotron-3-Ultra-550B-A55B с ослабленными отказами на типовых категориях запросов. По описанию автора, изменение выполнено офлайн-проекцией направления отказа на веса без дополнительного обучения и без изменения структуры базовой модели. Модель содержит 550 млрд параметров, из которых активно 55 млрд, и использует гибридную архитектуру Mamba-2, Attention и Latent-MoE; сохранены режим рассуждений enable_thinking и голова MTP для спекулятивного декодирования. Модель предназначена для диалоговой генерации текста, сложных рассуждений и технических или защитных запросов, на которые исходная модель могла отказывать. Контекст составляет 262 144 токена. Веса BF16 занимают около 1,1 ТБ и требуют мног GPU-развёртывания; автор указывает vLLM как вариант запуска. README заявляет сохранение связности, точности и многоязычной беглости, однако не приводит независимых оценок этих свойств. Лицензия — OpenMDW-1.1, унаследованная от базовой модели.

Phi-3-Mini-128K-Instruct — компактная языковая модель Microsoft из семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и примерно 3,7 млрд параметров. Она обучена на синтетических и отфильтрованных общедоступных данных, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и многоходового диалога. Лицензия — MIT. Модель предназначена для генерации текста на английском языке, диалога, рассуждений, математики и программирования, в том числе в условиях ограниченных вычислительных ресурсов и требований к низкой задержке. README описывает вариант с контекстом до 128 тысяч токенов и улучшения в понимании длинного контекста; однако метаданные указывают native context в 4096 токенов, поэтому заявленную длину 128K следует сверять с используемой конфигурацией и реализацией. Модель ориентирована прежде всего на английский язык и выдаёт текст. Она может ошибаться, а качество и безопасность для конкретных сценариев необходимо оценивать отдельно; карточка не рекомендует полагаться на неё без проверки в высокорисковых применениях.

Qwen3.5-4B-KIMI-Distill — мультимодальная модель с 4 млрд параметров, созданная clzoro дообучением Qwen3.5-4B на трассах рассуждений, дистиллированных из KIMI-K2.5. Она сочетает языковую модель с энкодером изображений и сохраняет возможности понимания изображений исходной модели. В карточке Hugging Face указаны архитектура Qwen3.5, поддержка диалога и изображений, а также лицензия Apache-2.0. Модель предназначена для задач рассуждения, прежде всего генерации и анализа кода, решения математических задач и ответов на вопросы по естественным наукам; также может работать с изображениями. Данные дообучения включают 554 381 пример и около 2 млрд токенов рассуждений; основная доля примеров посвящена программированию. Карточка заявляет поддержку английского и китайского языков. Модель может ошибаться в ходе рассуждений и в выводах, а на творческих и открытых диалоговых задачах может работать хуже. Её знания ограничены обучающими данными; ответы в медицинской, юридической и финансовой тематиках требуют проверки.

Qwen3.8-Flash-Next-MLX-6bit — это квантованная 6-битная сборка модели Qwen3.8-Flash-Next, преобразованная в формат MLX разработчиком PipeNetwork для запуска на Apple Silicon. Модель предназначена для генерации текста, включая программирование и другие задачи, выполняемые через text-generation pipeline. Для использования требуется runtime MLX с поддержкой удалённого кода; в репозитории поставляется собственная реализация runtime, поскольку необходимая архитектура ещё не включена в выпущенные версии mlx-lm. Исходная модель имеет 125 млрд параметров, из которых около 6 млрд активируются на токен, и использует гибридную архитектуру Gated-DeltaNet и sparse attention с разреженной Mixture-of-Experts. В составе также находится 51,2 млрд параметров хешированных n-граммовых embedding-таблиц. Размер квантованной сборки составляет 148 ГБ против 360 ГБ у исходной версии bfloat16. Основные веса квантованы в 6 бит, отдельные компоненты, включая маршрутизатор MoE и некоторые управляющие параметры, сохранены в bfloat16. Vision tower присутствует в поставке, но данный runtime работает только с текстом; 4-миллиардная multi-token-prediction head не включена. Сильной стороной сборки является существенное сокращение размера при качестве, близком к bfloat16: на тесте wikitext-2 perplexity составила 4,4767 против 4,4708 у bfloat16, причём различие статистически незначимо в указанном эксперименте. Ограничения — очень большие требования к дисковому пространству и памяти, зависимость от Apple Silicon и собственного runtime с параметром trust_remote_code, а также отсутствие поддержки vision-возможностей в текущем режиме. Модель распространяется по Qwen Community License 1.0.

Это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B, разработанной Qwen и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Для взаимодействия используется формат промптов ChatML с ролями system, user и assistant. Модель имеет архитектуру и исходный размер Qwen3-30B-A3B; точные сведения о модальностях, языках и размере контекста в README не указаны. Доступны варианты от BF16 до различных уровней квантизации GGUF, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и более компактные форматы. Квантизация выполнена с использованием imatrix и llama.cpp b5200. Старшие варианты сохраняют высокое качество, а компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Основные ограничения связаны с компромиссом между размером файла, требованиями к памяти и качеством генерации: низкобитные варианты имеют более низкое качество и некоторые из них не рекомендуются. Для запуска требуется совместимое программное обеспечение и аппаратные ресурсы, соответствующие выбранному файлу; размер вариантов составляет примерно от 11 до 61 ГБ. Модель распространяется по лицензии Apache-2.0.

Rombos-LLM-V2.5-Qwen-7b — диалоговая языковая модель на архитектуре Qwen2 с 7,1 млрд параметров, созданная Rombodawg на основе Qwen2.5-7B-Instruct. В README автор описывает непрерывное дообучение и слияние инструктивной и базовой моделей методом TIES; в метаданных базовой моделью указана Qwen/Qwen2.5-7B-Instruct, а формат весов — safetensors. Модель предназначена для диалогов и генерации текста, включая структурированные ответы и код. Метаданные указывают контекст до 131 072 токенов и интерфейс для вызова инструментов. README заявляет о повышении производительности относительно исходных instruct- и base-моделей, но не приводит результатов бенчмарков. Модель распространяется по лицензии Apache-2.0.

enfuse/smol-tools-4b-32k — языковая модель для агентских сценариев и вызова инструментов, разработанная enfuse на базе Jackrong/Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled. Модель дообучена методом LoRA на 8 059 примерах, включая многошаговые диалоги с использованием инструментов длиной до 32K токенов. Она предназначена для выбора одного или нескольких инструментов, формирования структурированных вызовов функций, работы с результатами инструментов в многоходовых диалогах, анализа длинных документов и выполнения сложных агентских рабочих процессов. Архитектура — Qwen3_5ForCausalLM с 4 млрд параметров, 32 слоями и гибридным вниманием: 24 слоя используют линейное внимание, 8 — полное. Модель текстовая, поддерживает английский язык и контекст до 32 768 токенов. Доступны BF16 safetensors размером 9,7 ГБ, а также варианты GGUF Q8_0 на 4,9 ГБ и Q4_K_M на 2,9 ГБ. Заявлены 100% валидность JSON, 100% корректность аргументов и 100% точность отказа от инструментов, а F1 выбора инструментов составляет 0,940 на отложенной выборке из 200 примеров. Сильные стороны модели — длинный контекст, высокая надежность структурированного вывода, поддержка последовательных и параллельных вызовов инструментов и сохранение точности в многоходовых сценариях. Ограничение — некоторое снижение F1 выбора инструментов по сравнению с 4K-версией: 0,940 против 0,955; в сложных многошаговых рабочих процессах показатель составляет 0,818, а в сценариях с интенсивным рассуждением — 0,914. Модель распространяется по лицензии Apache-2.0.

ukisai_Swift-Qwen3.8-27b-GGUF — это квантизированная версия модели Swift-Qwen3.8-27b, разработанной ukisai и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для задач генерации текста, рассуждений и эффективного по токенам решения задач. В README также заявлена поддержка обработки изображений вместе с текстом при использовании файла mmproj, поэтому модель может применяться в мультимодальных сценариях image-text-to-text. Модель поддерживает speculative decoding через MTP и использует imatrix-квантизацию. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ3, а также популярные Q4 и Q5; размер файлов варьируется примерно от 12,8 до 54,66 ГБ. В качестве универсального компромисса между качеством и размером рекомендуется вариант Q4_K_M объёмом 17,44 ГБ, тогда как Q6 и Q8 ориентированы на максимально высокое качество. Сведения о поддерживаемых языках и размере контекста в README не указаны. Сильными сторонами модели являются крупный размер, поддержка рассуждений, мультимодальный ввод, speculative decoding и широкий выбор уровней квантизации для различного объёма памяти. Ограничения включают значительные требования к дисковому пространству и памяти, возможное снижение качества в компактных вариантах, необходимость совместимого runtime llama.cpp, а для работы с изображениями — отдельного mmproj-файла. Модель распространяется по лицензии Swift Open License 1.0; в метаданных также указано, что доступ к ней является gated.

Zrald/Zrald-qwen3.8-27b-v2 — выпуск GGUF модели Qwen3.8-27B от Zrald, предназначенный для локального запуска через llama.cpp. Это плотная модель с 27,2 млрд параметров; в репозитории представлены три варианта с разным соотношением размера и точности: accuracy, balance и compressed. README сообщает о сравнительных испытаниях на AMD Instinct MI300X и CPU, однако эти результаты относятся к оценке автора и не гарантируют аналогичное качество на других задачах и системах. Модель рассчитана на генерацию текста в диалогах, программирование, анализ документов, ответы на вопросы и многошаговые рассуждения. README описывает локальное обслуживание через OpenAI-совместимый API и приводит рекомендации по памяти и видеопамяти. В метаданных базовая модель указана как Qwen/Qwen3.8-27B, а формат файлов — GGUF; лицензия — Apache-2.0. Карточка не сообщает длину контекста или языковой охват, поэтому эти характеристики здесь не уточняются.

Dolphin-2.7-mixtral-8x7b-GGUF — квантизированная версия языковой модели Dolphin 2.7 Mixtral 8X7B, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mixtral и предназначена для диалоговых сценариев и генерации текста; README также указывает на использование обучающих наборов для инструкционного следования, программирования и универсальных задач. Заявлен английский язык. Модель поддерживает шаблон запросов ChatML и контекст длиной 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0 размером примерно от 15,6 до 49,6 ГБ. Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые варианты с балансом между размером и качеством, тогда как более низкие уровни квантизации могут приводить к существенной потере качества. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. README не содержит данных о мультимодальности или поддержке других языков. Лицензия модели — Apache-2.0.

google/gemma-2b-AWQ — AWQ-квантизированная версия базовой модели Gemma-2B, разработанной Google. Это компактная decoder-only большая языковая модель с открытыми весами, обученная на основе технологий, использованных при создании Gemini. Модель работает с текстом и ориентирована преимущественно на английский язык. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений, работы с программным кодом и математическими запросами. Она принимает текстовые строки, включая вопросы, инструкции и документы, а возвращает сгенерированный английский текст. Небольшой размер делает её подходящей для запуска на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре с ограниченными ресурсами; также предусмотрено последующее дообучение. При обучении использовалось около 6 триллионов токенов из веб-документов, кода и математических материалов с применением фильтрации вредоносного и чувствительного контента. README не указывает размер контекстного окна и конкретные характеристики архитектуры помимо класса decoder-only. Это базовая, а не instruction-tuned версия, поэтому для диалоговых сценариев и точного следования инструкциям могут потребоваться дополнительное дообучение или специальное форматирование запросов. Квантизация AWQ снижает требования к ресурсам, но её влияние на качество зависит от задачи и среды запуска. Использование регулируется лицензией Google Gemma Terms of Use; для доступа на Hugging Face требуется принять условия лицензии. Лицензия указана как gemma-terms-of-use.

Myric/GLM-4.7-Flash-APEX-GGUF — это GGUF-квантизованная версия GLM-4.7-Flash от zai-org, подготовленная в репозитории Myric для запуска через llama.cpp. Модель предназначена прежде всего для генерации текста, агентного программирования и сценариев, где важны локальный запуск и поддержка спекулятивного декодирования. Доступны варианты APEX-i-quality размером 16,60 ГБ, APEX-i-compact размером 13,27 ГБ и APEX-i-mini размером 10,24 ГБ; все они сохраняют MTP draft head. Модель использует MoE-архитектуру с 31,2 млрд общих параметров и примерно 3,6 млрд активных на токен: 64 маршрутизируемых эксперта с выбором top-4 и один общий эксперт. Архитектура основана на DeepSeek и использует MLA-внимание, 47 основных слоёв плюс один MTP-слой, а также контекст до 202 752 токенов. Квантизация выполнена из bf16-чекпойнта с использованием imatrix и смешанной точности: наиболее важные компоненты сохраняются на уровне около 6,4–6,9 бит на вес, а основная компрессия приходится на маршрутизируемые эксперты. В агентном бенчмарке программирования варианты i-quality и i-compact набрали по 53 из 59 тестов, тогда как i-mini — 38 из 59; это показывает, что младшая версия заметно слабее на длинных композиционных задачах. i-quality обеспечивает лучший баланс качества и размера, а i-compact почти не уступает ему на измеренном сценарии. Для загрузки требуется llama.cpp версии b10251 или новее с поддержкой GLM-4.7-Flash MTP; старые версии могут не распознать число тензоров. Лицензия модели — MIT.

GRM-3.2-Sky-ONYX-GGUF — это квантованная GGUF-версия модели OrionLLM/GRM-3.2-Sky, подготовленная разработчиком el4. Модель предназначена для текстовой генерации, рассуждений, программирования и агентских сценариев с использованием llama.cpp или Ollama. В README она описывается как MoE-модель примерно на 35 млрд параметров, ориентированная на запуск на потребительском GPU; размер варианта ONYX-mini составляет около 11 ГБ. Ключевая особенность ONYX — адаптивное квантование с динамическим выявлением чувствительных слоёв и использованием Router-Weighted Imatrix, учитывающего вероятности маршрутизации экспертов MoE. Подход должен помогать сохранять качество наиболее важных экспертов и слоёв при сильном уменьшении размера модели. Заявлены возможности генерации кода, многошагового рассуждения и работы с несколькими языками, включая японский, испанский и египетский арабский, однако точный набор поддерживаемых языков и размер контекста в README не указаны. В качестве сильных сторон заявляются компактность, пригодность для локального запуска и сохранение качества в задачах программирования, отладки и многоязычного переключения. При этом приведённые результаты основаны на демонстрационном стресс-тесте, поэтому они не заменяют независимое сравнение с исходной моделью. Степень потери качества из-за квантования, требования к памяти и производительность могут зависеть от конкретного варианта ONYX и оборудования. Лицензия в представленном README не указана.

Hermes-2-Pro-Mistral-7B-GGUF — это GGUF-квантизации языковой модели Hermes-2-Pro-Mistral-7B, разработанной NousResearch на базе Mistral-7B-v0.1. Квантизации подготовлены bartowski с использованием llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи инструкционного общения, чат-сценарии, генерацию структурированного JSON и вызов функций. Модель представляет собой текстовую instruct-модель примерно на 7 млрд параметров, обученную с применением DPO и RLHF на данных, связанных с OpenHermes-2.5, включая синтетические данные и дистилляцию от GPT-4. Она ориентирована на английский язык и использует формат взаимодействия ChatML. Сведения о поддерживаемой длине контекста в README не указаны. Основное преимущество представленной версии — возможность локального запуска с различными уровнями квантизации. Вариант Q6_K отмечен как рекомендуемый и обеспечивает высокое качество при размере около 5,94 ГБ; более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству, особенно Q2_K и Q3_K. К ограничениям относятся ориентация на английский язык, текстовая модальность и возможные потери качества при агрессивной квантизации. Указанная лицензия — Apache-2.0.

Hermes 3 Llama 3.2 3B — это языковая модель Nous Research, дообученная на полной совокупности параметров базовой Meta Llama 3.2 3B. Она предназначена для диалогов общего назначения и следования инструкциям; карточка отмечает улучшения в многоходовом общении, рассуждении, ролевых сценариях, связности на длинном контексте, генерации кода, вызове функций и структурированном выводе. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель использует формат диалога ChatML и шаблон чата Transformers. Её можно применять для создания разговорных помощников, генерации кода и ответов в заданной JSON-схеме. Вызовы функций модель формирует как текст, который приложение должно разобрать и передать инструменту; сама по себе она не выполняет внешние вызовы. В метаданных указан английский язык. Лицензия — Llama 3 Community License (llama3).

Ling-flash-2.0 — языковая MoE-модель семейства Ling 2.0, разработанная inclusionAI и предназначенная для диалогового использования через генерацию текста. По README, модель обучена на более чем 20 трлн токенов с последующей supervised fine-tuning и многоэтапным reinforcement learning; метаданные указывают 5,5 млрд параметров, архитектуру BailingMoeV2ForCausalLM и базовую модель inclusionAI/Ling-flash-base-2.0. README приводит другие значения: 100 млрд общих и 6,1 млрд активированных параметров, поэтому размер в источниках расходится. Модель ориентирована на сложные рассуждения, генерацию кода, разработку интерфейсов и творческие задачи. README сообщает о контексте 32K с расширением до 128K посредством YaRN; метаданные фиксируют нативный контекст 32 768 токенов. Заявлены высокая эффективность вывода и результаты на бенчмарках по математике, знаниям, коду, финансам и здравоохранению; отдельное назначение для этих отраслей не заявлено. Метаданные отмечают интерфейс вызова инструментов. Модель доступна под лицензией MIT.

Meta Llama 3 70B — большая авторегрессионная языковая модель Meta на 69,5 млрд параметров с плотной архитектурой Transformer и Grouped-Query Attention. Репозиторий содержит веса в формате safetensors; модель принимает текст и генерирует текст и код. Контекст модели составляет 8192 токена. Карточка описывает семейство Llama 3, включающее предварительно обученные и дообученные для следования инструкциям варианты; README указывает, что варианты с инструкционным дообучением используют SFT и RLHF, однако не уточняет вариант этого репозитория. Модель предназначена для генерации текста и кода, а диалоговые сценарии особенно подходят инструкционным вариантам. В README заявлено целевое использование на английском языке; применение на других языках выходит за рамки рекомендаций, хотя дообучение для других языков допускается условиями лицензии и политики использования. Модель статична и обучена на офлайн-данных. Для использования требуется соблюдать пользовательскую лицензию Meta Llama 3 и Acceptable Use Policy; лицензия обозначена в метаданных как нестандартная, а README сообщает о доступности коммерческой лицензии.

Карточка модели Undi95/Meta-Llama-3-8B-Instruct-hf на Hugging Face совпадает с карточкой kuotient/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.

sapidlabs подготовила разреженную MoE-версию языковой модели NVIDIA Nemotron-3-Nano-30B-A3B: методом REAP удалена половина маршрутизируемых экспертов, по 64 из 128 в каждом MoE-слое. Это сокращает объём модели примерно с 59 до 32 ГБ; число активируемых экспертов на токен осталось равным шести, поэтому основной выигрыш — в размере и потреблении памяти, а не в скорости генерации. Модель использует архитектуру Nemotron-H с классом NemotronHForCausalLM, поддерживает чат и имеет контекст до 262 144 токенов. Модель предназначена для генерации текста, диалогов, задач программирования и рассуждений. Прунинг выполнен без повторного обучения с калибровкой на 256 примерах из набора evol-codealpaca-v1, поэтому лучше всего подтверждены сценарии, близкие к коду и рассуждениям. Формальные бенчмарки не проводились; возможна потеря качества относительно исходной модели, особенно за пределами калибровочных данных. Для запуска доступны веса safetensors через Transformers; для ускоренного пути Mamba требуются mamba-ssm и causal-conv1d. Лицензия указана как other; дополнительных условий README не приводит.

Ornith-1.5-35B-A3B-Abliterated-ROCmFP4-GGUF — это квантизированная GGUF-версия аблитерированной языковой модели Ornith-1.5-35B-A3B. Базовую модель разработала ornith-ai, аблитерацию выполнила huihui-ai, а BF16 GGUF-исходник предоставила PocketAiHub. Автор данного репозитория добавил варианты квантизации ROCmFP4/ROCmFPX, сборку с поддержкой HIP/ROCm и Vulkan, а также тесты производительности. Модель распространяется по лицензии Apache-2.0. Модель предназначена для генерации текста, включая диалоги, программный код, рассуждения, выдачу JSON, агентские сценарии и работу с инструментами. Это MoE-модель с заявленным общим размером 35B параметров и активной частью около 3B параметров. Доступны варианты квантизации от 4 до 8 бит; размеры файлов составляют примерно от 17,4 до 33,9 ГиБ. В репозитории также указан отдельный vision tower в формате F16 GGUF, позволяющий подавать изображения через параметр mmproj. Языки модели в README не указаны. В приведённых конфигурациях использовался контекст 32768 токенов, однако максимальный размер контекста явно не заявлен. Основное преимущество модели — оптимизация для AMD Ryzen AI Max+ 395 и Radeon 8060S с архитектурой gfx1151: один файл можно запускать через HIP/ROCm или Vulkan, выбирая backend во время запуска. Vulkan показывает более высокую скорость генерации, а ROCm — более высокую скорость обработки длинных входных запросов; 4-битные варианты демонстрируют близкую производительность. Модель прошла заявленные тесты стабильности без усечённых генераций. Для работы требуется специальная сборка ROCmFPX с поддержкой обоих backend; стандартная сборка llama.cpp эти файлы не загружает. Приведённые показатели относятся к конкретной аппаратной конфигурации и могут отличаться на других системах.

Ornith-1.5-35B-A3B-Uncensored-GGUF — производная модель, подготовленная 0xKitkat на основе Ornith-1.5-35B-A3B, Qwen3.6-35B-A3B и аблитерированной версии Qwen3.6-35B-A3B от wangzhang/Abliterix. Модель сохраняет постобучение Ornith для программирования и агентских сценариев, встроенную систему обработки изображений, конфигурацию контекста до 262K токенов и голову multi-token prediction (MTP). Она распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, включая текстовые и визуально-текстовые задачи. Модель имеет обозначение 35B-A3B и архитектурную специализацию MoE; точная структура активных параметров в README не раскрыта. Доступны варианты BF16, Q4_K_M и Q5_K_M, а для обработки изображений требуется отдельный vision projector. В README указана проверка на 20 промптах: эвристических отказов не выявлено, а четыре из четырёх тестов возможностей были пройдены, однако это локальная дымовая проверка, а не полноценное сравнение производительности. Основная особенность — намеренное снижение отказов от ответов с помощью переноса task vector от аблитерированной модели Qwen без замены специализированного постобучения Ornith. При этом «uncensored» не означает гарантированное выполнение любого запроса, а опубликованные бенчмарки исходной Ornith не заявлены как результаты для этой производной модели. Лицензия релиза — Apache-2.0; README также указывает исходные лицензии MIT для Ornith и Apache-2.0 для Qwen.