II.11Кибербезопасность и приватность

SmallThinker-21BA3B-Instruct — языковая модель с архитектурой Mixture-of-Experts, разработанная совместно IPADS и School of AI при Shanghai Jiao Tong University и компанией Zenergize AI. Она предназначена для локального запуска на устройствах с ограниченными ресурсами, чтобы генерировать ответы без обращения к облаку. Модель содержит 21 млрд параметров, из которых активируются 3 млрд; использует 52 слоя и поддерживает контекст длиной до 16 384 токенов. Репозиторий содержит веса в формате safetensors, а карточка указывает библиотеку Transformers и возможности чата и интерфейса вызова инструментов. Модель обучена преимущественно на английском языке и подходит для диалога, ответов на вопросы, рассуждений и генерации кода. В отчёте разработчиков приведены результаты тестирования на академических и программных бенчмарках; скорость и расход памяти на CPU показаны для версии с квантованием Q4_0, тогда как в этом репозитории указаны веса safetensors. Среди ограничений — возможные фактические ошибки, предвзятость и устаревшие сведения; точность ответов необходимо проверять. Лицензия — Apache-2.0.

GigaChat3-702B-A36B-preview-GGUF — квантизированная GGUF-версия текстовой генеративной модели ai-sage/GigaChat3-702B-A36B-preview. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель относится к архитектурам MoE и предназначена для генерации и обработки текста, в частности на русском и английском языках. Её можно запускать через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В README не указаны точный объём контекста, количество параметров активной части MoE, поддерживаемые уровни квантизации, модальности кроме текста и результаты тестирования, поэтому оценить производительность и ограничения по этим параметрам нельзя. Доступна по лицензии MIT; конкретные требования к аппаратным ресурсам зависят от выбранного варианта квантизации и не приведены.

AutomatosX AX-Qwen3.8-27B-MLX-AXQ-4bit-MTP — это смешанно-точечный квантованный чекпойнт на базе Qwen/Qwen3.8-27B, предназначенный для запуска на Apple Silicon через MLX. Основная языковая часть модели квантована с применением AXQuant, а голова multi-token prediction и vision tower сохранены в формате BF16. Модель имеет 27,36 млрд логических параметров, архитектуру Qwen3_5ForConditionalGeneration и поддерживает генерацию текста, а также визуальный ввод; аудио не поддерживается. Максимальный заявленный контекст — 262 144 токена, однако практический предел зависит от объёма unified memory устройства. Модель ориентирована на локальный текстовый инференс, разработку и сценарии, где важны сниженный объём хранения и запуск на компьютерах Apple Silicon. Она совместима с MLX-LM для стандартного текстового инференса, а для использования MTP и связанных runtime-возможностей предусмотрены AX Engine, oMLX и MTPLX. Полный размер загрузки составляет около 18,20 ГБ, измеренный общий показатель — 5,2338 BPW. Заявления об ускорении MTP ограничены профилями, указанными в сертификатах, и не гарантируются для всех конфигураций; MLX-LM также может не использовать vision- и MTP-компоненты. Репозиторий содержит MLX Safetensors и не включает веса PyTorch или GGUF. Модель распространяется по лицензии Apache-2.0. Для работы требуются совместимые версии MLX-инструментов и достаточный объём памяти; качество и возможности визуального инференса зависят от выбранного runtime и его поддержки дополнительных компонентов.

Dolphin3.0-Llama3.2-3B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Dolphin3.0-Llama3.2-3B, опубликованный пользователем bartowski. Базовая модель разработана cognitivecomputations. Модель предназначена для локального запуска в llama.cpp и совместимых приложениях, включая LM Studio, а также для генерации текста, следования инструкциям, решения математических задач, программирования и сценариев с вызовом функций. Модель содержит около 3 млрд параметров и работает с текстом на английском языке. В обучении использовались датасеты для instruction tuning, программирования, математических задач, function calling, агентных сценариев и диалогов. В репозитории представлены варианты от полноточных F32 и F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ; размеры файлов варьируются примерно от 1,5 до 12,9 ГБ. Квантизации выполнены с использованием imatrix и llama.cpp. Сильными сторонами являются небольшой размер базовой модели, возможность локального запуска на ограниченных ресурсах и выбор между качеством и потреблением памяти. Более высококачественные варианты Q6 и Q5 отмечены как близкие к исходной модели, а Q4_K_M рекомендован как сбалансированный вариант. Ограничения включают небольшой размер модели, заявленную поддержку только английского языка и снижение качества на более сильной степени квантизации. Для работы рекомендуется использовать указанный chat-шаблон с маркерами ролей. Лицензия указана как llama3.2.

Gemma-4-E4B-Claude-4.6-Opus-Reasoning-Distilled — дообученная модель на базе google/gemma-4-E4B-it, разработанная пользователем arsovskidev. Она создана с использованием SFT и QLoRA в 4-битном режиме на наборе данных nohurry/Opus-4.6-Reasoning-3000x-filtered, содержащем около 2,3 тысячи отфильтрованных траекторий рассуждений, дистиллированных из Claude 4.6 Opus. Модель не связана с Anthropic и не одобрена этой компанией. Модель предназначена для текстовых задач, где важны пошаговое рассуждение и структурированный анализ: многошаговой математики, логики, декомпозиции и отладки кода, а также обработки сложных запросов. Она обучена формировать рассуждения внутри тегов <think> перед итоговым ответом. Указанная максимальная длина последовательности при обучении — 2048 токенов; язык обучения — английский. Доступны экспорты в формате GGUF с квантованием Q4_K_M и Q8_0. Сильные стороны модели — компактный размер порядка 4B параметров, ориентированность на более последовательное и обдуманное решение задач и возможность запуска через Ollama или llama.cpp. Ограничения включают небольшой объём обучающего набора, возможные галлюцинации и отсутствие обученных мультимодальных возможностей: несмотря на тег image-text-to-text и возможности базовой модели, этот вариант позиционируется как текстовый. Лицензия — Apache 2.0 с дополнительными Gemma Terms of Use.

Карточка модели Pq234/Kimi-VL-A3B-Instruct на Hugging Face совпадает с карточкой moonshotai/Kimi-VL-A3B-Instruct, поэтому описание составлено по ней. Kimi-VL-A3B-Instruct — открытая мультимодальная модель Moonshot AI для понимания изображений, видео и текста. Она объединяет языковую модель с архитектурой Mixture-of-Experts, визуальный энкодер MoonViT с обработкой изображений в исходном разрешении и MLP-проектор. Всего модель содержит 16 млрд параметров, при генерации активирует около 3 млрд; контекстное окно — 128 тыс. токенов. Модель предназначена для диалогов с визуальными данными, распознавания текста на изображениях, анализа длинных документов и видео, понимания нескольких изображений и выполнения агентных задач по скриншотам. Поддерживает ввод текста, изображений и видео и выдаёт текстовые ответы. В README приведены результаты на задачах OCR, визуального понимания и взаимодействия с агентами; для сложных рассуждений, включая математику, разработчики рекомендуют вариант Kimi-VL-A3B-Thinking. Модель распространяется по лицензии MIT. Для запуска доступны веса в формате safetensors и библиотека Transformers. README рекомендует температуру 0,2 для Instruct-варианта. Указанные результаты основаны на бенчмарках разработчиков; качество может зависеть от задачи и настроек инференса.

Meta-Llama-3-120B-Instruct-GGUF — это GGUF-квантизированная версия текстовой instruction-tuned языковой модели Meta-Llama-3-120B-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mlabonne/Meta-Llama-3-120B-Instruct, основанная на Meta-Llama-3-70B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев с применением системных и пользовательских инструкций. Доступны варианты квантизации Q2–Q8 и IQ, размером примерно от 32,60 до 129,52 ГБ. Более высокие варианты, включая Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако могут заметно уступать в качестве. Формат GGUF и совместимость с llama.cpp подходят для локального запуска, но README не содержит данных об архитектуре, поддерживаемых языках, модальностях и размере контекста. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Для работы требуется выбрать подходящий файл квантизации и использовать специальный chat-шаблон с токенами Meta Llama 3. Лицензия обозначена как other, однако её конкретные условия в README не приведены.

PrimeIntellect публикует веса Meta Llama 3 70B Instruct, разработанной Meta. Это плотная авторегрессионная языковая модель на архитектуре Transformer с 69,5 млрд параметров. Репозиторий содержит веса, разбитые на части для более эффективной загрузки в Petals; формат файлов — safetensors. Модель принимает текст и генерирует текст и код, а версия Instruct настроена для диалогов с помощью контролируемого дообучения и обучения с подкреплением по обратной связи от людей. Используйте её для чат-ассистентов и генерации текста на английском языке. Контекст модели — до 8192 токенов. Модель предназначена для коммерческого и исследовательского применения в рамках лицензии Meta Llama 3 Community License. Она оптимизирована для полезных и безопасных ответов, но требует дополнительных мер защиты в приложениях: документация отмечает остаточные риски, в том числе связанные с опасным контентом. README указывает английский как целевой язык; использование на других языках обозначено как выходящее за рамки назначения, хотя разработчики могут дообучать модель для дополнительных языков с соблюдением лицензии и политики использования.

Meta Llama 3 8B — авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия принимает текст и генерирует текст, в том числе код. Семейство Llama 3 включает предварительно обученные и дообученные для инструкций модели; карточка этой модели описывает базовый предварительно обученный чекпойнт, пригодный для адаптации к различным задачам генерации текста. Модель предназначена для коммерческого и исследовательского применения на английском языке. Её можно использовать как основу для генерации текста и кода, а после адаптации — для диалоговых сценариев. Выпущена в апреле 2024 года и распространяется по пользовательской коммерческой лицензии Meta Llama 3. Карточка не приводит для этого репозитория конкретную длину контекста; сама модель статична и обучена на офлайн-данных. Для развёртывания приложений разработчикам следует самостоятельно подбирать меры безопасности под свой сценарий.

Mistral-7B-Instruct-v0.3-quantized.w4a16 — квантизированная версия языковой модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов, генерации текста и выполнения инструкций. Она принимает текст и генерирует текст, поддерживает чатовый формат взаимодействия и рассчитана на работу через vLLM или Transformers. Модель использует архитектуру Mistral-v0.3 и содержит 7 миллиардов параметров; точная длина контекста в README не указана. Веса линейных слоёв внутри трансформерных блоков сжаты до INT4 с применением симметричной групповой квантизации и размером группы 128. Это уменьшает объём дискового хранения и требования к памяти GPU примерно на 25% по сравнению с представлением FP16. Квантизация выполнена с помощью AutoGPTQ. На OpenLLM benchmark версии 1 модель получила средний результат 65,08 против 66,42 у неквантизированной версии, что указывает на небольшое снижение качества при более экономичном размещении и запуске. Основные ограничения — ориентация на английский язык и отсутствие заявленной поддержки других языков; использование за пределами применимого законодательства не допускается. Лицензия Apache-2.0 разрешает коммерческое и исследовательское применение при соблюдении её условий. Дата выпуска — 11 июля 2024 года, версия 1.0.

ModernBERT-large — англоязычная модель Answer.AI, LightOn и их коллег, представляющая собой двунаправленный трансформерный энкодер в стиле BERT. Она содержит около 395 млн параметров и принимает последовательности длиной до 8 192 токенов. В архитектуре используются Rotary Position Embeddings, чередование локального и глобального внимания, а также оптимизации для эффективной обработки длинных входов. Модель предварительно обучена на 2 трлн токенов английского текста и кода. Её основная задача — предсказание замаскированных токенов; как энкодер она также подходит в качестве основы для классификации, поиска информации и семантического поиска по текстовым и кодовым корпусам. Для запуска доступны форматы PyTorch, Safetensors и ONNX через библиотеку Transformers. Модель особенно полезна для длинных документов и поиска по коду, но карточка Hugging Face классифицирует её как fill-mask, а не как готовую модель эмбеддингов или классификатор. Качество может быть ниже для языков помимо английского и кода; обработка всего контекстного окна может быть медленнее коротких входов, а представления могут отражать смещения обучающих данных. Лицензия — Apache-2.0.

Muse Spark 1.2 — рассуждающая модель Meta для сложных задач с агентным взаимодействием. Она принимает текст, изображения, видео, аудио и PDF-документы, а на выходе формирует текст. Заявленный контекст — до 1 млн токенов. Модель подходит для сценариев, где нужно анализировать смешанные входные данные и выполнять многошаговые задачи. В метаданных каталога её задача указана как image-text-to-text. Информация о лицензии, точном размере и ограничениях модели в доступных данных отсутствует.

Nemotron-3.5-Lightning-30B-A3B-Uncensored-xCloud-GGUF — языковая модель, разработанная xCloudinfo на основе NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16. Она предназначена для генерации текста и локального запуска через llama.cpp в сценариях разработки, исследований и технической валидации. Модель ориентирована на английский и китайский языки. Это гибридная архитектура Mamba-2, Mixture of Experts и Attention: общий объём составляет 30 млрд параметров, около 3 млрд активируются при обработке запроса. Поддерживаются Multi-Token Prediction и контекст до 1 млн токенов. Модель не переобучалась: из отдельных матриц Attention и MoE была удалена направленность, связанная с чрезмерными отказами, методом directional ablation с интенсивностью 0,8. Компоненты Mamba и MTP draft head сохранены. Доступны GGUF-квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ2_M; рекомендуемый вариант для развёртывания — Q4_K_M, размером около 24 ГБ. Сильной стороной модели являются гибридная архитектура, высокая вычислительная эффективность за счёт MoE и варианты квантизации для локального использования. Ограничение — отсутствие исходного безопасного поведения отказа: модель может напрямую отвечать на чувствительные и двояко применимые запросы, поэтому ответственность за законность и этичность использования лежит на пользователе. Для корректного reasoning требуется достаточный лимит токенов, а при работе рекомендуется явно указывать текущую дату в системном запросе. Модель распространяется по лицензии OpenMDW-1.1, унаследованной от базовой модели. Коммерческое использование разрешено; при распространении необходимо сохранять текст лицензии и уведомления об авторских правах. xCloudinfo не несёт ответственности за выводы модели и их дальнейшее использование.

OLMo-2-1124-13B-Instruct-GGUF — квантизированная версия инструкционной языковой модели OLMo-2-1124-13B-Instruct, разработанной Allen Institute for AI и подготовленной в формате GGUF автором bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Она поддерживает английский язык и использует текстовую модальность. Модель содержит 13 миллиардов параметров. В репозитории доступны исходный вариант F16 и различные уровни квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизация выполнена с помощью llama.cpp и imatrix; для запуска следует использовать шаблон промпта с ролями system, user и assistant, указанный в README. Варианты Q6 и Q5 позиционируются как высококачественные, Q4_K_M — как сбалансированный вариант для большинства сценариев, а варианты с меньшим числом бит требуют меньше памяти, но могут заметнее терять качество. Сильной стороной модели является широкий выбор GGUF-квантизаций, включая варианты, оптимизированные для отдельных ARM-конфигураций и inference на CPU. Ограничения включают поддержку только английского языка, текстовый формат работы и неизбежное снижение качества у более агрессивно квантизированных вариантов. Размер контекста и другие архитектурные характеристики в предоставленных данных не указаны. Модель распространяется под лицензией Apache 2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — многоэтапная дообученная и объединённая версия модели Qwen3.8-27B, опубликованная DavidAU. Модель создана с использованием Unsloth, методов COLD FUSION и Fable Fusion 711, а также представлена в форматах GGUF с обычными и MTP-квантами. Заявлены поддержка английского и китайского языков и лицензия Apache-2.0. В метаданных указан тип pipeline image-text-to-text, однако подробности о фактической поддержке изображений не приведены. Модель предназначена для широкого круга задач: рассуждений, решения задач, программирования, творческого письма, художественной прозы, ролевых сценариев и диалогов. Ключевая особенность — стремление сократить объём рассуждений и ускорить генерацию при сохранении подробности ответов; заявлено сокращение числа thinking-токенов примерно от двух до десяти раз по сравнению с обычной Qwen3.8. Доступны варианты для запуска на потребительском оборудовании, включая 4-битные и 8-битные квантизации. Ограничения включают отсутствие указаний на размер контекстного окна, точный набор поддерживаемых модальностей и подробные независимые результаты тестирования; приведённые сведения о превосходстве над другими моделями основаны на заявлениях автора.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — модель семейства Qwen3.8 с 27 млрд параметров, представленная в виде GGUF-квантовок. По README, это многоэтапная fine-tune-модель и результат объединения нескольких обученных версий, созданная с использованием Unsloth, методов Cold Fusion и Fable Fusion. В репозитории доступны обычные GGUF-варианты и варианты с MTP, включая 4- и 8-битные квантовки. Заявлены поддержка английского и китайского языков; максимальный размер контекста не указан. Метаданные также содержат тег image-text-to-text, однако подробности мультимодальных возможностей не приведены. Модель ориентирована на широкий спектр сценариев: решение задач и рассуждение, программирование, творческое письмо, художественную прозу, ролевые диалоги и другие универсальные задачи. Основной заявленный акцент — повышение качества при одновременном сокращении объёма внутренних thinking-токенов, что должно уменьшать задержку и расход вычислительных ресурсов. Автор README заявляет превосходство над базовой Qwen3.8-27B и рядом других моделей по семи ключевым бенчмаркам, а также высокие результаты ARC-C и ARC-E, но эти утверждения требуют независимой проверки. К сильным сторонам относятся ориентация на потребительское оборудование, наличие разных уровней квантования, поддержка MTP и заявленное сочетание подробных ответов с более быстрым выводом. Ограничения включают отсутствие в README точных сведений о контекстном окне, архитектурных деталях, системных требованиях, качестве мультимодальной обработки и воспроизводимых результатах тестов. Модель распространяется по лицензии Apache-2.0.

airoboros-13b-gpt4-1.3 — диалоговая модель jondurbin, дообученная методом QLoRA на базе LLaMA с использованием синтетических инструкций, созданных GPT-4. Это версия с 12,9 млрд параметров для генерации текста и ответов на запросы в формате чата; в обучающие данные добавлены задания на рассуждение в стиле Orca, инструкции по программированию и примеры многостороннего диалога. Модель рассчитана на текстовый ввод и выдачу текста. Для работы используется шаблон диалога на основе Vicuna; нативный контекст составляет 2048 токенов. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Автор предупреждает, что в этой версии есть проблемы и рекомендует дождаться версии 1.4. Ответы могут быть неточными; модель не следует считать надёжным источником без проверки.

Dolphin-2.6-mistral-7b-dpo-laser-GGUF — это набор квантованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser. Модель относится к семейству Mistral и предназначена для генерации текста, включая диалоговые и инструкционные сценарии. В метаданных указан размер 7B, текстовая модальность и поддержка английского языка. Обучение исходной модели связано с наборами данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara; также указано DPO дообучение в названии модели. Главная особенность этой версии — поставка в GGUF с вариантами квантования от 2 до 8 бит, что позволяет запускать модель локально с различными компромиссами между размером файлов, требованиями к памяти и качеством генерации. Формат поддерживается llama.cpp и совместимыми приложениями и библиотеками для локального запуска. К ограничениям относятся возможная потеря качества при низкобитном квантовании, отсутствие заявленных характеристик контекстного окна и подробных результатов оценки, а также отсутствие подтверждения поддержки других языков помимо английского. Модель распространяется по лицензии Apache 2.0.

coder3101/gemma-4-19b-a4b-it-REAP-heretic — разговорная модель на архитектуре Gemma 4, опубликованная автором репозитория coder3101. Это производная от 0xSero/gemma-4-19b-a4b-it-REAP: модель с разреженной экспертной архитектурой MoE, в которой после pruning осталось 90 экспертов на слой и около 4 млрд активных параметров на токен при общем размере примерно 19 млрд параметров. В README также описана abliteration, снижающая частоту отказов в приведённой автором проверке с 94 до 6 из 100 запросов. Модель предназначена для диалоговой генерации текста, рассуждений и задач программирования; поддерживает текстовые и визуальные входы, режим thinking и контекст до 262 144 токенов. По приведённым тестам она сохраняет результаты на простых математических задачах и кодировании, но pruning заметно снижает точность на некоторых знанияёмких темах. Метаданные указывают лицензию Gemma; перед использованием следует учитывать её условия.

GLM-4.6V-FP8 — мультимодальная модель семейства GLM-V, разработанная организацией zai-org (Z.ai). Репозиторий содержит FP8-версию модели GLM-4.6V с 106 млрд параметров, предназначенную преимущественно для облачной инфраструктуры и высокопроизводительных кластеров. Заявлены поддерживаемые языки Chinese и English, библиотека Transformers и сценарий image-text-to-text. Модель предназначена для анализа изображений, скриншотов и страниц документов вместе с текстом, понимания длинных и визуально сложных документов, работы с таблицами, графиками и макетами, а также для мультимодальных агентов. Она поддерживает контекст до 128K токенов, нативный Function Calling с передачей визуальных данных инструментам и интерпретацией визуальных результатов, генерацию смешанного изображения и текста, а также восстановление HTML/CSS по скриншотам интерфейсов и их редактирование по инструкциям на естественном языке. К сильным сторонам относятся масштабный контекст, объединённое понимание текста и визуального содержимого, возможность связывать восприятие с вызовом инструментов и заявленная высокая эффективность в задачах визуального понимания среди моделей сопоставимого размера. При этом разработчики отмечают, что возможности ответов на чисто текстовые вопросы всё ещё нуждаются в улучшении; также ранее наблюдавшиеся повторяющиеся рассуждения и ошибки форматирования были лишь частично смягчены. Модель распространяется по лицензии MIT.

Hugo-7B-slerp — диалоговая языковая модель на архитектуре Mistral, созданная paulilioaica слиянием методом SLERP моделей Mistral-7B-Instruct-v0.2 и CodeNinja-1.0-OpenChat-7B с помощью mergekit. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате; объединяет возможности исходных моделей, включая общие диалоговые задачи и работу с кодом. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README приведены результаты оценок на ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K, но они не гарантируют аналогичное качество на других задачах. Языковая поддержка и специализированные области применения в карточке не перечислены. Модель распространяется по лицензии Apache-2.0.

Cerebras Llama-3-CBHybridL-8B — языковая модель Cerebras, созданная на базе Llama-3.1-8B-Instruct для работы с длинным контекстом. Это вариант с гибридным плотным и разреженным вниманием: 25 из 32 слоёв внимания дообучены для разреженного lambda-mask attention. По данным авторов, такой подход уменьшает память KV-кэша в 1,6–1,7 раза при сохранении большей части качества на задачах с длинным контекстом. Модель предназначена для генерации текста и диалогов, включая ответы на вопросы по длинным документам и работу с несколькими источниками. Метаданные указывают 7,5 млрд параметров и контекст до 33 792 токенов; поддерживается интерфейс вызова инструментов. В README приведены результаты на LongBench и HELMET: качество зависит от задачи и может снижаться относительно исходной модели. Для улучшения работы с длинным контекстом авторы предлагают вставлять вспомогательные токены памяти; их добавление требует соответствующей обработки входа. Модель распространяется в формате safetensors под лицензией other; конкретные условия лицензии следует уточнить на странице репозитория. Карточка описывает её как эксперимент Cerebras на основе инструкционной модели Llama 3.1, а не как универсальную замену исходной модели.

TheBloke/Mistral-7B-Instruct-v0.2-AWQ — это 4-битная AWQ-квантизированная версия Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной для публикации TheBloke. Модель предназначена для генерации текста и диалоговых сценариев с инструкциями, включая локальный запуск через text-generation-webui, vLLM, Transformers, TGI и AutoAWQ. Для работы используется шаблон запросов Mistral: <s>[INST] {prompt} [/INST]. Модель относится к семейству Mistral, содержит около 7 млрд параметров и поддерживает контекст длиной 4096 токенов. Указана только текстовая модальность; сведения о языках в README отсутствуют. AWQ-квантизация снижает требования к памяти и обеспечивает быстрый инференс на совместимых NVIDIA GPU, при этом заявляется сопоставимое или лучшее качество по сравнению с распространёнными настройками GPTQ. Размер опубликованной сборки составляет около 4,15 ГБ. Основные ограничения связаны с аппаратной и программной совместимостью: AWQ-версия рассчитана на Linux и Windows с NVIDIA GPU, а для macOS рекомендуется использовать формат GGUF. В README также указана лицензия Apache-2.0. Поддержка и качество конкретных задач зависят от исходной модели, настроек инференса и используемого программного окружения.

Mythos-9B Merged — это объединённая языковая модель на 9 млрд параметров, разработанная на основе King3Djbl/mythos-9b-merged и квантованная mradermacher в формате GGUF. Модель предназначена для генерации текста на английском языке, ролевых сценариев, задач программирования, работы с инструментами и function calling, а также агентских сценариев. В метаданных также заявлены поддержка shell-взаимодействия и запуск через llama.cpp, LM Studio и Ollama. В репозитории представлены варианты i1-квантования с imatrix в диапазоне примерно от 2,2 до 6,8 ГБ, включая IQ и Q-форматы. Это позволяет выбирать компромисс между размером, скоростью и качеством; в README вариант i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Для некоторых вариантов явно указано снижение качества, особенно у наиболее компактных квантов. Сведения о точной архитектуре, размере контекстного окна, мультимодальности и дополнительных языках отсутствуют; заявлен только английский язык. Модель распространяется по лицензии Apache-2.0.

Locutusque/NeuralHyperion-2.0-Mistral-7B — языковая модель на архитектуре Mistral, дообученная разработчиком Locutusque на Hyperion-v2.0 и дополнительно с помощью DPO на предпочтениях Capybara. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для ответов на сложные вопросы, диалогов и рассуждений в научно-технических областях, генерации кода, математических задач и понимания медицинских текстов. В README заявлена поддержка английского языка; метаданные также отмечают задачи, связанные с кодом и химией. Качество ответов может быть непоследовательным из-за различий в форматировании и качестве разметки обучающих данных; результаты оценки в карточке пока не приведены. Модель распространяется по лицензии Apache-2.0.

OpenHermes-13B — англоязычная модель генерации текста, разработанная Teknium и дообученная на базе NousResearch/Llama-2-13b-hf. Она обучалась следовать инструкциям на наборе из примерно 242 тысяч примеров, преимущественно созданных GPT-4 и собранных из открытых датасетов; примеры охватывают общие запросы, ролевые диалоги и программирование. Модель имеет плотную архитектуру LlamaForCausalLM, около 12,9 млрд параметров и контекст до 4096 токенов. Модель предназначена для ответов на инструкции, диалоговой генерации и помощи с задачами на естественном языке и кодом. В опубликованном сравнении OpenHermes немного улучшила результаты Nous-Hermes на GPT4All и BigBench, но показала снижение на AGIEval, поэтому качество зависит от типа задачи. Репозиторий распространяется по лицензии MIT.

unsloth/OpenReasoning-Nemotron-32B-GGUF — GGUF-версия большой языковой модели OpenReasoning-Nemotron-32B, разработанной NVIDIA и подготовленной Unsloth. Модель является производной от Qwen2.5-32B-Instruct и дообучена для рассуждений при решении математических, программных и научных задач. Она предназначена для генерации текста, включая ответы, решения и исходный код, а также может использоваться в исследовательских и коммерческих сценариях. Модель имеет 32 млрд параметров и работает с текстовыми данными на английском языке. В README не указаны точная архитектура в терминах компонентов, размер контекстного окна и конкретный вариант GGUF-квантизации. Заявлена оценка сгенерированных последовательностей длиной до 64K выходных токенов. Для повышения качества можно применять режим GenSelect с несколькими параллельными генерациями и выбором лучшего решения; этот подход особенно ориентирован на математические и программные задачи. К сильным сторонам относятся специализация на сложном рассуждении, математике, коде и науке, а также высокие результаты на приведённых бенчмарках, включая GPQA, MMLU-PRO, LiveCodeBench, SciCode и AIME. Ограничения включают высокие требования к ресурсам, свойственные модели такого размера, неопределённость характеристик конкретной квантизованной сборки и отсутствие заявлений о мультимодальности: в доступных данных указана только текстовая генерация. Модель распространяется по лицензии Creative Commons Attribution 4.0 International (CC BY 4.0); дополнительно упомянута лицензия Apache 2.0 базовой модели Qwen2.5-32B-Instruct.

dealignai выпустила Ornith-1.5-35B-A3B-UNCENSORED-MXFP8 — версию Ornith-1.5-35B-A3B с удалённым на уровне весов поведением отказа и квантованием MXFP8 в формате MLX для Apple Silicon. Основа — мультимодальная MoE-модель семейства Qwen 3.5 с 35,9 млрд параметров; README указывает 40 слоёв, 256 маршрутизируемых экспертов, гибридный блок gated-delta и full attention, а также 27-слойную визуальную башню. Метаданные Hugging Face относят модель к задаче image-text-to-text и указывают поддержку чата, зрения и интерфейса вызова инструментов. Модель принимает текст и изображения; README также заявляет обработку видео. Она рассчитана на диалог, рассуждения, программирование с инструментами и анализ визуального содержимого. Карточка приводит результаты MMLU 78,9%, HarmBench 100% и KL-дивергенцию 0,0289 относительно некрякнутой MXFP8-версии; это результаты авторского тестирования на данном бандле. Для запуска предназначены vMLX или совместимая с архитектурой qwen3_5_moe среда MLX-VLM на Apple Silicon. Удаление отказов означает, что модель может выполнять запросы без защитного отказа; авторы ориентируют публикацию на исследования безопасности ИИ и разрешённое тестирование. Лицензия — Apache-2.0.

Orythos-9B — мультимодальная модель на 9 млрд параметров, созданная CloudGoat слиянием моделей Qwythos-9B-Claude-Mythos-5-1M и Ornith-1.5-9B методом DARE-TIES на базе Qwen3.5-9B. Она предназначена для диалога, анализа изображений, программирования и агентных сценариев, включая взаимодействие с инструментами. В карточке приведён результат HumanEval pass@1 89%; это заявленный авторами результат на бенчмарке. Модель использует архитектуру Qwen3.5 для генерации текста с обработкой изображений. Репозиторий содержит веса Safetensors и варианты GGUF, включая BF16 и Q4_K_M. Для практического использования доступны диалоговые и визуальные возможности, а также интерфейс вызова инструментов. Модель подойдёт для помощи в программировании и задач, где нужны рассуждения, анализ изображений или агентное взаимодействие. README не описывает языковой охват и длину контекста. Условия лицензии в предоставленных данных не указаны.

Phi-3-mini-4k-instruct-v0.3-GGUF — набор квантизованных файлов модели Phi-3-mini-4k-instruct-v0.3, основанной на Microsoft/Phi-3-mini-4k-instruct. Исходную модель опубликовал MaziyarPanahi, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач на рассуждение и работы с кодом. В README указан английский язык; поддержка других языков не заявлена. Обозначение 4k указывает на вариант модели с контекстом порядка 4 тысяч токенов, однако точное значение в представленных данных не раскрыто. Модель поставляется в формате GGUF с несколькими уровнями квантизации — от Q8_0 до Q3_K_M и IQ3_M. Размер файлов составляет примерно от 1,95 до 4,06 ГБ, что позволяет выбирать компромисс между качеством генерации и требованиями к оперативной памяти. Для локального запуска рекомендуется использовать llama.cpp или совместимые инструменты. К сильным сторонам относятся компактность, возможность локального развертывания и несколько вариантов квантизации; более агрессивное сжатие может снижать качество ответов. Данные о мультимодальности, точной архитектуре и числе параметров не указаны. Лицензия модели — MIT. В README приведены результаты на ARC-Challenge, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K, однако они относятся к указанной версии модели и не обязательно одинаковы для всех вариантов квантизации.