II.11Кибербезопасность и приватность

WhiskyAKM публикует GGUF-версию K2-Horizon-MoVA-36B-A4B, производной от IFM/K2-Horizon-MoVA-36B-A4B. Это разрежённая языковая модель архитектуры MoE с механизмом внимания Mixture-of-Values: всего 36 млрд параметров, из которых активны 4 млрд на токен. Модель предназначена для генерации текста и диалогов, рассуждений, программирования и агентных задач с использованием инструментов. Репозиторий содержит квантизованные в NVFP4 веса в формате GGUF для запуска через llama.cpp и совместимые движки. Заявленное контекстное окно — 524 288 токенов. Карточка отмечает английский язык. Лицензия — Apache-2.0. Для NVFP4 автор указывает оптимизацию под NVIDIA Blackwell и совместимое оборудование; фактическая производительность и доступность поддержки зависят от движка и аппаратуры.

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q4_K_M — это квантизированная версия инструкционной модели Mellum2, разработанной JetBrains. Модель представлена в формате GGUF и предназначена для запуска в llama.cpp, Ollama, LM Studio и других совместимых средах, включая использование через OpenAI-совместимый API. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Заявлен контекст до 131 072 токенов, поддерживается генерация текста, а в карточке указана поддержка английского языка. Квантизация Q4_K_M использует 4-битное представление и занимает около 8,1 ГБ, обеспечивая компромисс между качеством и размером. Модель ориентирована на прямые ответы без внешнего отображения цепочки рассуждений и может применяться для диалогов, генерации текста и программного кода. Основное преимущество этой версии — заметное снижение требований к дисковому пространству и памяти по сравнению с BF16 при сохранении значительной близости к исходной модели: совпадение наиболее вероятного токена составляет 87,2%, а значение KLD относительно BF16 — около 0,106 на указанном тесте Wikitext-2. Ограничением является потеря точности из-за 4-битной квантизации; приведённые метрики не заменяют полноценную оценку качества прикладных задач. Модель распространяется по лицензии Apache 2.0.

Карточка модели ISTA-DASLab/Meta-Llama-3-8B-Instruct на Hugging Face совпадает с карточкой kuotient/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.

kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.

NeoHorse-1-9B-GGUF — текстовая causal language model на 9 млрд параметров, разработанная TokenRhythm и представленная в формате GGUF сообществом prithivMLmods. Модель создана на основе Qwen3.5-9B и дообучена для text-based agent harnesses, использования инструментов, программирования, рассуждений и следования инструкциям. Релиз содержит только языковые веса без vision-компонентов и предназначен для text-only inference. Модель поддерживает английский язык, имеет нативное контекстное окно 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявленная особенность — routing harness, который распределяет задачи между разнородными моделями, учитывает результаты взаимодействия с инструментами и использует эти сигналы для формирования обучающих данных и последующего дообучения. Доступны варианты квантования от BF16 до Q3_K_S, что позволяет выбирать между качеством и требованиями к памяти. По данным README, NeoHorse-1-9B показала лучший общий macro average среди сравниваемых моделей, с заметными улучшениями на агентных тестах VitaBench, PinchBench и QwenClawBench, а также высокими результатами на tau2-Bench и BFCL v4. При этом улучшения в следовании инструкциям были неоднородными, а заявленные результаты зависят от условий тестирования. Модель можно обслуживать через SGLang или vLLM с Qwen3-совместимыми механизмами рассуждений и парсерами tool calls. Распространяется по лицензии Apache License 2.0.

OpenAI o3 Pro — модель семейства o, обученная с подкреплением рассуждать перед ответом и решать сложные задачи. По сравнению с o3 она использует больше вычислений на этапе рассуждения, чтобы давать более последовательные ответы. Модель предназначена для сложных запросов, где полезны многоэтапное рассуждение и тщательная проработка ответа. Данных о размере, модальностях, поддерживаемых языках, длине контекста и лицензии в предоставленной карточке нет.

prithivMLmods/Olmo-3-7B-Instruct-AIO-GGUF — набор GGUF-квантизаций модели Olmo-3-7B-Instruct, разработанной Allen Institute for AI. Это авторегрессионная трансформерная языковая модель примерно на 7 миллиардов параметров, дообученная методами supervised fine-tuning и direct preference optimization на наборах данных Tulu 2 и UltraFeedback. Модель предназначена для генерации текста, ответов на вопросы, следования инструкциям, многошагового диалога и сценариев с использованием инструментов. Она поддерживает английский язык, контекст до 2048 токенов и ориентирована на создание контекстно-зависимых и безопасных ответов, включая задачи в технической, образовательной и юридической областях. Доступны варианты в форматах BF16, F16, F32 и различных уровнях квантизации, что позволяет выбирать между качеством, размером файла и требованиями к ресурсам. К сильным сторонам относятся открытость модели и обучающего кода, поддержка диалоговых и инструкционных сценариев, а также широкий выбор GGUF-вариантов для эффективного локального запуска. Ограничениями являются заявленная длина контекста 2048 токенов и поддержка только английского языка; сведения о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии Apache 2.0.

QuantFactory/openchat-3.6-8b-20240522-GGUF — квантизированная версия языковой модели OpenChat 3.6 8B от openchat/openchat, созданная с использованием llama.cpp. Модель предназначена для генерации текста, диалогов, программирования и решения общих задач через чат-интерфейсы и OpenAI-совместимый API. Модель имеет около 8 млрд параметров и поддерживает контекст до 8192 токенов. Это текстовая autoregressive-модель; сведения о поддерживаемых языках и конкретном формате квантизации в README не указаны. Для работы рекомендуются OpenChat и llama.cpp, а исходная модель также рассчитана на запуск через vLLM; заявлена возможность развёртывания на потребительском GPU с 24 ГБ памяти. К сильным сторонам относятся компактный размер, возможность локального запуска и оптимизация для диалоговых, кодовых и общих сценариев. Ограничения включают отсутствие сведений о точном варианте квантизации, языковом покрытии и результатах независимого тестирования. Модель распространяется по лицензии Llama 3.

QuantFactory/Qwen2.5-14B-GGUF — это квантизированная версия базовой языковой модели Qwen2.5-14B, созданная QuantFactory с использованием llama.cpp. Исходную модель разработала команда Qwen. Модель предназначена для генерации текста, продолжения текста и последующего дообучения, включая supervised fine-tuning, RLHF и continued pretraining. Разработчики не рекомендуют использовать базовую версию непосредственно для диалогов без дополнительного обучения. Модель относится к каузальным языковым моделям и содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к embedding-слою. Архитектура использует transformers, RoPE, SwiGLU, RMSNorm и смещения в attention QKV; предусмотрены 48 слоёв и Grouped-Query Attention с 40 головами Q и 8 головами KV. Контекстное окно составляет до 131 072 токенов, поддерживается генерация длинных текстов. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. К сильным сторонам относятся улучшенные знания, возможности в программировании и математике, следование инструкциям, работа со структурированными данными и генерация структурированных ответов, включая JSON, а также поддержка длинного контекста. К ограничениям относятся базовый, а не instruction-tuned характер модели и необходимость использования совместимого программного окружения; для работы рекомендуется актуальная версия transformers, поскольку версии ниже 4.37.0 могут вызывать ошибку совместимости. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-MTP-GGUF — это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанная ByteShape с использованием ShapeLearn. ShapeLearn подбирает тип данных для каждого тензора, чтобы сохранять качество при малой разрядности. Модель поддерживает Multi-Token Prediction (MTP), позволяющую предсказывать несколько токенов за один проход и ускорять декодирование за счёт спекулятивного принятия совпадающих токенов. Модель предназначена для GPU-инференса в llama.cpp и поддерживает работу с изображениями и текстом; для загрузки визуального проектора используется параметр --mmproj-auto. MTP особенно полезен при автодополнении кода, генерации структурированных ответов и повторяющегося контента, тогда как для творческой или нетипичной генерации ускорение может быть ниже. Варианты имеют размер от 10 до 18,6 ГБ и используют квантизации IQ2_S, IQ3_S и IQ4_XS с разрядностью 2,25–4,19 бит на вес. Базовая модель имеет 35B параметров и архитектуру, обозначенную как 35B-A3B; другие характеристики, включая языки и размер контекста, в README не указаны. MTP-голова встроена в GGUF, поэтому отдельная draft-модель не требуется, но нужен свежий выпуск llama.cpp с поддержкой draft-mtp. Производительность зависит от конкретной видеокарты и нагрузки; для большинства сценариев рекомендуется предсказывать на 2–4 токена вперёд. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B — это квантизированная и подвергнутая экспертному прунингу языковая модель для генерации текста, разработанная сообществом mlx-community на базе mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit. Модель использует архитектуру Mixture-of-Experts: в каждом слое сохранено 128 из 256 экспертов, при этом для каждого токена активируются 8 экспертов. Число параметров уменьшено с 35,1 до 18,8 млрд, размер на диске составляет 13,8 ГБ, а пиковое потребление памяти — около 11,6 ГБ. Данные о поддерживаемых языках и размере контекста в README не указаны. Модель предназначена для локального запуска и генерации текста на устройствах Apple Silicon через MLX, а также для задач следования инструкциям, математических рассуждений, вызова функций и генерации кода. Прунинг выполнен методом REAP без деквантизации, повторной квантизации или дообучения; активные параметры на токен и скорость декодирования сохраняются, а скорость в указанном сравнении выросла с 47,0 до 54,7. По сравнению с исходной моделью Capability Score снизился с 80,03 до 76,57; особенно заметно падение на MMLU, тогда как результаты GSM8K и IFEval улучшились. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-8B-Base-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-8B-Base, подготовленная Unsloth на основе модели Qwen Team. Это причинная языковая модель на этапе предварительного обучения, предназначенная для генерации и продолжения текста, адаптации под прикладные задачи, программирования, STEM, рассуждений и работы с многоязычными данными. Модель содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою, и имеет 36 слоёв. Используется Grouped-Query Attention: 32 головы запросов и 8 голов ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Qwen3 обучалась на 36 трлн токенов на 119 языках, однако README не уточняет точный перечень языков и отдельно не описывает мультимодальные возможности; по указанным характеристикам это текстовая модель. 4-битное представление снижает требования к памяти и облегчает локальный запуск, сохраняя совместимость с экосистемой Transformers, но может влиять на точность по сравнению с полноразмерной версией. Это базовая, а не инструкционно настроенная модель, поэтому для диалоговых сценариев и следования сложным инструкциям может потребоваться дополнительное дообучение или специальное форматирование запросов. Для работы рекомендуется актуальная версия transformers; версии ниже 4.51.0 могут вызывать ошибку KeyError: qwen3. Лицензия — Apache-2.0.

airoboros-l2-13b-2.2 — экспериментальная текстовая модель jondurbin, основанная на архитектуре Llama и дообученная на версии 2.2 набора airoboros, состоящей преимущественно из синтетических данных. Модель содержит около 12,9 млрд параметров, принимает текст и рассчитана на контекст до 4096 токенов. Для диалога используется формат с отдельными строками system, USER и ASSISTANT; в большинстве примеров применялся системный промпт «A chat.». Модель ориентирована прежде всего на выполнение инструкций, а не на непринуждённый чат или ролевую игру. Она подходит для ответов на вопросы по предоставленному контексту, генерации текста и кода, задач с вариантами ответа, структурированного вывода в JSON или YAML и составления планов выполнения задач с инструментами. Вариант «clean» не включает данные для снятия выравнивания; при этом автор отмечает, что поведение можно переопределять системным промптом. Для остановки генерации рекомендуется настроить критерии завершения на маркер USER:. Модель распространяется по лицензии Llama 2.

Карточка модели jondurbin/airoboros-l2-70b-gpt4-2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-65b-gpt4-2.0, поэтому описание составлено по ней. airoboros-65b-gpt4-2.0 — плотная языковая модель семейства LLaMA на 65 млрд параметров, дообученная jondurbin для следования инструкциям на синтетических примерах, созданных GPT-4. Серия 2.0 использует данные GPT-4 версии 0614; вариант m2.0 дополнительно объединяет набор данных 1.4.1 без дубликатов и категории system. Модель предназначена для диалоговых ответов, вопросов по предоставленному контексту, программирования, построения планов и генерации структурированных аргументов функций в JSON или YAML. Для диалога используется текстовый шаблон с ролями USER и ASSISTANT; заявленная длина контекста — 2048 токенов. В README для моделей 65B отмечено QLoRA-дообучение. Это текстовая модель, и качество её ответов не гарантирует точность: карточка рекомендует явно просить не придумывать ответ при недостатке данных. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое использование запрещено.

Это версия DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на дистиллированной модели DeepSeek. В карточке указано, что веса представлены в формате safetensors, архитектура — плотная Qwen2, размер — 7,1 млрд параметров, библиотека для работы — Transformers, а лицензия — Apache-2.0. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями, в том числе для решения математических задач и задач программирования. Она обучена на примерах рассуждений, созданных DeepSeek-R1; в README для семейства дистиллированных моделей указан контекст до 128K токенов. Метаданные карточки также указывают контекст 131072 токена. Модель принимает текст и выдаёт текст. Карточка указывает английский язык; README не уточняет перечень поддерживаемых языков. Как и другие языковые модели, она может ошибаться в рассуждениях и ответах. Для использования применяется лицензия Apache-2.0.

mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit — квантизированная MLX-версия модели Google Gemma 4, подготовленная сообществом mlx-community с помощью mlx-optiq. Модель основана на Google Gemma 4 26B A4B instruction-tuned QAT и предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачной инфраструктуры. Это разреженная MoE-модель с 26 млрд общих параметров, 128 маршрутизируемыми экспертами и примерно 4 млрд активных параметров на токен. Используется смешанная квантизация: преимущественно 4-битная, но чувствительные компоненты, включая часть экспертных тензоров, слои внимания и маршрутизатор, представлены в 8-битном формате. Достигнутая точность составляет 6,01 бит на вес, размер модели на диске — около 19 ГБ. Модель поддерживает генерацию текста, а также сценарии image-text-to-text через bf16 vision-модуль. Языки и размер контекстного окна в README не указаны. Модель ориентирована на рассуждения, следование инструкциям, генерацию кода, работу с инструментами и агентские сценарии. По сравнению с равномерной 4-битной квантизацией той же QAT-базы она немного улучшает средний Capability Score и результаты MMLU, GSM8K и IFEval, однако уступает в BFCL и HumanEval, поэтому характеристики зависят от задачи. Для использования требуются mlx-optiq и версия mlx-lm из основной ветки; запуск рассчитан прежде всего на Apple Silicon и требует значительного объёма памяти. Лицензия указана как Apache 2.0; также применяются условия лицензии Gemma от Google.

Gemma 4 E4B Agentic Opus Reasoning GeminiCLI GGUF — это квантованная GGUF-версия модели на базе Gemma 4 E4B, разработанная RavenX AI. Веса объединяют результаты SFT-дообучения с паттернами рассуждений Opus 4.6, Claude Code и Gemini CLI; LoRA-адаптер слит непосредственно с моделью, поэтому отдельный адаптер и дополнительная конфигурация не требуются. Модель предназначена для диалоговых сценариев, программирования, агентных рабочих процессов и использования инструментов или функций. Она поддерживает форматы рассуждений с тегами <think>, структурированные ответы в стиле Claude и tool calling. В README также заявлена поддержка vision и мультимодальности, однако подробности о поддерживаемых типах входных данных не приведены. Указан английский язык. Модель совместима с Ollama, LM Studio и llama.cpp, а также может работать через OpenAI-совместимые локальные API. Доступны варианты квантования Q4_K_M, Q5_K_M, Q8_0 и F16 размером примерно от 2,7 до 8,3 ГБ; Q4_K_M рекомендован как баланс качества и скорости. Сильными сторонами являются встроенное агентное поведение, рассуждения и поддержка вызова инструментов без отдельного адаптера. Ограничения включают отсутствие опубликованных количественных бенчмарков, неполное описание архитектуры и контекстного окна, а также возможные потери качества из-за квантования. Модель распространяется по лицензии Gemma.

unsloth/GLM-4.7-Flash-NVFP4 — это версия модели GLM-4.7-Flash, подготовленная Unsloth в формате квантования NVFP4. Исходную модель разработала команда GLM компании Z.ai. Она предназначена для генерации текста, диалоговых приложений, программирования, решения задач рассуждения и агентских сценариев, где важны сочетание производительности и эффективности локального развертывания. Модель имеет MoE-архитектуру с заявленным размером 30B-A3B: 30 миллиардов параметров при активации примерно 3 миллиардов на отдельный запрос. В карточке указаны английский и китайский языки, поддержка библиотеки Transformers и запуск через vLLM или SGLang. Длина контекста и другие архитектурные характеристики не указаны. Мультимодальные возможности для этой версии не заявлены; в карточке она описана как text-generation модель. К сильным сторонам относятся компактная вычислительная нагрузка для класса 30B, возможность эффективного инференса на совместимом оборудовании и высокие результаты, заявленные для ряда тестов, включая AIME 25, GPQA, SWE-bench Verified и τ²-Bench. Ограничения связаны с использованием NVFP4-квантизации, требованиями к актуальным версиям программного обеспечения и поддержке соответствующих ядер; для запуска рекомендуются современные версии vLLM и специализированные компоненты NVIDIA. Карточка также предупреждает, что backend Marlin работает примерно вдвое медленнее. Лицензия модели указана как MIT. В карточке не приведены данные о длине контекста, требованиях к видеопамяти, качестве на русском языке и влиянии NVFP4-квантизации на точность, поэтому эти характеристики нельзя оценить по имеющейся информации.

Модель ryugyosoft/granite-4.2-8b-onw — адаптация IBM Granite 4.2 8B для запуска через движок onw на Intel NPU. Это плотная авторегрессионная Transformer-модель с 8,4 млрд параметров и контекстом до 131 072 токенов. Весовые файлы преобразованы в статические графы и повторно квантованы: основная часть использует знаковую INT4-квантизацию, а проекции q/k/v внимания и выходной слой — INT8. Обучение не проводилось. Модель предназначена для диалогов, рассуждений и вызова инструментов через OpenAI-совместимый API, включая агентские сценарии с поиском в интернете, работой в терминале и исправлением кода. Она принимает текст и генерирует текст; README описывает поддержку японского и английского языков. Для запуска требуется совместимый компьютер с Intel Core Ultra NPU; автор приводит скорость около 3,6 токена/с на NPU 3720 и рекомендует не менее 32 ГБ памяти. Лицензия — Apache 2.0, как у базовой модели.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная GGUF-версия языковой модели Hermes 2 Pro, разработанной NousResearch на основе Meta Llama 3 8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для текстового диалога, генерации текста и инструкций, а также сценариев с function calling и выдачей структурированных данных в JSON. Модель содержит около 8 миллиардов параметров, работает в текстовой модальности и ориентирована преимущественно на английский язык. В карточке указаны дообучение с применением DPO и RLHF, использование синтетических данных, дистилляции и датасета OpenHermes-2.5, а также формат запросов ChatML. Размер контекста в предоставленных данных не указан. Главное преимущество этой версии — доступность большого набора квантизаций с разным балансом качества, размера и требований к памяти: от Q8_0 до низкоразрядных IQ- и Q-вариантов. Более качественные варианты Q6_K и Q5_K_M рекомендованы для большинства задач, тогда как низкоразрядные версии подходят для систем с ограниченной памятью, но могут заметно уступать в качестве. Модель распространяется по лицензии Apache 2.0.

ICT-TIME-and-Querit-embedding-v1 — модель текстовых эмбеддингов, разработанная ICT-TIME-and-Querit на основе Qwen3-4B. Она предназначена для поиска по смыслу, сопоставления предложений, ранжирования и других задач, где текст нужно представить в виде векторов. Модель использует архитектуру Qwen3 с 3,7 млрд параметров, pooling по последнему токену и контекст до 40 960 токенов по метаданным (в README указано 32k). Модель обучена на общих текстовых данных и данных для поиска кода, а итоговая версия объединяет модели двух этапов обучения методом Multi-SLERP. В README приведены результаты на MTEB English v2, HUME и MTEB Code; заявленная область применения охватывает как обычные тексты, так и код. Основной язык обучения — английский, также в обучающих данных есть китайские и другие языки. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия в предоставленных данных не указана. Показатели бенчмарков из README не гарантируют такого же качества на конкретных данных; особенно важно оценивать модель на целевом языке и домене.

IFM/K2-Horizon-32B-GGUF — GGUF-версия модели K2-Horizon-32B-Stage1, разработанной IFM. Это открытая плотная decoder-only языковая модель с 32 млрд параметров, предназначенная для генерации текста, а также для задач, связанных с агентными сценариями, программированием и рассуждениями. Указан английский язык; модель относится к текстовой модальности. Модель поддерживает контекстное окно размером 524 288 токенов. Тензоры сохранены в исходной точности BF16, а файлы GGUF содержат метаданные токенизатора и шаблон чата, совместимый с llama.cpp. Для запуска требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, а доступный checkpoint относится к первой стадии обучения. К сильным сторонам относятся большой контекст, полностью открытая модель, публикация обучающих данных, рецепта и кода обучения, а также наличие промежуточных checkpoint для изучения изменений возможностей в процессе обучения. Ограничения связаны с необходимостью специальной поддержки архитектуры в llama.cpp и с тем, что это Stage 1, тогда как финальный checkpoint ещё должен быть выпущен. Лицензия — Apache 2.0.

Llama-3-Instruct-15B-SPPO-Iter3-SH — чат-модель для генерации текста по инструкциям, описанная автором как увеличенная до 15 млрд параметров версия Llama-3-Instruct-8B-SPPO-Iter3 с заменой проекций. Модель создана с помощью mergekit: объединены Llama-3-Instruct-8B-SPPO-Iter3, L3-Aethora-15B-V2 и Llama-3-Instruct-abliteration-LoRA-8B с использованием методов Passthrough и SLERP. В метаданных указано 14,5 млрд параметров, архитектура LlamaForCausalLM и контекст 8192 токена. Модель предназначена для программирования, научных вопросов и общих инструкций. Карточка указывает формат safetensors и наличие квантованной версии GGUF Q5_K_M; для диалога используется шаблон Llama-3-Instruct. Основной язык базовой модели указан как английский. Лицензия в предоставленных данных не указана.

lmstudio-community/Meta-Llama-3-70B-Instruct-BPE-fix-GGUF — версия модели Meta-Llama-3-70B-Instruct, разработанной Meta и опубликованной сообществом lmstudio-community в формате GGUF с исправлением BPE. Это текстовая генеративная языковая модель для диалогов, следования инструкциям и других задач генерации текста. В карточке указаны английский язык и конвейер text-generation. Модель относится к семейству Llama 3 и содержит 70 млрд параметров; она предназначена для сценариев, где требуется создание и обработка текста в формате инструкций или диалога. Поддерживаются только текстовые входы и выходы. Сведения об архитектурных деталях, размере контекста, точном наборе поддерживаемых языков и характеристиках производительности в карточке не приведены. Модель требует значительных вычислительных ресурсов из-за большого числа параметров, а формат GGUF ориентирован на локальное или совместимое с ним инференс-развёртывание. Условия использования определяются Meta Llama 3 Community License: лицензия предоставляет ограниченные права на использование, копирование, модификацию и распространение при соблюдении условий Meta, включая принятие Acceptable Use Policy, указание атрибуции и отображение фразы «Built with Meta Llama 3» при распространении. Для продуктов с более чем 700 млн ежемесячных активных пользователей требуется отдельное разрешение Meta.

MiniCPM5-2B-GPTQ — GPTQ-квантованная версия MiniCPM5-2B, разработанная OpenBMB. Это плотная Transformer-модель на 2 млрд параметров для генерации текста, локального и on-device-развертывания, а также сценариев с ограниченными ресурсами. Модель ориентирована на английский и китайский языки и интегрируется с библиотекой Transformers. Модель предназначена для следования инструкциям, программирования, математических рассуждений, работы с длинным контекстом, использования инструментов и агентских задач. Заявлена конкурентоспособность с моделями класса 4B, а среди моделей сопоставимого размера отмечаются сильные результаты в коде, математике, long-context, tool use и agentic-сценариях. Поддерживаемая модальность — текст; максимальный размер контекста в предоставленных данных не указан. Ключевое преимущество — сочетание компактного размера, возможностей для локального запуска и высокой производительности в ряде прикладных задач. Ограничения включают меньший размер по сравнению с крупными моделями и отсутствие сведений о точных требованиях к памяти, форматах квантования и результатах независимого тестирования. Модель распространяется по лицензии Apache-2.0.

Muse Glimmer-30B — мультимодальная модель Meta Superintelligence Lab с плотным каузальным трансформером и отдельным энкодером восприятия, дистиллированная из Muse Spark. В README указано около 29,6 млрд параметров; модель работает с текстом и изображениями и распространяется в формате safetensors под лицензией Apache 2.0. Модель предназначена для локальных агентных сценариев: планирования последовательности действий, вызова инструментов, восстановления после ошибок и выполнения многошаговых задач. Её также предлагают использовать для написания и отладки кода, анализа скриншотов, диаграмм, документов и изображений, генерации синтетических данных и оценки ответов других моделей. В карточке заявлена оптимизация для работы на потребительском оборудовании без облачной инфраструктуры. Ограничения включают возможные ошибки, предвзятые или нежелательные ответы и сбои в многошаговом рассуждении, особенно в новых сценариях. Модель не оптимизирована для видео, аудио на входе и выходе не поддерживается; качество может снижаться на языках, которые недостаточно оценивались. Для агентных развёртываний разработчикам рекомендуется проводить собственные проверки безопасности и учитывать подтверждение необратимых действий.

OpenHermes 2.5 Mistral 7B — языковая модель Teknium, дообученная на базе Mistral-7B-v0.1 для диалогов и следования инструкциям. Она содержит около 7,1 млрд параметров, использует плотную архитектуру Mistral и формат диалога ChatML; заявленная длина контекста — 32 768 токенов. Модель обучалась на наборе примерно из миллиона примеров, преимущественно сгенерированных GPT-4, включая дополнительные данные по программированию. Модель предназначена для многошагового общения, ответов на вопросы, выполнения инструкций и помощи с программированием. В карточке приводится результат HumanEval 50,7% при Pass@1, а также сообщается об улучшении ряда общих бенчмарков по сравнению с предыдущей версией; это результаты авторов, не гарантия качества в конкретных сценариях. Указанный в метаданных язык — английский. Модель принимает текстовые запросы и генерирует текст. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Как и другие генеративные языковые модели, она может выдавать неверные сведения или код с ошибками; результаты следует проверять.

Ornstein-3.5-9B-V1.5 — дообученная DJLougen / GestaltLabs модель семейства Qwen3.5 с примерно 9,65 млрд параметров. Это плотная модель на базе Qwen/Qwen3.5-9B-Base, выпущенная в формате BF16 и предназначенная для диалогового использования через Transformers; карточка также указывает интерфейс вызова инструментов. Модель ориентирована на многошаговые рассуждения, научные и технические задачи, помощь в исследованиях ИИ, программирование и обычный диалог. По заявленным разработчиком тестам GBS STANDARD-200 она превосходит базовую модель в рассуждениях и научных вопросах; результаты приведены в README и не гарантируют аналогичного качества на других задачах. V1.5 — промежуточный релиз supervised fine-tune, а не описываемая как завершённая версия будущего этапа обучения с reinforcement learning. Модель принимает текст и выдаёт текст. Карточка ориентирует её на английский язык. Лицензия — Apache 2.0.

RedHatAI/phi-4-quantized.w4a16 — квантизированная версия языковой модели phi-4, разработанной Microsoft; оптимизацию выполнили Red Hat и Neural Magic. Это авторегрессионная текстовая модель архитектуры Phi3ForCausalLM с текстовым вводом и выводом, предназначенная для генерации текста, диалоговых и conversational-сценариев, задач рассуждения, логики, математики и программирования, преимущественно на английском языке. Модель ориентирована на исследовательское использование и создание генеративных AI-функций в средах с ограниченными ресурсами, а также в сценариях, чувствительных к задержке. Веса линейных операторов в трансформерных блоках квантизированы до INT4 по симметричной групповой схеме с размером группы 128 с применением алгоритма GPTQ через библиотеку llm-compressor. По сравнению с представлением FP16 это примерно на 75% снижает размер на диске и требования к памяти GPU, что может облегчать развертывание и повышать эффективность инференса. В README также указана поддержка развертывания через vLLM и совместимость с Red Hat AI Inference Server, Red Hat Enterprise Linux AI и Red Hat OpenShift AI; максимальный контекст в приведённой конфигурации составляет 32768 токенов. Ограничения включают фокус на английском языке, возможные типичные проблемы языковых моделей с точностью, безопасностью и справедливостью, а также отсутствие специальной оценки для всех прикладных сценариев. Перед использованием в чувствительных и высокорисковых системах необходимы отдельная проверка и меры контроля. Модель распространяется по лицензии MIT.

RedHatAI/phi-4-quantized.w8a8 — квантизированная версия языковой модели phi-4, разработанной Microsoft. Модель подготовлена Red Hat совместно с Neural Magic и предназначена для генерации текста, диалоговых приложений, задач рассуждений, логики, математики и программирования, преимущественно на английском языке. Она принимает текст и генерирует текст, а архитектура указана как Phi3ForCausalLM. Модель использует INT8-квантизацию весов и активаций. Квантизация линейных операторов в трансформерных блоках примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может увеличить пропускную способность матричных вычислений примерно в два раза. Для весов применяется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокенная схема; используются методы SmoothQuant и GPTQ через библиотеку llm-compressor. В README приведён пример развёртывания с vLLM и максимальной длиной контекста 32768 токенов в конфигурации сервера. Модель подходит для сред с ограниченными ресурсами и сценариев, чувствительных к задержке, а также как компонент генеративных AI-систем. Ограничения включают преимущественную ориентацию на английский язык, возможные типичные ошибки языковых моделей и отсутствие оценки для всех прикладных сценариев. Перед использованием в критически важных или высокорисковых задачах необходимо отдельно проверять точность, безопасность и справедливость результатов. Модель распространяется по лицензии MIT и валидирована для RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5.