II.11Кибербезопасность и приватность

RedHatAI/Qwen2-72B-Instruct-FP8 — это текстовая instruction-tuned модель для диалоговых и ассистентских сценариев, созданная Neural Magic на основе Qwen2-72B-Instruct. Модель принимает текст и генерирует текст; заявлена для коммерческого и исследовательского использования на английском языке. Модель содержит 72 млрд параметров и использует FP8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Симметричная поканальная схема не используется: применяется симметричная поквантовая схема с одним масштабным коэффициентом на тензор. Это примерно вдвое снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битной версией. Модель подготовлена для инференса через vLLM версии 0.5.0 и выше; в примерах развертывания и оценки используется максимальная длина контекста 4096 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам при сохранении качества исходной модели: средний результат на OpenLLM benchmark составляет 80,34 против 79,97 у неквантизированной версии. Ограничения включают ориентацию на английский язык, необходимость совместимого FP8-оборудования и программного стека для эффективного запуска, а также отсутствие в README сведений о поддержке изображений или других модальностей. Лицензия указана как tongyi-qianwen; применение должно соответствовать условиям этой лицензии и законодательству.

RedHatAI/Qwen3-30B-A3B-FP8-block — это текстовая causal language model, разработанная Red Hat на основе Qwen/Qwen3-30B-A3B. Модель принимает текст и генерирует текст, поэтому предназначена для диалоговых систем, ответов на вопросы, следования инструкциям, общего анализа текста и программирования. В README также приведены оценки на OpenLLM leaderboard и coding-бенчмарках HumanEval и MBPP. Архитектура модели обозначена как Qwen3MoeForCausalLM. Это версия с FP8-квантизацией весов и активаций линейных операторов внутри transformer-блоков; используется пок блочная квантизация весов и динамическая токенная квантизация активаций. Снижение разрядности с 16 до 8 бит уменьшает размер на диске и требования к GPU-памяти примерно на 50%. Число параметров указано в идентификаторе и базовой модели как 30B-A3B, однако размер контекста и поддерживаемые языки в README не указаны. К сильным сторонам относятся существенно сниженные требования к хранению и памяти при сохранении качества, близкого к исходной модели: средний результат в OpenLLM V1 составил 73,74 против 73,65 у базовой версии. Модель ориентирована на развёртывание с vLLM и форматом compressed-tensors. Ограничения включают возможные потери качества из-за квантизации, а также отсутствие в предоставленных данных подробностей о языковом покрытии и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Brian6145/Qwen3.6-27B-Claude-Opus-DeepSeek-Distilled-Imatrix-MTP-GGUF — квантизированная модель в формате GGUF на базе Qwen/Qwen3.6-27B, разработанная Brian6145. Модель предназначена для локального запуска, агентских сценариев, использования инструментов, ReAct-подхода и выполнения длинных последовательностей задач. Заявлены улучшения в структурированном рассуждении, оркестрации инструментов, следовании инструкциям, математике и логическом выводе за счёт дистилляции из Claude Opus, DeepSeek и математических и логических моделей. Модель поддерживает английский и китайский языки и ориентирована на генерацию текста. Указаны архитектурная база Qwen3.6-27B, квантизация q4_k_m, поддержка speculative decoding через MTP и работы с длинным контекстом, однако точный размер контекстного окна не приведён. В README заявлены результаты BenchLocal 6-pack — 86,5, GPQA-Diamond-198 — 83,84% и MMLU-500 — 91,80%, а также высокая эффективность в задачах вызова инструментов, поиска ошибок и структурированного вывода. Ограничения включают некоторое снижение результата в DataExtract-15 по сравнению с базовой моделью и чувствительность агентного поведения к параметрам генерации. Рекомендуются temperature 0.6 и top_p 0.95; для заявленной производительности также указан режим q4_k_m с MTP=3. Модель распространяется по лицензии Apache-2.0.

sakamakismile/Qwen3.6-35B-A3B-NVFP4 — это квантизированная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной Qwen и сжатой с помощью llm-compressor от Lna-Lab. Модель предназначена для генерации текста, программирования, рассуждений, агентских сценариев и задач с изображениями. Она поддерживает вызов инструментов и рассчитана на работу через vLLM. В основе лежит разреженная архитектура MoE: около 35 млрд параметров всего, из которых активны примерно 3 млрд на токен; используются 256 экспертов, включая 8 маршрутизируемых и 1 общий. Архитектура сочетает Gated DeltaNet и механизмы внимания. Квантизация NVFP4 W4A4 использует 4-битные веса и активации со шкалами FP8, а визуальная часть сохранена в BF16. Нативный контекст составляет 262 144 токена, заявлена возможность расширения до 1 млн токенов. Указана поддержка мультимодального ввода, однако конкретный перечень языков в README не приведён. К сильным сторонам относятся высокая скорость инференса, малая занимаемая память и заявленные результаты в задачах программирования и агентского взаимодействия. Размер модели после сжатия — около 21,9 ГБ; на одной видеокарте NVIDIA Blackwell заявлена скорость до 168 токенов в секунду. Ограничения связаны с аппаратной и программной совместимостью: требуется GPU NVIDIA Blackwell с архитектурой SM 120, примерно 22 ГБ видеопамяти и nightly-версия vLLM с CUDA 13.0; на Ampere и Hopper модель не работает. Распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3-Next-80B-A3B-Thinking-AWQ-4bit — 4-битная AWQ-квантизированная версия модели Qwen3-Next-80B-A3B-Thinking из семейства Qwen. Разработчик в README явно не указан; модель опубликована на базе Qwen/Qwen3-Next-80B-A3B-Thinking и предназначена для генерации текста с акцентом на сложные рассуждения, математические и программные задачи, многошаговое решение проблем и агентские сценарии. Это авторегрессионная causal language model с гибридной архитектурой Gated DeltaNet и Gated Attention, разреженной Mixture-of-Experts. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются на каждом токене; 48 слоёв, 512 экспертов и 10 активируемых экспертов. Контекстное окно составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается только thinking mode, а шаблон чата автоматически включает режим рассуждений. Языки и мультимодальные возможности в README не указаны. К сильным сторонам относятся высокая параметрическая и вычислительная эффективность, производительность на сложных задачах рассуждения, программирования, следования инструкциям и работы с инструментами, а также поддержка сверхдлинного контекста. Модель может генерировать особенно длинные рассуждения, поэтому она лучше подходит для комплексных задач, чем для сценариев, требующих минимальной задержки или кратких ответов. В README также не приведены требования к аппаратному обеспечению и подробные ограничения качества. Лицензия — Apache 2.0.

Salience-1.5-Pro — мультимодальная модель класса vision-language, разработанная vectionlabs и представленная в GGUF-квантизациях автором bartowski. Она предназначена для работы с текстом и изображениями, задач рассуждения, программирования, software engineering, агентских сценариев и использования инструментов. В карточке также заявлены архитектура mixture-of-experts (MoE), поддержка длинного контекста и язык English; точный размер исходной модели и максимальная длина контекста не указаны. Модель содержит MTP-слои (Multi-Token Prediction), которые могут использоваться в llama.cpp для self-speculative decoding и ускорения генерации с параметром --spec-type draft-mtp. Доступны варианты от BF16 размером 71,07 ГБ до более компактных квантизаций Q8_0, Q6, Q5, Q4 и Q3; рекомендуемые варианты различаются балансом между качеством и требованиями к памяти. Ограничения включают зависимость от совместимого программного обеспечения и возможную необходимость обновления llama.cpp или других приложений при поддержке новой архитектуры. Распространение указано по лицензии Apache-2.0. Квантизации рассчитаны на запуск через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI.

airoboros-65b-gpt4-2.0 — плотная языковая модель семейства LLaMA на 65 млрд параметров, дообученная jondurbin для следования инструкциям на синтетических примерах, созданных GPT-4. Серия 2.0 использует данные GPT-4 версии 0614; вариант m2.0 дополнительно объединяет набор данных 1.4.1 без дубликатов и категории system. Модель предназначена для диалоговых ответов, вопросов по предоставленному контексту, программирования, построения планов и генерации структурированных аргументов функций в JSON или YAML. Для диалога используется текстовый шаблон с ролями USER и ASSISTANT; заявленная длина контекста — 2048 токенов. В README для моделей 65B отмечено QLoRA-дообучение. Это текстовая модель, и качество её ответов не гарантирует точность: карточка рекомендует явно просить не придумывать ответ при недостатке данных. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое использование запрещено.

Dolphin 2.9.2 Mixtral 8x22B GGUF — это квантизированная версия языковой модели Dolphin 2.9.2, созданная сообществом cognitivecomputations на базе mistral-community/Mixtral-8x22B-v0.1. Репозиторий bartowski содержит варианты модели в формате GGUF, подготовленные с помощью llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста в диалогах, выполнения инструкций, программирования, математических задач, function calling и агентских сценариев. В обучении использовались наборы данных для чат-взаимодействия, кода, обратной связи по программированию, математики, системных инструкций и работы агентов. Указан английский язык, а формат запросов основан на ChatML с ролями system, user и assistant. Архитектура и максимальный размер контекста в README не указаны. Доступны варианты квантизации от Q8_0 до IQ1_M размером примерно от 32,73 до 149,42 ГБ. Более качественными и рекомендуемыми названы Q5_K_M, Q4_K_M и IQ4_XS; варианты с более низкой разрядностью требуют меньше памяти, но могут заметно уступать по качеству. Модель предназначена для запуска через совместимые инструменты, включая llama.cpp, однако большие размеры файлов предъявляют высокие требования к оперативной памяти и видеопамяти. Модель распространяется по лицензии Apache-2.0. Ограничения включают зависимость качества от выбранной квантизации и значительные требования к ресурсам; сведения о специализированных мультимодальных возможностях и поддержке других языков отсутствуют.

EuroBERT-2.1B — мультиязычная плотная модель-энкодер семейства EuroBERT, разработанная командой EuroBERT. Модель содержит 2,1 млрд параметров и обрабатывает последовательности длиной до 8192 токенов. Это masked language model для заполнения пропусков; её также можно дообучать или использовать с соответствующими головами для классификации текста и токенов, ответов на вопросы, поиска и регрессии. Модель рассчитана на английский, французский, немецкий, испанский, китайский, итальянский, русский, польский, португальский, японский, вьетнамский, нидерландский, арабский, турецкий и хинди. Карточка также указывает поддержку кода и математики. Для работы подходит библиотека Transformers версии 4.48.0 и выше; веса доступны в форматах PyTorch и Safetensors. EuroBERT-2.1B показала сильные результаты в оценках мультиязычного поиска, классификации, регрессии, качества переводов, кода и математических задач; авторы сообщают, что она превзошла сравниваемые системы в проведённых оценках. Как энкодер, она не предназначена для свободной генерации длинных ответов. Лицензия — Apache-2.0.

GLM-4.7-Flash-FP8-Dynamic — динамически квантованная в формате FP8 версия языковой модели GLM-4.7-Flash. Квантование выполнено командой Unsloth на базе модели zai-org/GLM-4.7-Flash; исходную модель разработала команда GLM. Модель распространяется для генерации текста и предназначена для быстрого и эффективного локального инференса. GLM-4.7-Flash — разреженная MoE-модель с общей конфигурацией 30B параметров и активными 3B параметрами. Она поддерживает английский и китайский языки и может применяться для рассуждений, программирования, агентских сценариев, вызова инструментов и других задач генерации текста. В README приведены высокие результаты на ряде тестов, включая AIME 25, GPQA, SWE-bench Verified, τ²-Bench и BrowseComp, однако показатели зависят от условий оценки и не гарантируют аналогичную производительность в прикладных задачах. Ключевое преимущество этой версии — снижение вычислительных требований и ускорение инференса благодаря динамическому FP8-квантованию, при заявленном Unsloth сохранении высокой точности. Модель поддерживается фреймворками vLLM, SGLang и Transformers, но для некоторых сценариев требуются актуальные версии из основных веток проектов. В README не указаны размер контекста и мультимодальные возможности; описанная версия ориентирована на текстовые задачи. Лицензия — MIT.

Hermes-4-14B-abliterated-4bit-mlx — языковая модель, подготовленная divinetribe на основе Babsie/Hermes-4-14B-BF16-abliterated. Постобучение семейства Hermes 4 выполнено NousResearch, базовая архитектура Qwen3 разработана Alibaba, а abliteration применена Babsie. Модель преобразована в 4-битный формат MLX для локального запуска на устройствах Apple Silicon. Модель предназначена для генерации текста, следования инструкциям, работы с инструментами и структурированного вывода, включая локальные OpenAI-совместимые серверы и сценарии программирования. Она поддерживает английский язык, использует токенизатор и chat template Qwen3 и имеет контекст до 40 960 токенов. Квантование выполнено методом affine с размером группы 64; формат хранения — MLX safetensors. Размер на диске составляет около 8 ГБ, поэтому модель рассчитана на комфортную работу на Mac с 16 ГБ памяти и выше. К сильным сторонам относятся локальная работа без облака, API-ключей и телеметрии, относительно небольшой объём памяти и оптимизация для быстрой инференции на Apple Silicon. Abliteration уменьшает склонность исходной модели отказывать в ответах на допустимые, но потенциально спорные запросы, однако не является улучшением общих способностей и требует ответственного применения. Ограничения включают зависимость от оборудования Apple Silicon, поддержку только текстовых сценариев и возможное снижение качества по сравнению с полноточной версией из-за 4-битного квантования. Модель распространяется по лицензии Apache 2.0, унаследованной от upstream-семейства Hermes 4 и Qwen3.

Meta Llama 3 70B Instruct — разработанная Meta инструкционная языковая модель для диалоговых сценариев. Это плотная авторегрессионная трансформерная модель семейства Llama с 69,5 млрд параметров и механизмом Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей. Модель принимает текст и генерирует текст, включая код; поддерживает контекст до 8192 токенов. Модель предназначена прежде всего для общения с ассистентом на английском языке и может использоваться в коммерческих и исследовательских приложениях: для ответов на вопросы, написания и объяснения кода, а также генерации текста. Карточка отмечает высокие результаты семейства на распространённых отраслевых тестах, но не приводит их численные значения. Модель статична, обучена на офлайн-данных и может выдавать неточные или небезопасные ответы; для конкретного приложения следует настраивать дополнительные меры безопасности. Использование регулируется пользовательской коммерческой лицензией Meta Llama 3 и политикой допустимого использования.

AI-Engine/Meta-Llama-3-8B-Instruct-GGUF — это GGUF-квантизированная версия инструкционно дообученной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и кода, прежде всего для диалоговых ассистентов, обработки инструкций и других задач генерации на английском языке. Репозиторий содержит варианты квантования для llama.cpp, включая версии с imatrix. Модель имеет авторегрессионную архитектуру на основе оптимизированного Transformer, около 8 млрд параметров и поддерживает только текстовые входы и выходы. Она использует Grouped-Query Attention (GQA), контекстное окно до 8 тысяч токенов, а инструкционная версия обучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Данные обучения включали новый набор общедоступных онлайн-данных; дата отсечения знаний указана как март 2023 года. К сильным сторонам относятся ориентация на диалог, генерацию текста и кода, относительно компактный размер 8B и возможность локального запуска через совместимые инструменты GGUF и llama.cpp. Ограничения включают англоязычную специализацию, статичность модели и устаревание знаний после даты отсечения; качество и требования к ресурсам зависят от выбранного уровня квантования. Использование регулируется пользовательской лицензией Meta Llama 3 и соответствующей Acceptable Use Policy; в README указано, что доступна коммерческая лицензия с особыми условиями.

MiroThinker-1.7-mini-GGUF — GGUF-квантизированная версия языковой модели MiroThinker-1.7-mini, разработанной командой MiroMind AI. Модель создана для агентных сценариев, глубокого исследования, сложных вопросов и многошагового анализа с использованием инструментов. Она ориентирована на выполнение длинных цепочек рассуждений и поддерживает до 300 вызовов инструментов в рамках одной задачи. Модель содержит 30 млрд параметров и имеет контекстное окно до 256 тыс. токенов. Указана поддержка английского языка; модальность — текстовая. В качестве базовой модели обозначена Qwen/Qwen3-235B-A22B-Thinking-2507. GGUF-версия была создана с использованием llama.cpp. К сильным сторонам относятся большой контекст, многошаговое рассуждение и ориентация на исследовательские агентные процессы. Ограничения включают зависимость качества от корректной интеграции инструментов и значительные требования к вычислительным ресурсам; конкретный вариант квантования в README не указан. Модель распространяется по лицензии Apache-2.0.

Nemotron-3.5-Lightning-30B-A3B-CRACK-GGUF — производная GGUF-версия модели NVIDIA Nemotron-3.5-Lightning-30B-A3B, подготовленная Dealign.ai для запуска через llama.cpp. Это языковая модель для генерации текста, рассуждений и исследовательских сценариев, включая авторизованное red-teaming. Поддерживаются английский и китайский языки. Модель использует гибридную архитектуру Mamba-2 SSM, Mixture-of-Experts и attention: 52 слоя, включая 23 слоя Mamba-2, 23 MoE-слоя и 6 attention-слоёв; всего 128 маршрутизируемых экспертов, около 3 млрд активных параметров. Заявлен контекст до 262K токенов, а режим рассуждений включён по умолчанию. Репозиторий содержит квантизации Q8_0, Q4_K_M и Q2_K размером около 35,0, 25,4 и 18,7 ГБ соответственно; Q4_K_M обозначена как сбалансированный рекомендуемый вариант. Во все варианты встроена native MTP-голова для спекулятивного декодирования без отдельной draft-модели. Abliteration CRACK удаляет поведение отказа при сохранении знаний, рассуждений и многоязычности, однако по тесту MMLU результат снизился с 78,3% у базовой модели до 74,2%, особенно в STEM и гуманитарных дисциплинах. По HarmBench модель продемонстрировала 100% выполнения вредоносных запросов без отказов, поэтому имеет существенно сниженные защитные ограничения и требует ответственного и законного применения. Лицензия — NVIDIA Open Model License; модель является производной квантизированной версией базовой модели NVIDIA.

mkurman/Qwen2.5-14B-DeepSeek-R1-1M — объединённая языковая модель для генерации текста, созданная на основе DeepSeek-R1-Distill-Qwen-14B и Qwen/Qwen2.5-14B-Instruct-1M. Слияние выполнено методом TIES с использованием Qwen2.5-14B-Instruct-1M в качестве базовой модели; заявленная цель — сочетать возможности рассуждения DeepSeek-R1 с поддержкой длинного контекста модели Qwen2.5. Модель предназначена для универсальной генерации текста и диалоговых сценариев, включая программирование, анализ документов и работу с большими объёмами контекста. Она поддерживает использование через Transformers, а также может запускаться в LM Studio и Ollama при наличии файлов GGUF. Пример применения демонстрирует генерацию Python-кода в формате чата. Из известных характеристик: модель относится к классу causal language models, содержит 14 миллиардов параметров и рассчитана на контекст размером до 1 миллиона токенов, унаследованный от Qwen2.5-14B-Instruct-1M. В конфигурации слияния указан тип данных bfloat16. README не сообщает поддерживаемые языки, результаты бенчмарков или точные требования к оборудованию, поэтому качество рассуждений, эффективность на длинных контекстах и практические ограничения следует оценивать отдельно. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-14B-Instruct-1M — плотная авторегрессионная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста, включая обработку очень длинных документов и контекстов. Модель содержит около 14 млрд параметров; архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и групповое внимание с 40 головами Q и 8 головами KV. Заявленная длина контекста достигает 1 010 000 токенов, а генерация — до 8192 токенов. Для эффективного инференса на длинных последовательностях разработчик рекомендует специальную ветку vLLM с разреженным вниманием и методами экстраполяции длины; для обработки миллиона токенов версии 14B требуется не менее 320 ГБ видеопамяти суммарно. На обычном стеке Qwen2.5 возможна потеря точности при длине свыше 262 144 токенов. Модель основана на Qwen/Qwen2.5-14B и дообучена; лицензия Apache-2.0. Метаданные указывают английский язык, поэтому поддержка других языков здесь не заявляется.

unsloth/Qwen3-4B-Base-unsloth-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-4B-Base, подготовленная Unsloth и основанная на модели Qwen от команды Qwen. Это каузальная языковая модель на стадии предобучения, предназначенная для генерации и продолжения текста, обработки естественного языка, программирования, STEM-задач, логического рассуждения и работы с многоязычными данными. Поскольку модель является базовой, она не заявлена как специально обученная для диалогов или следования инструкциям. Модель содержит около 4,0 млрд параметров, из них 3,6 млрд без учёта embedding-слоёв, имеет 36 слоёв и использует Grouped-Query Attention с 32 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Семейство Qwen3 предварительно обучалось на 36 трлн токенов на 119 языках с использованием данных для кодирования, STEM, рассуждений, книг, многоязычных и синтетических источников. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти; при этом квантование может ограничивать точность по сравнению с полной или менее агрессивно квантованной версией. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется актуальная версия библиотеки Transformers; версии ниже 4.51.0 не поддерживают архитектуру Qwen3.

Verkiki/Qwen3.8-27b-Fable5-Distill-Abliterated-GGUF — производная модель, созданная на основе Blackfrost-AI Qwen3.8-27B-ABLITERATED-BF16 с применением нативного LoRA-адаптера TeichAI Qwen3.8-27B-Fable-Distill-LoRA. Модель относится к архитектуре qwen3_5, имеет класс размера 27B и распространяется в формате GGUF с квантизацией IQ4_XS и importance matrix, рассчитанной после объединения компонентов. Она предназначена для локального использования в задачах планирования, программирования, многошагового рассуждения, технического анализа и агентских рабочих процессов, включая работу с инструментами и многофайловыми проектами. Fable5-Distill ориентирован на декомпозицию задач, удержание инструкций, последовательное планирование и более агентное поведение. Для родительской Fable-модели TeichAI заявлены улучшения на ARC Challenge, ARC Challenge Easy и BoolQ, однако эти результаты не являются измерениями именно финальной квантизированной сборки. Поддерживаются режимы thinking с параметрами reasoning_effort low, medium и xhigh; шаблон по умолчанию использует xhigh. Сочетание с аблитерированной базой должно снижать склонность к отказам, но итоговые поведение и качество следует оценивать отдельно. К ограничениям относятся отсутствие в предоставленных данных точного размера контекстного окна, перечня поддерживаемых языков и подтверждения мультимодальных возможностей, несмотря на соответствующие метки. IQ4_XS уменьшает требования к памяти по сравнению с BF16 и Q8, но может снижать точность относительно исходных весов. Модель распространяется по лицензии Apache-2.0.

AceInstruct-72B — разработанная NVIDIA большая языковая модель для программирования, математики и общих задач. Это плотная авторегрессионная модель семейства Qwen2 с 71,5 млрд параметров, дообученная методом supervised fine-tuning на базовой модели Qwen2.5-Base с использованием общих инструкционных наборов данных. Модель поддерживает диалог и генерацию кода; заявленная длина контекста — 131 072 токена. AceInstruct рассчитана на широкий круг задач по инструкциям, включая написание и объяснение кода, решение математических задач и ответы на вопросы общего характера. В оценках из карточки её результаты сопоставимы с Qwen2.5-Instruct; это результаты бенчмарков, а не гарантия качества для каждого сценария. Модель принимает текст и генерирует текст. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

airoboros-65b-gpt4-m2.0 — плотная авторегрессионная модель семейства LLaMA на 65 млрд параметров, разработанная Jon Durbin и дообученная для следования инструкциям на синтетических данных Airoboros. Версия m2.0 объединяет данные набора 1.4.1 без дубликатов и категории system с данными GPT-4, созданными на основе версии от июня 2023 года; исходная серия также включала данные GPT-4 от марта 2023 года. Модель предназначена для диалога и генерации текста по инструкциям: ответов на вопросы по предоставленному контексту, помощи с программированием, планирования шагов для задач с инструментами и генерации аргументов функций в JSON или YAML. Для общения используется текстовый шаблон с ролями USER и ASSISTANT. Контекст составляет 2048 токенов. Модель обучена с QLoRA; README отмечает, что варианты 65B основаны на оригинальной LLaMA, а не Llama 2. Карточка описывает модель как дающую подробные ответы, ориентированную на использование контекста в закрытых вопросах и включающую примеры планирования и вызова функций. Возможны галлюцинации, особенно если запрос не содержит достаточных сведений; для вопросов по контексту автор рекомендует явно просить не придумывать ответ. Модель выпускается по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение.

BitNet b1.58 2B-4T — языковая модель для генерации текста, разработанная Microsoft Research. Она предназначена для диалоговых сценариев, следования инструкциям, генерации и обработки текста, а также задач, связанных с программным кодом и математикой. Модель обучена на 4 триллионах токенов и имеет около 2 миллиардов параметров. Архитектура основана на Transformer с модифицированными слоями BitLinear, позиционными представлениями RoPE, активацией ReLU² в FFN-слоях и нормализацией subln. Модель обучена с нуля с использованием нативного квантования: веса представлены в формате 1,58 бита с тернарными значениями {-1, 0, +1}, а активации — в 8-битном формате. Используется токенизатор LLaMA 3 с размером словаря 128 256 токенов. Заявленный максимальный контекст составляет 4096 токенов, поддерживаемый язык — английский. Ключевое преимущество модели — потенциально более низкие требования к памяти, энергопотреблению и задержке по сравнению с полноточными моделями сопоставимого размера. Для получения этих преимуществ рекомендуется специализированная реализация bitnet.cpp; при запуске через стандартную библиотеку transformers выигрыш в скорости, задержке и энергопотреблении не гарантируется и может отсутствовать, хотя потребление памяти может быть ниже. Для задач с контекстом существенно длиннее 4096 токенов рекомендуется предварительная адаптация модели к длинным последовательностям. Модель распространяется по лицензии MIT.

DeepSeek-R1-Distill-Llama-70B-GGUF — это квантизированная версия языковой модели DeepSeek-R1-Distill-Llama-70B, разработанной командой deepseek-ai и подготовленной в формате GGUF участником bartowski на основе llama.cpp. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio. Модель дистиллирована из reasoning-модели DeepSeek-R1 и настроена на задачи рассуждения и генерации цепочек рассуждений. Заявлена поддержка контекста до 128 000 токенов. В README не указаны точный вариант квантования, перечень поддерживаемых языков и дополнительные модальности, поэтому её следует рассматривать как текстовую модель. К сильным сторонам относятся большой размер 70B параметров, ориентация на сложное рассуждение и возможность использования квантизированной сборки в локальной инфраструктуре. Ограничения включают потенциально высокие требования к ресурсам, зависимость характеристик от выбранного уровня квантования и типичные для генеративных моделей риски неточных, вредных или неподходящих ответов. Лицензия в предоставленных данных не указана; условия использования следует уточнять в исходном репозитории модели.

puwaer/DeepSeek-V4-Flash-0731-reap-150b-gguf — GGUF-сборка модели puwaer/DeepSeek-V4-Flash-0731-reap-150b, подготовленная для llama.cpp с использованием moe-compress и llama.cpp. Это текстовая генеративная модель класса Mixture-of-Experts (MoE), созданная на основе DeepSeek-V4-Flash-0731 и сжатая методом REAP: в каждом слое используется 132 маршрутизируемых эксперта вместо 256 в базовой модели. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и программирования. В GGUF встроен шаблон чата с включённым по умолчанию режимом reasoning; поддерживаются вызовы инструментов через OpenAI-совместимый интерфейс. Доступны варианты MXFP4_MOE размером 79,21 GiB, а также Q3_K_M, IQ3_XXS и Q2_K размером от 66,07 до 58,11 GiB. Вариант MXFP4_MOE битово идентичен исходному checkpoint, тогда как остальные являются повторной квантизацией уже 4-битных данных и могут сильнее снижать качество. Рекомендуется полный GPU offload; проверенный размер контекста — 4096 токенов. Базовый вариант помещается в одну видеокарту с 96 GB памяти. Сильные стороны модели — существенно меньший размер по сравнению с базовой моделью, сохранение высокой производительности после экспертного pruning и поддержка llama.cpp. Для REAP 150b приведены результаты исходного checkpoint: GSM8K — 0,9295, MATH-500 — 0,7140, HumanEval+ — 0,8963 и MBPP+ — 0,7593; отдельные варианты квантизации не тестировались, поэтому их влияние на точность не измерено. Языки и максимальный контекст модели в README не указаны. Распространение заявлено по лицензии MIT.

Dolphin 2.8 Mistral 7b v0.2 — языковая модель общего назначения из семейства Dolphin, разработанная Cognitive Computations при дообучении Eric Hartford и Cognitive Computations. Эта версия распространяется в формате GGUF; квантизацию выполнил bartowski на основе llama.cpp. Базовая модель — Mistral-7B-v0.2, размер — около 7 млрд параметров. Модель предназначена для генерации текста, диалогов, ответов на вопросы, рассуждений и программирования. В обучении использовались разговорные, логические и кодовые данные, включая наборы Dolphin, Dolphin Coder, Samantha, Airoboros, OpenHermes и Code-Feedback. Указан английский язык. Модель работает только с текстом и рассчитана на локальный запуск, в том числе через LM Studio; для неё рекомендуется шаблон запросов ChatML и системная инструкция «You are Dolphin, a helpful AI assistant». Сильными сторонами являются универсальность, поддержка повседневных ассистентских сценариев и наличие данных для задач программирования. В README приведён результат HumanEval pass@1 0,469, однако он помечен как непроверенный. Размер контекста и другие подробные характеристики архитектуры не указаны, поэтому возможности модели могут зависеть от используемого варианта GGUF и настроек запуска. Модель распространяется по лицензии Apache 2.0.

Dolphin 3.0 Mistral 24B — диалоговая инструкционная языковая модель семейства Dolphin, подготовленная Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations на базе Mistral Small 24B Base. Это плотная модель с архитектурой MistralForCausalLM, содержащая 23,4 млрд параметров; она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и использует шаблон диалога ChatML. Модель предназначена для локального применения в качестве помощника общего назначения: она отвечает на вопросы и следует системным инструкциям, помогает с программированием и математикой, а также поддерживает сценарии с агентными инструкциями и вызовом функций. В README отмечено, что поведение и тон можно задавать системным промптом; для этой модели авторы рекомендуют низкую температуру генерации 0,05–0,1. Модель дообучена на смесях инструкционных, математических, кодовых и диалоговых данных. В метаданных указан английский язык, поэтому уверенно описывать поддержку других языков нельзя. Это текстовая модель без заявленных возможностей обработки изображений или аудио. Для работы с ней нужны совместимая среда запуска и достаточные вычислительные ресурсы; качество ответов зависит от системного промпта и настроек генерации. Лицензия в предоставленных данных не указана.

Gemma-4 26B-A4B-it — текстовая instruction-tuned модель Google, представленная в формате GGUF. Данная версия конвертирована и квантизирована Arun Prasath E G для запуска через llama.cpp на CPU без GPU; дообучения не выполнялось. Модель использует архитектуру mixture-of-experts с 26 млрд параметров и восемью экспертами. В описании указан английский язык, другие языки и размер контекста не заявлены. Модель предназначена для генерации текста, включая диалоговые ответы, решение задач, ответы на фактические вопросы и написание кода. Основной вариант использует квантизацию Q4_0; также доступна версия с дополнительной квантизацией выходной головы до 2,4 бит на вес. Для ускорения предусмотрен официальный MTP-drafter и speculative decoding. В CPU-сценариях на i9-13900K с 64 ГБ памяти заявлена скорость около 40 токенов в секунду в однопоточном потоке генерации и около 124 токенов в секунду совокупно при batch 32. Сильные стороны модели — возможность локального запуска без GPU, высокая скорость при подходящей конфигурации и сохранение идентичного вывода базовой Q4_0-версии при использовании speculative decoding. Результаты зависят от процессора, пропускной способности памяти, температуры и параметров запуска. Использование только трёх из восьми экспертов является приближением: на тестовых запросах ответы совпали с режимом top-8, но perplexity на необработанном тексте выросла. Для работы требуются совместимые форки llama.cpp и значительный объём памяти; заявленные показатели относятся к конкретному стенду и не гарантируются на другом оборудовании. Базовые веса и MTP-drafter распространяются по условиям Gemma Terms of Use. В репозитории представлены конвертации и квантизации официальных весов Google, а не отдельная дообученная модель.

AtomicChat/gemma-4-E2B-it-assistant-GGUF — это квантизированная в формат GGUF версия модели google/gemma-4-E2B-it-assistant, подготовленная командой Atomic Chat на основе оригинальных весов Google. Модель предназначена для локального и полностью автономного запуска, прежде всего для текстовой генерации, диалоговых ассистентов, рассуждений, программирования и обработки длинного контекста. Для работы в llama.cpp необходимо применять шаблон чата Gemma 4 через параметр --jinja. Модель имеет плотную decoder-архитектуру Gemma4AssistantForCausalLM с 35 слоями, гибридным вниманием — скользящее окно 512 токенов и глобальное внимание — четырьмя attention heads на одну KV head, словарём из 262 тысяч токенов и заявленным контекстом до 128K токенов. Эффективный размер составляет 2,3 млрд параметров, или 5,1 млрд с учётом embedding-параметров. Базовая модель поддерживает текст, изображения и аудио, однако представленные GGUF-файлы являются текстовыми и не содержат vision projector. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что помогает сохранять качество исходной модели при меньшем размере. Сильными сторонами являются компактность, возможность офлайн-развёртывания, поддержка длинного контекста и несколько уровней компромисса между качеством, скоростью и требованиями к памяти. Ограничения этой версии — отсутствие мультимодальных возможностей базовой модели и потенциальная потеря качества при низкобитной квантизации; приведённые в README результаты относятся к исходной модели Google, а не к самостоятельным измерениям этой сборки. Модель распространяется по лицензии Apache-2.0.

INTELLECT-3-REAP-50-heretic — текстовая чат-модель jtl11, созданная на основе PrimeIntellect/INTELLECT-3. Это версия INTELLECT-3 с удалением 50% экспертов методом REAP (Router-weighted Expert Activation Pruning) и изменением поведения отказов с помощью abliteration. Модель сохраняет архитектуру GLM-4 MoE; в репозитории указано 8,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для генерации текста в диалоге, включая ответы на запросы, код и сложные многошаговые задачи. Калибровка REAP использовала примеры генерации кода, вызова функций и многоходовых сценариев для агентов. В сравнении с исходной моделью в README указано 3 отказа из 100 запросов против 60 из 100; измеренная KL-дивергенция составляет 0,0413. Модель доступна в формате safetensors по лицензии Apache-2.0.

InternLM2.5-7B-Chat-1M — диалоговая языковая модель команды InternLM, вариант InternLM2.5-7B-Chat для работы с контекстом до 262 144 токенов по метаданным. Это плотная авторегрессионная модель семейства InternLM2 с 7,4 млрд параметров, предназначенная для генерации текста в ответ на запросы и ведения диалога. Модель рассчитана на анализ длинных документов, поиск сведений в большом контексте, математические рассуждения и сценарии с использованием инструментов. В README заявлена оценка на текстах длиной до миллиона токенов и приводится рекомендация использовать LMDeploy для инференса с таким контекстом; Transformers не поддерживает этот режим напрямую. Поэтому заявленную длину в миллион токенов следует считать характеристикой описанного в README режима, тогда как метаданные указывают native context в 262 144 токена. Репозиторий содержит веса в формате safetensors. README сообщает, что код распространяется по Apache-2.0, а для весов открыто академическое исследование и предусмотрена бесплатная коммерческая лицензия по запросу. Модель ориентирована на практическое применение, но её заявления о качестве приведены разработчиком по результатам собственных оценок.