II.7DevOps, облако и эксплуатация IT-систем

RedHatAI/Llama-3.3-70B-Instruct-NVFP4 — это квантизированная версия Meta-Llama-3.3-70B-Instruct, разработанная RedHatAI. Модель предназначена для коммерческого и исследовательского использования в сценариях ассистентского диалога и генерации текста. Она принимает текстовые входные данные и генерирует текстовые ответы. Модель использует архитектуру Meta-Llama-3.3 и содержит 70B параметров согласно идентификатору и базовой модели. Веса и активации линейных операторов в блоках Transformer квантизированы в формат FP4 по схеме NVFP4 с использованием LLM Compressor. Это уменьшает объём хранения и требования к памяти GPU примерно на 75% по сравнению с представлением с 16 битами на параметр. Модель подготовлена для инференса с vLLM версии 0.9.1 и выше; в README приведён сценарий развёртывания на двух GPU. Размер контекста и точные характеристики производительности не указаны. К сильным сторонам относятся существенно сниженные требования к дисковой и GPU-памяти, а также сохранение назначения исходной instruct-модели для чат-сценариев. Ограничением является возможная потеря качества из-за квантизации; README сообщает о проведённых оценках, но приведённые результаты в предоставленных данных неполны. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако указания по области применения ограничивают использование английским языком. Модель распространяется по лицензии llama3.3.

Marlowe-22B R1.5 — модель генерации текста с рассуждениями, созданная devvexus на основе Qwen3.8-27B. Разработчик удалил 12 линейно-аттенционных слоёв из исходной 27,32-миллиардной модели и восстановил часть потерь знаний дистилляцией и целевым дообучением. В репозитории опубликован GGUF-файл с квантизацией Q4_K_M; адаптер LoRA объединён с весами. Модель содержит 22,30 млрд параметров и 52 слоя, включая 36 слоёв DeltaNet и 16 слоёв полного внимания. Модель предназначена для диалогов и генерации текста с рассуждениями, в том числе инженерных и научно-технических задач. По описанию разработчика, сокращённая модель сохраняет 94,8% проверенных фактов родительской модели и рассчитана на запуск целиком на потребительском GPU с 16 ГБ памяти при Q4_K_M. Для запуска приведена конфигурация llama.cpp с контекстом 32 768 токенов и квантованием KV-кэша. В карточке указаны английский язык и лицензия Apache-2.0. Модель сохраняет часть возможностей Qwen3.8-27B, но её зрительная башня удалена, поэтому этот вариант предназначен для работы с текстом, а не с изображениями или видео. Разработчик отмечает сохраняющийся разрыв с исходной моделью в физике, статистике, информатике и вычислениях с вращениями и тригонометрией.

RedHatAI/Meta-Llama-3.1-8B-FP8 — квантизированная версия базовой текстовой модели Meta-Llama-3.1-8B, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для коммерческого и исследовательского использования, включая многоязычные сценарии. В README указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако отдельно отмечено ограничение на использование в языках, отличных от английского. Модель использует архитектуру Meta-Llama-3.1 и формат FP8 для квантизации весов и активаций линейных операторов в трансформерных блоках. Применяется симметричная поканальная для всего тензора квантизация с фиксированным масштабированием; выходной слой lm_head не квантизируется. Размер модели — 8 миллиардов параметров. Оптимизация уменьшает число бит на параметр с 16 до 8, а также примерно на 50% сокращает требования к дисковому пространству и памяти GPU. Модель подготовлена для инференса с vLLM. К сильным сторонам относятся снижение требований к памяти и более эффективное развертывание при сохранении характеристик исходной модели: средний результат на OpenLLM benchmark v1 составил 65,90 против 66,47 у неквантизированной версии. К ограничениям относятся возможная потеря качества из-за квантизации, отсутствие заявленной информации о размере контекста и необходимость совместимого окружения vLLM. Модель распространяется по лицензии llama3.1.

Meta-Llama-3-8B-Instruct-GGUF — это инструкционная языковая модель семейства Llama 3, разработанная Meta и представленная в формате GGUF сообществом bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. В README указаны английский язык и категория text-generation. Из доступных данных известно, что модель основана на Llama 3 и имеет размер 8 миллиардов параметров. Формат GGUF ориентирован на локальный запуск совместимыми средствами инференса, однако конкретная схема квантования, максимальная длина контекста, требования к оборудованию и дополнительные возможности в README не указаны. Сильными сторонами являются компактный для крупной языковой модели размер и специализация на следовании инструкциям; ограничения включают отсутствие подтверждённых сведений о поддерживаемых языках помимо английского, точности и производительности в различных сценариях. Модель распространяется по лицензии Meta Llama 3 Community License. При использовании и распространении необходимо соблюдать условия этой лицензии, включая требования к атрибуции, отображению надписи «Built with Meta Llama 3», соблюдение Acceptable Use Policy и ограничения, связанные с крупными коммерческими сервисами.

MiniCPM5-2B-GGUF — это набор общественных GGUF-квантизаций плотной языковой модели MiniCPM5-2B, разработанной OpenBMB и преобразованной в формат GGUF автором ngquocvinh. Релиз предназначен для локального запуска через llama.cpp и совместимые среды, включая Ollama и LM Studio, а также для создания локальных ассистентов, coding agents, сценариев с использованием инструментов и развёртывания на устройствах с ограниченными ресурсами. Релиз является только конвертацией и квантизацией исходной модели без дополнительного обучения, дообучения, объединения весов или иных изменений параметров. Модель использует архитектуру LlamaForCausalLM, содержит около 2,52 млрд параметров, 42 слоя и GQA с 16 query-heads и 2 KV-heads. Нативная длина контекста составляет 131 072 токена. В метаданных указаны английский и китайский языки. Поддерживаются генерация текста, рассуждения и официальный шаблон чата с thinking и XML-стилем вызова инструментов, однако поведение tool calling в этом релизе отдельно не сертифицировано. Доступно несколько уровней квантизации: от Q8_0 и Q6_K с наибольшей близостью к BF16-версии до более компактных вариантов с меньшей точностью. Чем сильнее сжатие, тем ниже требования к ресурсам, но тем заметнее отклонение поведения от исходной модели; экстремально низкие уровни, такие как Q1_0 и некоторые Q2-варианты, демонстрируют существенную потерю качества по приведённым измерениям. Релиз распространяется по Apache License 2.0 с требованием сохранять атрибуцию OpenBMB и лицензию при перераспределении. Это общественная квантизация, не официальный релиз и не одобрение OpenBMB.

MiniCPM5-2B-heretic — производная версия MiniCPM5-2B, представленная в репозитории Dingdust и ориентированная на генерацию текста в диалогах. Это плотная причинная языковая модель на архитектуре LlamaForCausalLM с 2,2 млрд параметров по метаданным и контекстом до 131 072 токенов. Карточка описывает исходную MiniCPM5-2B как компактную модель для локальных ассистентов, программирования, математических рассуждений, работы с длинным контекстом, вызова инструментов и агентных сценариев на устройствах с ограниченными ресурсами. В метаданных отмечены английский и китайский языки, а также теги uncensored и abliterated; конкретный способ получения версии heretic и её отличия от исходных весов в карточке не раскрыты. Указан формат safetensors и библиотека Transformers. Лицензия — Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными; для чувствительных тем они не заменяют консультацию специалиста.

Ministral-3-14B-Instruct-2512-textonly-NVFP4 — текстовая производная модели Ministral-3-14B-Instruct-2512-BF16 от Mistral, подготовленная сообществом ppetermann. Модель предназначена для генерации текста и использования в формате instruct, включая развёртывание сервиса вывода через vLLM и OpenAI-совместимый API. Модель содержит только языковую часть исходного мультимодального чекпойнта: поддержка изображений и другие функции компьютерного зрения удалены. Она основана на архитектуре MistralForCausalLM и имеет заявленный размер исходной модели 14B параметров. Веса полностью квантизованы в формате NVFP4 и сохранены в формате compressed-tensors, что ориентировано на эффективное выполнение при поддержке соответствующего аппаратного и программного стека. README не указывает языки, размер контекста и точные характеристики качества. Сильными сторонами являются уменьшенный формат хранения и ориентация на производительное серверное инференс-развёртывание; автор сообщает около 21 токена в секунду на запрос при работе через vLLM на машине с GB10. Ограничения включают отсутствие мультимодальности и зависимость от совместимости с vLLM и NVFP4. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Mistral-7B-Instruct-v0.3-FP8 — квантизированная версия текстовой instruction-модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычного ассистентского диалога, включая чат-ботов и исследовательские или коммерческие приложения. Дата выпуска — 26 июня 2024 года, версия 1.0. Модель использует архитектуру Mistral-7B-Instruct-v0.3 и квантизацию весов и активаций в формат FP8. Квантизации подвергнуты линейные операторы внутри transformer-блоков с применением симметричного масштабирования по тензору. Это примерно вдвое уменьшает число битов на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением. Модель подготовлена для инференса через vLLM версии 0.5.0 и новее; в README также указан контекст длиной 4096 токенов для процедуры оценки и примеров использования. По данным OpenLLM Leaderboard v1, средний результат FP8-версии составляет 65,85 против 66,33 у неквантизированной модели, что указывает на небольшую потерю качества при заметном снижении требований к ресурсам. Ограничения включают ориентацию на английский язык: использование на других языках указано как выходящее за заявленную область применения. Условия лицензии — Apache 2.0; использование должно соответствовать применимым законам и нормативным требованиям.

AceReason-Nemotron-14B-GGUF — это квантизированная версия языковой модели AceReason-Nemotron-14B, разработанной NVIDIA. Сборка подготовлена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, решения математических задач, рассуждений и программирования; поддерживает английский язык и запускается через llama.cpp, LM Studio и другие совместимые проекты. Размер исходной модели составляет 14 млрд параметров. В репозитории доступны варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы варианты Q6_K, Q6_K_L, Q5 и Q4_K_M; для устройств с ограниченной памятью доступны более компактные варианты, но с более низким качеством. Архитектура, максимальная длина контекста и другие подробные характеристики в README не указаны. Модель удобна для локального запуска и ресурсоэффективного вывода, однако качество зависит от выбранного уровня квантования, а низкобитные варианты могут заметно уступать более крупным по точности. Для корректной работы следует использовать указанный формат prompt. Модель распространяется по NVIDIA Open Model License; конкретные условия необходимо уточнять в тексте лицензии NVIDIA.

Olmo-Hybrid-Think-SFT-7B — языковая модель Allen Institute for AI (Ai2) семейства OLMo Hybrid. Это плотная авторегрессионная модель с гибридной RNN-архитектурой, содержащая 6,3 млрд параметров и принимающая текстовые запросы для генерации текста и диалоговых ответов. Модель дообучена методом supervised fine-tuning на Dolci-Think-SFT-7B с примерами по математике, программированию, диалогу и общим знаниям; карточка указывает английский язык. Контекст — до 32 768 токенов. Модель предназначена для диалогового использования и задач рассуждения, включая математику и программирование. Ai2 сообщает о повышенной эффективности предобучения и улучшенной скорости и экономии памяти при работе с длинным контекстом; результаты отдельных бенчмарков приведены в карточке. Доступен интерфейс для вызова инструментов, однако сам по себе он не гарантирует корректность ответов или выполнения действий. Вес репозитория опубликован в формате safetensors, для работы указана библиотека Transformers версии 5.3.0 или выше. Лицензия — Apache 2.0; модель предназначена для исследований и обучения согласно рекомендациям Ai2 по ответственному использованию. Ответы могут содержать фактические ошибки и смещения, а без дополнительной фильтрации модель может генерировать вредный или чувствительный контент.

Карточка модели lausannequants/OpenThinker-7B на Hugging Face совпадает с карточкой open-thoughts/OpenThinker-7B, поэтому описание составлено по ней. OpenThinker-7B — плотная авторегрессионная языковая модель семейства Qwen2, разработанная командой OpenThoughts. Она дообучена на Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts-114k, созданном с использованием дистилляции DeepSeek-R1. Модель содержит 7,1 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов с упором на рассуждения, решение математических задач, вопросы по естественным наукам и программирование. В README приведены оценки на AIME24, MATH500, GPQA-Diamond и задачах LiveCodeBench; результаты показывают сильные стороны в математике и коде, но не гарантируют точность каждого ответа. Веса, данные и код проекта опубликованы; лицензия модели — Apache 2.0. Это текстовая модель, поэтому она не принимает изображения или аудио. Как и другие языковые модели, она может выдавать неверные ответы и требует проверки результатов, особенно в задачах, где ошибка критична.

Карточка модели schwyzquant/OpenThinker-7B на Hugging Face совпадает с карточкой open-thoughts/OpenThinker-7B, поэтому описание составлено по ней. OpenThinker-7B — плотная авторегрессионная языковая модель семейства Qwen2, разработанная командой OpenThoughts. Она дообучена на Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts-114k, созданном с использованием дистилляции DeepSeek-R1. Модель содержит 7,1 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов с упором на рассуждения, решение математических задач, вопросы по естественным наукам и программирование. В README приведены оценки на AIME24, MATH500, GPQA-Diamond и задачах LiveCodeBench; результаты показывают сильные стороны в математике и коде, но не гарантируют точность каждого ответа. Веса, данные и код проекта опубликованы; лицензия модели — Apache 2.0. Это текстовая модель, поэтому она не принимает изображения или аудио. Как и другие языковые модели, она может выдавать неверные ответы и требует проверки результатов, особенно в задачах, где ошибка критична.

Карточка модели shaffhausenquant/OpenThinker-7B на Hugging Face совпадает с карточкой open-thoughts/OpenThinker-7B, поэтому описание составлено по ней. OpenThinker-7B — плотная авторегрессионная языковая модель семейства Qwen2, разработанная командой OpenThoughts. Она дообучена на Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts-114k, созданном с использованием дистилляции DeepSeek-R1. Модель содержит 7,1 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов с упором на рассуждения, решение математических задач, вопросы по естественным наукам и программирование. В README приведены оценки на AIME24, MATH500, GPQA-Diamond и задачах LiveCodeBench; результаты показывают сильные стороны в математике и коде, но не гарантируют точность каждого ответа. Веса, данные и код проекта опубликованы; лицензия модели — Apache 2.0. Это текстовая модель, поэтому она не принимает изображения или аудио. Как и другие языковые модели, она может выдавать неверные ответы и требует проверки результатов, особенно в задачах, где ошибка критична.

OrakzaiX — это общественный GGUF-релиз модели семейства Llama, поддерживаемый и квантизированный Faisal Orakzai. В метаданных указан upstream-моделью meta-llama/Llama-3-8B-Instruct, однако README позиционирует OrakzaiX именно как квантизированный релиз, а не как самостоятельно обученную базовую модель. Модель предназначена для генерации текста и диалогов с локальным запуском через llama.cpp на пользовательском оборудовании, рабочих станциях, периферийных устройствах или частных серверах. Основные сценарии включают локальных ассистентов, офлайн-прототипирование, разработку инструментов, суммирование и извлечение технической информации, помощь с кодом и документацией, автоматизацию, планирование рабочих процессов и эксперименты с multi-agent orchestration. Доступны варианты GGUF с квантизацией от Q2_K до Q8_0; рекомендуемым начальным вариантом называется Q4_K_M, обеспечивающий компромисс между качеством, скоростью и потреблением памяти. Файлы занимают примерно от 3,18 до 8,54 ГБ, но фактические требования выше из-за контекста, KV-кэша, буферов вычислений и накладных расходов runtime. Сильными сторонами являются локальное и потенциально более приватное выполнение, широкий выбор уровней квантизации и совместимость с экосистемой llama.cpp. При этом README не содержит результатов бенчмарков, данных о точности в конкретных областях, надежности использования инструментов, производительности, поддерживаемых языках или размере контекстного окна. Не подтверждена также пригодность для автономных производственных сценариев; качество следует проверять на собственных задачах и выбранной квантизации. Лицензия указана как other, поэтому перед распространением или коммерческим использованием необходимо изучить условия лицензии OrakzaiX и upstream-модели.

Phi-3-mini-4k-instruct-v0.3-GGUF — набор квантизованных файлов модели Phi-3-mini-4k-instruct-v0.3, основанной на Microsoft/Phi-3-mini-4k-instruct. Исходную модель опубликовал MaziyarPanahi, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач на рассуждение и работы с кодом. В README указан английский язык; поддержка других языков не заявлена. Обозначение 4k указывает на вариант модели с контекстом порядка 4 тысяч токенов, однако точное значение в представленных данных не раскрыто. Модель поставляется в формате GGUF с несколькими уровнями квантизации — от Q8_0 до Q3_K_M и IQ3_M. Размер файлов составляет примерно от 1,95 до 4,06 ГБ, что позволяет выбирать компромисс между качеством генерации и требованиями к оперативной памяти. Для локального запуска рекомендуется использовать llama.cpp или совместимые инструменты. К сильным сторонам относятся компактность, возможность локального развертывания и несколько вариантов квантизации; более агрессивное сжатие может снижать качество ответов. Данные о мультимодальности, точной архитектуре и числе параметров не указаны. Лицензия модели — MIT. В README приведены результаты на ARC-Challenge, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K, однако они относятся к указанной версии модели и не обязательно одинаковы для всех вариантов квантизации.

Phi-4-reasoning — открытая по весам языковая модель Microsoft Research, дообученная на базе Phi-4 с помощью supervised fine-tuning на примерах цепочек рассуждений и обучения с подкреплением. Она предназначена для диалоговых генеративных приложений, где важны рассуждения и логика, а также ограничены вычислительные ресурсы или допустимая задержка. Основные области обучения и оценки — математика, наука и программирование; модель рассчитана прежде всего на английский язык. Модель использует плотный декодерный Transformer архитектуры Phi-3 с 14,1 млрд параметров и контекстом до 32 768 токенов. При инференсе рекомендуется ChatML-шаблон; для более сложных запросов авторы советуют выделять больше токенов на генерацию. Модель может ошибаться и не проходила оценку для всех прикладных сценариев, поэтому ответы следует проверять, особенно при использовании в задачах с высокими последствиями. Лицензия — MIT.

unsloth/Qwen3-4B-Base-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-4B-Base, подготовленная Unsloth на основе модели Qwen/Qwen3-4B-Base. Это каузальная языковая модель на стадии предварительного обучения, предназначенная для генерации и продолжения текста, а также общих задач обработки естественного языка, программирования, STEM и рассуждений. README не уточняет особенности именно 4-битной упаковки и сценарии её применения. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд приходятся на параметры без embedding, имеет 36 слоёв и использует Grouped-Query Attention с 32 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Семейство Qwen3 обучалось на 36 трлн токенов на 119 языках и включает данные для кодирования, STEM, рассуждений, книг, мультиязычных и синтетических задач, однако точные языковые возможности данной версии отдельно не приведены. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битному представлению, длинный контекст и универсальная базовая направленность. Ограничения состоят в том, что это именно базовая, а не инструкционно настроенная модель: README не заявляет о специальной диалоговой настройке, конкретных результатах бенчмарков или требованиях к оборудованию. Для работы рекомендуется актуальная версия библиотеки transformers; версии ниже 4.51.0 могут вызывать ошибку KeyError: 'qwen3'. Модель распространяется по лицензии Apache-2.0.

Jonandrop/Qwen3.6-27B-MTPLX-Optimized-Speed-Vision — мультимодальная модель семейства Qwen, собранная разработчиком Jonandrop на основе Qwen/Qwen3.6-27B и ускоренной версии Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed. Она предназначена для диалогов, программирования и анализа изображений; README также заявляет обработку видео, но описанный интерфейс подтверждает только текстовый и графический ввод. Модель использует архитектуру Qwen3_5ForConditionalGeneration и рассчитана на запуск через MLX и MTPLX на Apple Silicon с многотокенным предсказанием для ускорения генерации. Текстовая часть и MTP-компоненты квантизованы, а восстановленная башня зрения хранится в BF16. В описанном сценарии модель принимает текст и изображения и генерирует текстовые ответы, включая код. README приводит замеры скорости на Apple M5 Pro, но уточняет, что это ориентировочные результаты на небольшом наборе запросов. Репозиторий распространяется по лицензии Apache-2.0. Для запуска описан совместимый с OpenAI API сервер MTPLX.

Карточка модели spinochenza/Qwen3.6-27B-uncensored-heretic-v2 на Hugging Face совпадает с карточкой llmfan46/Qwen3.6-27B-uncensored-heretic-v2, поэтому описание составлено по ней. Qwen3.6-27B-uncensored-heretic-v2 — мультимодальная модель на 27 млрд параметров, созданная независимым автором на основе Qwen/Qwen3.6-27B методом abliteration. Модель предназначена для диалогов, работы с изображениями, программирования и агентных сценариев с вызовом инструментов; автор сообщает о снижении частоты отказов по сравнению с исходной моделью. Архитектура — плотная Qwen3.5 с языковой моделью и визуальным энкодером. Базовая модель поддерживает контекст 262 144 токена с возможностью расширения; в карточке указана работа с изображениями и чат-возможности. В README приведены результаты MMLU исходной модели, но сопоставимых результатов для этой версии нет. Модель распространяется в формате safetensors по лицензии Apache-2.0. Уменьшение числа отказов не гарантирует их полного отсутствия, а результаты тестирования базовой модели нельзя считать оценкой качества этой производной версии.

RedHatAI/Qwen3-Next-80B-A3B-Instruct-NVFP4 — квантизированная языковая модель для генерации текста и диалогового взаимодействия. Модель разработана Red Hat на основе Qwen/Qwen3-Next-80B-A3B-Instruct и использует архитектуру Qwen3NextForCausalLM. На вход принимает текст и возвращает текст; сведения о поддерживаемых языках и максимальной длине контекста в README не указаны. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP4 по схеме NVFP4, при этом отдельные компоненты, включая lm_head, некоторые gate- и attention-слои, не квантизируются. По данным README, это уменьшает число бит на параметр с 16 до 4, а также приблизительно на 75% снижает размер модели на диске и требования к памяти GPU. Модель предназначена для инференса и может запускаться через vLLM; в приведённом примере используется tensor parallelism на двух GPU. Основное преимущество — существенное сокращение потребления памяти при сохранении назначения исходной instruct-модели. Ограничения связаны с использованием низкоразрядной квантизации, которая может влиять на качество генерации, а также с требованиями к совместимому программному и аппаратному окружению; количественная оценка влияния квантизации и подробные результаты бенчмарков в доступном фрагменте README отсутствуют. Модель распространяется по лицензии Apache-2.0.

Qwen3-Swallow-32B-SFT-v0.2 — двуязычная языковая модель команды Swallow LLM, разработанная на базе Qwen3 и дообученная методом supervised fine-tuning (SFT) после этапа continual pre-training. Это плотная авторегрессионная модель семейства Qwen3 с 29,7 млрд параметров, рассчитанная на японский и английский языки. Она принимает текст и генерирует текст; длина контекста по метаданным — 40 960 токенов. Модель предназначена для диалогов и генерации ответов, а также для задач на японском и английском языках, включая перевод между ними, математику, программирование и рассуждения. Авторы сообщают о сохранении или улучшении STEM-навыков и усилении рассуждений; для воспроизводимого инференса рекомендуют vLLM и длину контекста до 32 768 токенов. Вызов инструментов не проходил специальное обучение, а отдельный переключатель режима рассуждений не поддерживается. Модель выпущена под лицензией Apache-2.0. В README отмечено, что она находится на раннем этапе исследований и разработки и не была специально настроена для соответствия намерениям пользователей и требованиям безопасности.

Smaug-Llama-3-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Smaug-Llama-3-70B-Instruct, разработанной Abacus AI. Квантизацию выполнил bartowski с использованием imatrix и поддержки Smaug в llama.cpp. Модель предназначена для генерации текста по инструкциям, решения математических задач и работы с кодом; в качестве исходных данных указаны aqua_rat, microsoft/orca-math-word-problems-200k и m-a-p/CodeFeedback-Filtered-Instruction. Формат GGUF позволяет запускать её через llama.cpp, начиная с версии b3001. Модель содержит 70 миллиардов параметров и относится к текстовым моделям; сведения о поддерживаемых языках и размере контекста в README не указаны. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 75 ГБ до менее 20 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-квантизации отмечены как рекомендуемые: они предлагают компромисс между качеством и требованиями к памяти. Более сильная квантизация сохраняет качество, но требует значительных ресурсов, тогда как варианты Q2 и Q1 экономят память за счёт заметного снижения качества. Для корректной работы следует использовать указанный формат приглашений Llama 3 с системным сообщением, запросом пользователя и ответом assistant. README указывает лицензию llama2; дополнительные ограничения и условия коммерческого использования не описаны.

Myric/Spark-X2.5-4B-GGUF — это GGUF-конверсия модели XHToken/Spark-X2.5-4B, предназначенная для генерации текста и работы в сценариях рассуждений, включая агентное программирование. Модель выпускается в нескольких вариантах точности и квантования для запуска через llama.cpp. Модель имеет плотную архитектуру примерно на 4,11 млрд параметров, 36 слоёв, скрытое пространство размером 2560, 16 query-heads и 4 KV-heads. Она использует чередующееся sliding-window attention: 27 слоёв с окном 512 токенов и 9 слоёв с полным вниманием. Заявлен максимальный контекст до 1 048 576 токенов, однако качество на таком контексте в README не измерялось. Модель поддерживает текстовую модальность, имеет словарь на 131 072 токена и выдаёт блок рассуждений. Сильными сторонами являются сравнительно низкие требования к памяти при длинном контексте, наличие вариантов от BF16 до Q4_K_M и оптимизация квантований с importance matrix. Для запуска требуется специально пропатченная ветка llama.cpp с поддержкой архитектуры spark2_5; стандартная upstream-версия не загрузит модель. Необходимо явно задавать размер контекста, иначе может быть предпринята попытка выделить память под полный контекст в 1 млн токенов. Производительность и результаты в README измерены на ограниченном наборе задач, поэтому их нельзя считать универсальными оценками. Модель и конверсия распространяются по лицензии Apache-2.0.

Карточка модели thoddnn/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

airoboros-l2-70b-2.2 — экспериментальная языковая модель от Jon Durbin, дообученная на базе Llama 2 70B преимущественно на синтетических данных набора airoboros-2.2. Это плотная авторегрессионная модель примерно с 68,7 млрд параметров, рассчитанная на генерацию текста; нативное контекстное окно составляет 4096 токенов. Карточка описывает формат общения с метками USER и ASSISTANT, а также отдельный формат для ответов по предоставленному контексту. Модель предназначена для ответов на инструкции и вопросы, создания текстов, помощи с кодом и генерации структурированных аргументов функций в JSON или YAML. Она также может строить планы выполнения задач с инструментами, но сама по себе инструменты не вызывает. Обучение ориентировано на пары «инструкция — ответ» больше, чем на свободный чат или ролевые сценарии; карточка отмечает возможность переопределения системных инструкций и отсутствие де-алignment данных в этой версии. Модель доступна в формате PyTorch и распространяется по лицензии Llama 2. README характеризует её как экспериментальную и предупреждает, что ответы по контексту могут быть выдуманными; для снижения риска рекомендуется явно просить не придумывать неизвестное и останавливать генерацию перед продолжением от имени пользователя.

Карточка модели jondurbin/airoboros-l2-7b-3.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-m-7b-3.0, поэтому описание составлено по ней. airoboros-m-7b-3.0 — экспериментальная универсальная языковая модель, созданная jondurbin на основе датасета airoboros-3.0, преимущественно синтетических данных. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она принимает текст и выдаёт текст. Модель рассчитана прежде всего на следование инструкциям, ответы по заданному контексту и многошаговый диалог, а не на непринуждённую беседу. Среди заявленных сценариев — суммаризация, помощь с программированием, генерация структурированных аргументов функций и составление планов выполнения задач с инструментами. Для математических вопросов описан экспериментальный подход MathJSON: модель формулирует выражение, которое можно вычислить внешним средством. В карточке также отмечены данные для многоходового ролевого диалога. Для формата диалога используется шаблон Llama 2 chat. Модель выпущена под лицензией Apache-2.0. Автор характеризует её как экспериментальную; для MathJSON требуется внешний вычислитель, а сам подход описан как неполный. Карточка рекомендует низкую температуру генерации; ответы по контексту могут быть ненадёжны, поэтому следует явно просить модель не выдумывать сведения.

Citaman/command-r-35-layer — объединённая модель для генерации текста, созданная Citaman методом SLERP с помощью mergekit на основе Citaman/command-r-36-layer. В конфигурации объединены два среза слоёв одной базовой модели; метаданные относят репозиторий к семейству Cohere и архитектуре CohereForCausalLM с плотными весами. Модель содержит 30,9 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для диалоговой генерации текста и интерфейсов вызова инструментов. Веса доступны в формате safetensors для библиотеки Transformers. В README и метаданных не описаны поддерживаемые естественные языки, качество на конкретных задачах или результаты оценки. Условия лицензирования в предоставленных данных не приведены.

Это экспериментальная версия DeepSeek-R1-Distill-Llama-70B, созданная huihui-ai методом abliteration: из модели удаляли склонность отказываться от ответов. Это плотная причинно-следственная языковая модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов; она работает через Transformers и принимает и выдаёт текст. Модель предназначена для диалогов и генерации текста, в том числе для математических рассуждений, программирования и ответов на сложные вопросы — эти возможности унаследованы от базовой модели. Вариант с abliteration нацелен на ответы без типичных отказов, однако автор описывает метод как грубый proof of concept. Лицензия в предоставленных данных не указана.

unsloth/DeepSeek-V3-0324-GGUF-UD — это набор динамически квантованных версий DeepSeek-V3-0324, подготовленный Unsloth на базе модели deepseek-ai/DeepSeek-V3-0324 в формате GGUF. Модель предназначена для локального запуска через llama.cpp, LM Studio, Open WebUI и другие совместимые фреймворки инференса. В метаданных указано, что основной язык модели — английский. Доступны варианты с эффективной разрядностью от 1,78 до 4,5 бит и размером файлов примерно от 192 до 384 ГБ. Квантизация Dynamic v2.0 выполняется выборочно; в README заявлено, что это позволяет сохранить более высокую точность по сравнению со стандартными методами квантизации. Модель использует архитектуру MoE, что отражено в описании разрядности компонентов смеси. Версии 2,42 бит IQ2_XXS и 2,71 бит Q2_K_XL рекомендованы как наиболее удачные по соотношению производительности и размера; для запуска желательно иметь не менее 180 ГБ совокупной VRAM и RAM. Сильными сторонами являются возможность локального использования крупной модели в распространённых GGUF-фреймворках и оптимизированная динамическая квантизация. Ограничениями выступают чрезвычайно высокие требования к памяти и большой объём файлов. Варианты IQ1_S и IQ1_M обозначены как предварительные: по результатам тестирования они обычно работают нормально, но иногда хуже справляются с генерацией кода. В метаданных указана лицензия MIT.

Eurus-7B-KTO — языковая модель OpenBMB для диалогов и задач, требующих рассуждений. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, контекстом до 32 768 токенов и интерфейсом чата. Модель дообучена методом KTO на базе Eurus-7B-SFT: использованы пары многошаговых диалоговых траекторий UltraInteract и пары предпочтений UltraFeedback. Модель предназначена для генерации ответов и многоходовых диалогов; авторы отдельно отмечают задачи математики и программирования и приводят специальные форматы запросов для них. В README сообщается о сравнительно высоких результатах на оценках рассуждений, математики и диалоговых способностей, однако конкретные метрики в карточке не приведены. Для лицензии Apache-2.0 разрешено использование на её условиях.