II.7DevOps, облако и эксплуатация IT-систем

NVIDIA Llama 3.1 405B Instruct NVFP4 — квантованный чекпойнт Meta Llama 3.1 405B Instruct, подготовленный NVIDIA с помощью TensorRT Model Optimizer. Это авторегрессионная плотная трансформерная языковая модель семейства Llama для генерации текста по инструкциям, диалога и интерфейсов вызова инструментов. Веса и активации линейных операторов в блоках трансформера квантованы до FP4; заявленное сокращение требований к диску и памяти GPU составляет примерно 3,5 раза. Модель содержит 403,7 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает текст и выдаёт текст. Для инференса предусмотрен TensorRT-LLM; README указывает совместимость с архитектурой NVIDIA Blackwell и Linux. Можно применять для диалоговых ассистентов, генерации и преобразования текста по инструкциям, а также сценариев с вызовом инструментов. README заявляет возможность коммерческого и некоммерческого использования; лицензия в метаданных — llama3.1. Квантование может влиять на точность, а для запуска требуется совместимое оборудование и программный стек TensorRT-LLM.

Llama 3 Tulu V2+DPO 70B — языковая модель-инструкция от Allen Institute for AI (AI2), созданная дообучением Llama 3 Tulu 2 70B на предпочтениях UltraFeedback методом DPO. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов и выполнения пользовательских инструкций; принимает текст и генерирует текст. Основной язык — английский, а длина контекста составляет 2048 токенов. Модель подходит для диалоговых помощников, ответов на вопросы, следования инструкциям и генерации текста. В опубликованных оценках показаны результаты на тестах знаний, математики, программирования, следования инструкциям и предпочтений. Модель не проходила этап RLHF для безопасных ответов и не имеет встроенной фильтрации, поэтому может генерировать проблемный контент, особенно по прямому запросу. Выпущена под лицензией Apache 2.0; в карточке также отмечено наличие лицензии сообщества Meta Llama 3.

hugging-quants/Meta-Llama-3.1-8B-Instruct-BNB-NF4 — общественная квантованная версия Meta-Llama-3.1-8B-Instruct, разработанной Meta AI. Модель предназначена для генерации текста и мультиязычного диалогового взаимодействия, включая работу в качестве инструкционно настроенного чат-ассистента. Она поддерживает сценарии вопросно-ответного общения и другие задачи text-to-text, совместимые с causal language modeling, и может использоваться через Transformers или Text Generation Inference. Модель содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В этой версии исходные веса BF16 преобразованы с помощью bitsandbytes в формат NF4 с размером блока 64. Для загрузки контрольной точки требуется около 6 ГиБ VRAM без учёта KV-кэша и CUDA-графов, поэтому фактические требования к памяти выше. Квантование снижает требования к видеопамяти, но может влиять на качество по сравнению с исходной версией BF16. В README размер контекста и результаты конкретных тестов не указаны. Модель распространяется по лицензии Llama 3.1. Для запуска рекомендуются torch, bitsandbytes и Transformers версии 4.43.0 или выше; также заявлена поддержка Text Generation Inference.

WhiskyAKM/MiniCPM5-2B-GGUF — квантизированная версия модели openbmb/MiniCPM5-2B, подготовленная в формате GGUF с использованием инструментов проекта llama.cpp. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, создания локальных ассистентов, coding agents, сценариев вызова инструментов и задач, требующих компактной модели. Это плотная Transformer-модель архитектуры LlamaForCausalLM с 2,52 млрд параметров, 42 слоями и grouped-query attention: 16 голов запросов и 2 головы ключей и значений. Поддерживается контекст до 131 072 токенов, языки — английский и китайский. Модель поддерживает режим рассуждений, управляемый параметром enable_thinking, а также XML-стиль вызова инструментов. Доступны варианты от BF16 до 4-битных квантов; Q4_K_M обозначен как сбалансированный вариант по качеству и размеру, его файл занимает около 1,5 ГБ. К сильным сторонам относятся небольшой размер, возможность локального развертывания, длинный контекст и поддержка спекулятивного декодирования с draft-моделями MiniCPM5-2B-DSpark, что может ускорять генерацию. К ограничениям относятся поддержка только текстовой модальности и заявленных языков, а также потенциальная потеря качества при использовании более агрессивной квантизации. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-heretic — децензурированная версия языковой модели openbmb/MiniCPM5-2B, созданная пользователем RACER IS OP с применением Heretic v1.4.0. Модель относится к классу примерно 2B параметров и предназначена для генерации текста, диалогов, локальных агентных систем, вызова инструментов, написания кода и задач с длинным контекстом. Она поддерживает режимы Think и No-Think, а также может работать на пользовательских GPU, CPU и устройствах Apple Silicon через GGUF-квантизации. Изменения выполнены методом directional ablation («abliteration»): целевые направления отказа подавляются редактированием весов в attention output и MLP down-projections без дообучения. По данным README, это позволило снизить число отказов с 99 до 4 на 100 тестовых запросов при KL divergence 0,0646 относительно исходной модели, сохранив её знания, следование инструкциям, возможности работы с инструментами, кодом и рассуждениями. Заявлены английский и китайский языки; архитектура MiniCPM5 совместима с llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang, причём для вызова функций рекомендован SGLang. Главное преимущество модели — малый размер и широкий выбор GGUF-квантизаций, что упрощает локальный запуск на потребительском оборудовании. Ограничение заключается в намеренном подавлении защитных отказов: модель может отвечать на запросы, от которых исходная версия отказывалась, поэтому её применение требует самостоятельных мер безопасности и контроля. Модель распространяется по лицензии Apache-2.0.

Nanbeige4.1-3B-GGUF — квантованная версия языковой модели Nanbeige4.1-3B, разработанной командой Nanbeige на базе Nanbeige4-3B-Base. Модель дообучалась с применением supervised fine-tuning и reinforcement learning и предназначена для генерации текста, рассуждений, программирования, решения математических и научных задач, использования инструментов и агентных сценариев. Репозиторий GGUF подготовлен Mungert с использованием llama.cpp. Модель относится к компактному классу с примерно 3 млрд параметров, работает с текстом и заявлена для английского и китайского языков. Среди заявленных сильных сторон — многошаговое рассуждение, согласование предпочтений и способность поддерживать длительные агентные процессы с большим числом вызовов инструментов. В README также описан специальный подход к квантованию: отдельные важные слои переводятся в более высокую точность, что может повысить качество при сохранении относительно небольшого размера файлов, но увеличивает их объём. Конкретный контекстный размер и параметры отдельных вариантов квантования не указаны, а фактическое качество зависит от выбранного GGUF-файла и настроек запуска. Модель распространяется по лицензии Apache 2.0. Она подходит для локального запуска через совместимые инструменты экосистемы llama.cpp и для приложений, которым нужны рассуждения, генерация кода или агентное взаимодействие при ограниченных вычислительных ресурсах. Как компактная и квантованная модель, она может уступать более крупным или полноточным системам в отдельных задачах; приведённые результаты относятся к исходной Nanbeige4.1-3B и не обязательно полностью характеризуют каждый GGUF-вариант.

Модель mlx-community/NVIDIA-Nemotron-3-Nano-30B-A3B-MLX-BF16 — версия NVIDIA Nemotron 3 Nano, подготовленная сообществом mlx-community для запуска в формате MLX. README указывает, что она преобразована из nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 с помощью mlx-lm 0.29.1; метаданные связывают её с этой базовой моделью и задачей генерации текста. Модель предназначена для диалоговой генерации текста. Описание базовой модели в каталоге указывает на сценарии рассуждений, программирования и создания агентных приложений; в карточке отмечена поддержка английского, испанского, французского, немецкого, японского и итальянского языков. Репозиторий использует библиотеку MLX и файлы safetensors. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией базовой модели и карточкой репозитория.

Карточка модели antoniogalizia/Phi-3-mini-4k-instruct на Hugging Face совпадает с карточкой microsoft/Phi-3-mini-4k-instruct, поэтому описание составлено по ней. Phi-3-Mini-4K-Instruct — компактная плотная языковая модель Microsoft семейства Phi-3 с 3,7 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-источниках, а затем дообучена методом supervised fine-tuning и оптимизирована по предпочтениям (DPO) для следования инструкциям и повышения безопасности. Для диалогов рекомендуется использовать формат чата. Модель предназначена для генерации текста общего назначения, диалоговых систем, задач рассуждения, математики и программирования. Компактный размер рассчитан на сценарии с ограниченными вычислительными ресурсами и требованиями к задержке; длина контекста составляет 4096 токенов. Модель ориентирована прежде всего на английский язык, также в карточке указана поддержка французского. Модель может ошибаться, выдавать предвзятые или оскорбительные ответы; качество на языках, отличных от английского, может быть ниже. Для критичных сценариев требуется отдельная проверка качества и безопасности. Лицензия — MIT.

unsloth/Qwen2.5-7B — базовая предобученная языковая модель Qwen2.5, представленная в репозитории Unsloth и основанная на Qwen/Qwen2.5-7B. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 7,1 млрд параметров; веса доступны в формате safetensors. Модель предназначена для генерации и продолжения текста, а также для дальнейшего дообучения под конкретные задачи. Модель поддерживает более 29 языков, включая китайский, английский, русский, французский, испанский, немецкий, японский и арабский. Контекст составляет 131 072 токена. Среди описанных возможностей семейства — генерация длинного текста, работа с кодом, математическими задачами, таблицами и структурированными ответами, включая JSON. Это базовая модель без инструкционной настройки, поэтому в карточке не рекомендуется использовать её напрямую для диалогов; для чат-сценариев её следует дообучить. Репозиторий распространяется по лицензии Apache-2.0.

AIArchiveInfo/Qwen3-0.6B — побитовая архивная копия Qwen3-0.6B от команды Qwen, без изменения весов; репозиторий указывает базовую модель Qwen/Qwen3-0.6B-Base. Это плотная причинная языковая модель на 507,9 млн параметров с 28 слоями, предназначенная для генерации текста и диалогов. Модель работает с текстом, поддерживает переключение между режимами рассуждения и обычного диалога, а также интерфейс вызова инструментов. Метаданные указывают контекст до 40 960 токенов; в README приведено значение 32 768 токенов. Заявлена поддержка более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель подходит для ответов на вопросы, следования инструкциям, диалогов, генерации кода, математических и логических задач, творческого письма и сценариев с внешними инструментами. Это компактная модель, которую можно использовать для локальных экспериментов и приложений с ограниченными ресурсами; качество на сложных задачах может уступать более крупным моделям. README отмечает риск повторов при некоторых настройках генерации. Лицензия — Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это GGUF-версия модели на базе DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель создана в результате многоэтапной дообученной настройки и слияния нескольких моделей Qwen3.5 9B; в разработке также участвовал Nightmedia. Предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма, художественной прозы и ролевых сценариев. Заявлена как полностью uncensored и ориентированная на минимизацию отказов. Модель поддерживает контекст до 256k токенов, английский и китайский языки, а также обработку изображений. Для работы с изображениями требуется отдельный файл mmproj, размещённый в одной папке с GGUF-файлом. Доступны обычные и MTP-квантизации в форматах GGUF. NEO IMATRIX заявлена как технология, улучшающая точность квантизированных версий и работу с длинным контекстом, а MTP-варианты могут ускорять генерацию за счёт многотокенного предсказания. К сильным сторонам относятся высокая заявленная производительность на ряде тестов общего назначения, улучшенное следование инструкциям, режимы thinking и instruct, а также возможность запуска в стандартных приложениях, поддерживающих GGUF. Ограничения включают зависимость скорости от аппаратного обеспечения и параметров генерации; MTP-версии могут работать хуже обычных при низком уровне принятия предсказанных токенов, сложных творческих задачах или температуре выше 1. Модель не обязательно превосходит более крупные версии во всех задачах. Лицензия — Apache-2.0.

Qwen3.6-27B-Claude-Opus-Reasoning-Distilled-GGUF — набор GGUF-квантизированных версий модели, разработанный rico03 на базе Qwen3.6-27B от команды Qwen. Модель дообучена примерно на 14 тысячах трасс рассуждений Claude 4.6 Opus и предназначена для генерации текста с акцентом на структурированное рассуждение. Модель ориентирована на сложные задачи, программирование и математику. Заявлены более компактный стиль рассуждений на простых запросах и глубокая пошаговая декомпозиция на трудных задачах, при сохранении возможностей базовой модели в кодинге и математике. Поддерживаются английский и мультиязычные сценарии. Архитектура основана на Qwen3.6-27B; точный размер контекста в README не указан, а пример запуска использует контекст 8192 токена. Модель доступна в вариантах квантизации от Q2_K до Q8_0 размером примерно от 10 до 28,6 ГБ, что позволяет выбирать между требованиями к памяти и качеством. Формат совместим с llama.cpp, Ollama, LM Studio и другими GGUF-совместимыми средами. Ограничения включают возможную потерю качества при сильной квантизации, а также отсутствие в README независимой оценки именно этих GGUF-вариантов; приведённые бенчмарки относятся к базовой Qwen3.6-27B. Указана лицензия Apache 2.0, при этом релиз также обозначен как предназначенный для исследований и личного использования.

Qwen3.8-27B-Intel-Arc-Tuned-GGUF — это квантованная GGUF-версия модели Qwen3.8 с примерно 27 млрд параметров, подготовленная Greatjedi при участии Gemini для ускоренного запуска на видеокартах Intel Arc через llama.cpp, oneAPI SYCL и аппаратные матричные блоки DPAS. В качестве базовых моделей указаны empero-ai/Qwen3.8-27B-Ridge-GGUF и ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF. Модель предназначена для генерации текста, рассуждений, программного кода и структурированных ответов, включая извлечение JSON. Заявлены английский и китайский языки, а тип задачи в каталоге обозначен как text-generation. Ключевая особенность — преобразование неподдерживаемых на Intel Arc I-Quant-тензоров в преимущественно Q4_K-блоки с сохранением отдельных высокоточных компонентов, rotary embeddings, layer normalization и, в вариантах с MTP, встроенной NextN prediction head. Это устраняет переход к медленной CPU-деквантизации в SYCL-бэкенде. Для Intel Arc Pro B60 24GB заявлена скорость авторегрессионной генерации около 21–22 токенов в секунду, а со встроенным speculative decoding и MTP — до 41,88 токена в секунду; фактические показатели зависят от версии файла, сценария, оборудования и конфигурации запуска. Сильными сторонами являются оптимизация под Intel Arc поколений Battlemage Xe2 и Alchemist Xe, отсутствие необходимости во внешней draft-модели для вариантов со встроенным MTP и заметное ускорение относительно исходных I-Quant-вариантов. Ограничения включают узкую аппаратную специализацию, зависимость от совместимого SYCL-стека и llama.cpp, а также отсутствие в README точных сведений о максимальном контексте и единой архитектурной конфигурации всех вариантов. Модель распространяется по лицензии Apache-2.0.

TeichAI/Qwen3-8B-Gemini-2.5-Flash-Distill-GGUF — языковая модель, разработанная TeichAI на базе unsloth/Qwen3-8B. Модель обучена методом дистилляции на крупном наборе данных TeichAI/gemini-2.5-flash-11000x, созданном на основе Gemini 2.5 Flash. Она предназначена для генерации текста общего назначения, включая программирование, научные задачи, юридические и исторические вопросы, а также маркетинговые сценарии. Модель содержит 8 миллиардов параметров. В README указана поддержка английского языка, однако сведения о точной архитектуре, модальностях, размере контекстного окна и дополнительных языках отсутствуют. К сильным сторонам относятся универсальная область применения и обучение на данных, связанных с Gemini 2.5 Flash; при этом качество и поведение модели могут зависеть от особенностей дистиллированного набора данных и базовой Qwen3-архитектуры. Лицензия — Apache-2.0.

Qwopus3.8-27B-Flash-V2-bf16 — конверсия модели Jackrong/Qwopus3.8-27B-Flash-V2 в формат MLX BF16, подготовленная сообществом mlx-community для запуска на компьютерах Apple Silicon. Это мультимодальная модель семейства Qwen3.5 с архитектурой условной генерации; она принимает текст, изображения и видеоматериалы и поддерживает чат, работу с инструментами и генерацию кода. В конверсии сохранены шаблон чата и настройки мультимодального процессора исходной модели. Модель подходит для диалогов и задач с кодом, а также для вопросов по изображениям и видео. Для мультимодального запуска README рекомендует библиотеку mlx-vlm. Модель распространяется по лицензии Apache 2.0, унаследованной от исходной модели; подробности о назначении и ограничениях приведены в её исходной карточке.

Tiiny/SmallThinker-21BA3B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели SmallThinker-21BA3B-Instruct, разработанной совместно исследовательской группой IPADS, School of AI Шанхайского университета Цзяо Тун и компанией Zenergize AI. Модель относится к семейству on-device моделей, ориентированных на локальный запуск без обращения к облачным сервисам, что обеспечивает потенциальные преимущества в приватности и задержке ответа. Основной язык обучения — английский; назначение модели — генерация текста и выполнение инструкций, включая вопросы общего характера, математические задачи, программирование и другие сценарии работы с текстом. В основе модели лежит архитектура Mixture-of-Experts (MoE): всего 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. Модель содержит 52 слоя, 64 эксперта и выбирает 6 экспертов на токен; используются GQA, 28 attention heads, 4 KV heads, функция активации ReGLU и контекст длиной до 16K токенов. Для запуска обычных файлов .gguf рекомендуется llama.cpp, а файлы с суффиксом .powerinfer.gguf совместимы только с фреймворком PowerInfer и используют специализированные разреженные операторы. Сильными сторонами модели заявлены производительность в задачах общего понимания, следования инструкциям, математики и генерации кода, а также возможность локального запуска на устройствах с ограниченными ресурсами. Ограничения включают преимущественно англоязычную направленность, возможные фактические ошибки, предвзятость и устаревшие сведения; результаты требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

Speechless Instruct Mistral 7B v0.2 GGUF — это квантизированная версия инструкционной языковой модели speechless-instruct-mistral-7b-v0.2, опубликованная в формате GGUF пользователем bartowski. Исходная модель размещена uukuguy. Модель предназначена для генерации текста по инструкциям, включая задачи программирования и выполнения общих текстовых запросов. Модель основана на архитектуре Mistral и содержит 7 миллиардов параметров. Она работает с текстом, заявлена для английского языка и поддерживает сценарии text-generation через llama.cpp и совместимые инструменты. В README указан формат промптов в стиле [INST] с системным сообщением, однако отмечено, что официальная chat template не задана и приведённый формат может быть неточным. Доступны варианты квантизации Q2–Q8 и IQ, различающиеся размером файла и компромиссом между качеством и потреблением памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и варианты Q4. Обучение или дообучение исходной модели связано с наборами jondurbin/airoboros-2.2, Open-Orca/OpenOrca, Open-Platypus, WizardLM/WizardLM_evol_instruct_V2_196k и TokenBender/python_eval_instruct_51k. В качестве сильных сторон указаны поддержка инструкций, задач программирования и широкий выбор квантизаций для запуска на устройствах с разным объёмом памяти. Ограничения включают снижение качества на низких уровнях квантизации, отсутствие подтверждённого значения pass@1 для HumanEval и неопределённость с шаблоном чата. Лицензия — Apache-2.0.

Карточка модели jondurbin/spicyboros-c34b-2.2 на Hugging Face совпадает с карточкой jondurbin/spicyboros-70b-2.2, поэтому описание составлено по ней. jondurbin/spicyboros-70b-2.2 — экспериментальная инструкционная языковая модель на архитектуре Llama, созданная Jondurbin на основе преимущественно синтетических данных Airoboros 2.2. Модель содержит 68,7 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 4096 токенов. Карточка описывает формат диалога с ролями USER и ASSISTANT и примерами для ответов по предоставленному контексту, написания текстов, программирования и генерации JSON или YAML для вызова функций. Модель рассчитана на широкий круг инструкционных задач и особенно ориентирована на пары «инструкция — ответ», а не на непринуждённый чат. В обучении использовались синтетические данные, включая примеры с ослабленными ограничениями на ответы. Разработчик предупреждает, что модель может выдавать ненормативную лексику и чувствительный или откровенный контент, а также рекомендует останавливать генерацию при появлении новой реплики USER. Лицензия указана как Llama 2; применение должно соответствовать её условиям.

Карточка модели snombi/store1 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

Whittle-Next-27B-A3B-GGUF — это GGUF-квантизированная версия модели Whittle-Next-27B-A3B, разработанной logic65 и подготовленной квантизатором mradermacher. Модель основана на архитектуре mixture-of-experts и предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач. В метаданных заявлена поддержка английского, китайского и других языков, а также сценариев с длинным контекстом. Модель содержит около 27 млрд параметров в общей конфигурации и обозначает архитектуру с примерно 3 млрд активных параметров, однако точные сведения о механизме активации, размере контекста и мультимодальных возможностях не указаны. Среди заявленных архитектурных особенностей — hyper-connections, n-gram memory, per-layer embeddings, knowledge distillation и online distillation. Доступны варианты GGUF с разными уровнями квантизации от Q2_K до Q8_0 и IQ4_XS; версии Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как вариант с наилучшим качеством среди представленных. К сильным сторонам относятся поддержка локального запуска через совместимые инструменты, включая llama.cpp, широкий выбор компромиссов между размером, скоростью и качеством, а также ориентация на рассуждения, код и математику. К ограничениям относятся неизбежная потеря качества в более агрессивно квантизированных вариантах, отсутствие опубликованных в README бенчмарков и точных характеристик контекстного окна, а также отсутствие сведений о поддержке изображений или других модальностей. Модель распространяется по лицензии Apache-2.0.

WizardLM-2-7B-GGUF — это квантизированная в формате GGUF версия языковой модели WizardLM-2-7B, разработанной Microsoft. Квантизацию выполнил bartowski на базе llama.cpp. Модель основана на Mistral, содержит около 7 миллиардов параметров и предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована на многошаговые беседы, общие вопросы и работу с общеизвестными знаниями. README также указывает на улучшенную поддержку сложных диалогов, многоязычных сценариев, рассуждений и агентских задач; модель может применяться для программирования и технических обсуждений. Она обучалась с использованием Progress Learning, AI Align AI, Supervised Learning, Stage-DPO, Evol-Instruct и методов обучения с подкреплением, ориентированных на качество инструкций и корректность ответов. Модель позиционируется как эффективная для своего размера и показывает высокие результаты в автоматической оценке MT-Bench, однако, как и другие языковые модели, может генерировать неточные, вредные или неподходящие ответы. В README не указаны точный набор поддерживаемых языков, размер контекстного окна и конкретные характеристики квантизации. Лицензия — Apache-2.0. Для использования рекомендован шаблон prompt в стиле Vicuna.

Yuan2-2B-Janus-hf — текстовая причинная языковая модель Yuan 2.0, разработанная IEIT System и представленная на Hugging Face в формате PyTorch. Это плотная архитектура YuanForCausalLM примерно на 1,9 млрд параметров с контекстом до 8192 токенов и возможностью диалогового применения. Модель предназначена для генерации текста и диалогов, а также может использоваться для задач, связанных с математикой, рассуждениями, программированием и знаниями. В README Yuan 2.0 описана как модель, обученная на разнообразных высококачественных данных и данных для настройки по инструкциям; для семейства приведены оценки на GSM8K, AGIEval, HumanEval и TruthfulQA. Карточка не подтверждает поддержку изображений, аудио или других нетекстовых входов. Выводы могут быть неточными или зависеть от формулировки запроса. В README указаны Apache 2.0 для кода репозитория и отдельное лицензионное соглашение Yuan 2.0 для модели; коммерческое использование заявлено как допустимое при соблюдении этого соглашения.

Yuan 2.0-51B-hf — плотная авторегрессионная языковая модель семейства Yuan, разработанная IEIT System. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, рассуждения, решение математических задач и помощь с кодом. Модель насчитывает 46,2 млрд параметров, использует архитектуру YuanForCausalLM и принимает контекст длиной до 4096 токенов. Разработчики указывают, что Yuan 2.0 основана на Yuan 1.0 и обучалась на расширенных наборах предобучающих и инструкционных данных. В карточке приведены бенчмарки по математике, программированию и достоверности ответов, но результаты конкретно этой версии в предоставленном фрагменте не показаны. Модель может ошибаться и поддаваться вводящим в заблуждение инструкциям. Для весов и репозитория указаны лицензия other и условия Yuan 2.0; README сообщает о возможности коммерческого использования при соблюдении этих условий.

Ahadadada Jailbreak Qwen3.8-27B — модифицированная jailbreak-версия модели Qwen3.8-27B, опубликованная пользователем или организацией Ahadadada. Модель сохраняет исходные возможности базовой модели и ориентирована на диалоговые сценарии, генерацию текста, программирование, агентские задачи, рассуждения и обработку изображений, видео и документов. Заявлено отсутствие стандартных фильтров безопасности, поэтому модель обычно отвечает более прямо и редко отказывается от запросов. Модель содержит 27 млрд плотных параметров и использует архитектуру qwen35 с гибридом SSM и attention: 64 слоя, включая 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного gated attention. Размерность скрытого состояния составляет 5120, размерность FFN — 17408, словарь содержит 248 320 токенов. Заявлен нативный контекст 262K токенов с возможностью расширения через YaRN. Поддержка мультимодальности реализуется через отдельный файл mmproj, а MTP с параметром n_max=3 предназначен для ускорения инференса. Доступны GGUF-квантизации APEX-I-Mini, Q4_K_M, Q5_K_M, Q6_K и Q8_0. В приведённых тестах вариант APEX-I-Mini в среднем уступил базовой bf16-модели 1,9 процентного пункта по HellaSwag, Winogrande и ARC-Challenge, хотя результаты зависят от квантизации и настроек. Для работы с изображениями требуется отдельный mmproj-файл; рекомендуются llama.cpp с поддержкой шаблонов Jinja и достаточным объёмом контекста. Модель распространяется по лицензии Apache-2.0, однако снятие защитных ограничений повышает риски небезопасного или вредоносного применения.

Bagel DPO 7B v0.1 — диалоговая языковая модель, разработанная jondurbin и дообученная методом прямой оптимизации предпочтений (DPO) на базе семейства Llama. Модель содержит 7,1 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текстовые запросы. Для общения применяются форматы Vicuna, Llama 2, Alpaca и ChatML; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов и широкого круга инструктивных задач: ответов на вопросы, рассуждений, математики, написания кода и творческих текстов. В описании приведены результаты оценок на наборах ARC, BoolQ, GSM8K, MMLU и других, а также MT-Bench. Обучающие данные включают англоязычные и многоязычные источники, в том числе Belebele; карточка не уточняет полный перечень поддерживаемых языков. Автор предупреждает, что эта DPO-версия может чаще отказывать в ответах, чем недистиллированная от предпочтений версия. В данных обучения присутствует токсичный контент. Модель распространяется под лицензией Apache-2.0.

QuantFactory/calme-2.1-phi3.5-4b-GGUF — это квантованная GGUF-версия языковой модели calme-2.1-phi3.5-4b, созданной на основе Microsoft Phi-3.5-mini-instruct. Исходную модель разработал MaziyarPanahi, а квантование выполнено им же с использованием llama.cpp. Модель предназначена для генерации текста и работает с шаблоном диалогов ChatML. Модель ориентирована на ответы на вопросы, работу чат-ботов и виртуальных ассистентов, генерацию и суммирование контента, генерацию и анализ кода, решение сложных задач и поддержку принятия решений. Заявлен размер около 4 млрд параметров; поддерживаемая модальность — текст, основной указанный язык — английский. Длина контекста в карточке не указана. К сильным сторонам относятся универсальность, формат инструкционной и диалоговой работы, а также доступность в квантованном GGUF-формате, удобном для запуска с llama.cpp и совместимыми инструментами. Ограничения включают возможные смещения и ошибки, характерные для языковых моделей, а также умеренные результаты на сложных тестах рассуждений: средний результат Open LLM Leaderboard указан как 27,01. Для продуктивного использования рекомендуются защитные меры и контроль человеком. Лицензия модели — MIT.

Dans-PersonalityEngine-V1.3.0-12b — дообученная PocketDoc языковая модель на архитектуре Mistral с 12,1 млрд параметров, созданная на базе mistralai/Mistral-Nemo-Base-2407. Модель обучалась на более чем 50 специализированных датасетах и предназначена для диалогов, ролевых сценариев, совместного написания текстов, генерации кода, использования инструментов и сложных рассуждений. Версия 1.3.0 поддерживает десять языков: арабский, китайский, английский, французский, немецкий, хинди, японский, корейский, португальский и испанский. Основной язык — английский; на нём ожидается наилучшее качество. Карточка указывает контекст 32 768 токенов и возможность увеличить его до 131 072 токенов с ухудшенным извлечением информации. Для диалогов модель использует формат DanChat-2. Она распространяется под лицензией Apache-2.0.

Это BF16-версия DeepSeek-R1-0528, опубликованная Unsloth на основе модели DeepSeek-R1-0528 от DeepSeek. Репозиторий предназначен для конвертации весов и экспериментов; модель представляет собой плотную авторегрессионную языковую модель семейства DeepSeek-V3 с 37,6 млрд параметров, доступную в формате Safetensors и рассчитанную на контекст до 163 840 токенов. Модель подходит для диалогов и генерации текста с углублённым рассуждением, в том числе для решения математических задач, программирования и задач на общую логику. Также заявлены улучшенная поддержка вызова функций и снижение частоты галлюцинаций по сравнению с предыдущей версией. Для модели указана лицензия MIT. Фактическая точность ответов не гарантируется, а длинные рассуждения могут требовать значительного числа токенов.

DeepSeek-R1-0528-Qwen3-8B-GGUF — это версия модели DeepSeek-R1-0528-Qwen3-8B в формате GGUF, подготовленная пользователем brittlewis12. Исходную модель разработала DeepSeek AI: она создана дистилляцией цепочек рассуждений DeepSeek-R1-0528 и дообучением базовой Qwen3 8B. Модель предназначена для генерации текста и решения задач, требующих рассуждений, включая математические задачи, программирование, академические исследования и разработку компактных reasoning-моделей. Архитектура модели идентична Qwen3-8B, а конфигурация токенизатора унаследована от DeepSeek-R1-0528. Размер — 8 миллиардов параметров; указанная модальность — текст, основной язык в карточке — английский. Модель распространяется в GGUF — формате, ориентированном на локальный запуск через совместимые инструменты, включая llama.cpp. Размер контекста в README не указан. Для работы поддерживаются системные промпты; добавлять маркер <think> в начало ответа не требуется. Сильная сторона модели — качество рассуждений при относительно небольшом размере: в приведённых оценках она получила 86,0 на AIME 2024, 76,3 на AIME 2025 и сопоставлялась с более крупными моделями. При этом результаты зависят от сценария: на GPQA Diamond модель показала 61,1, а на LiveCodeBench — 60,5, поэтому приведённые показатели не гарантируют одинакового качества на всех задачах. В README не указаны конкретный уровень GGUF-квантизации, требования к памяти, максимальный контекст и подробные ограничения безопасности. Лицензия — MIT.

casperhansen/deepseek-r1-distill-llama-8b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Llama-8B, опубликованная пользователем Casper Hansen на Hugging Face. Исходную модель разработала DeepSeek; она создана дистилляцией DeepSeek-R1 в базовую архитектуру Llama 3.1 8B с использованием синтетических образцов, с акцентом на рассуждения. Репозиторий Casper Hansen содержит веса в формате Safetensors и конфигурацию для запуска квантизованной модели. Модель предназначена для текстовой генерации и задач, требующих языкового и логического рассуждения, включая ответы на вопросы, математические и программные задачи. Она использует архитектуру LlamaForCausalLM, около 8 млрд параметров, 32 слоя, 32 attention-heads и 8 key-value heads. Конфигурация указывает контекст до 131 072 токенов, хотя практическая поддержка зависит от используемого ПО и ресурсов. Мультимодальность не заявлена; модель работает с текстом. Квантизация снижает требования к памяти и ускоряет локальный запуск, но может ухудшать качество по сравнению с полной точностью. Карточка производной модели почти не содержит описания, поэтому подробные сведения о бенчмарках, ограничениях безопасности, языковой поддержке и рекомендуемых сценариях именно этой AWQ-сборки отсутствуют. В репозитории указана лицензия MIT; при использовании также следует учитывать условия исходной модели DeepSeek-R1-Distill-Llama-8B.