II.2Создание и понимание программного кода

MaziyarPanahi/Mistral-7B-Instruct-v0.1-GGUF — это набор файлов модели в формате GGUF для Mistral-7B-Instruct-v0.1, разработанной Mistral AI (mistralai) и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и инструкционного диалога, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Основа модели — Mistral с 7 миллиардами параметров; точные архитектурные характеристики, поддерживаемые языки и размер контекста в README не указаны. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файла, требованиями к памяти, скоростью и качеством. Формат GGUF ориентирован на эффективный запуск, в том числе с GPU-ускорением, в локальных интерфейсах и серверных решениях. Сильными сторонами являются широкий выбор уровней квантизации и совместимость с популярными инструментами локального инференса. Ограничения включают возможное снижение качества на агрессивно квантизированных вариантах, а также отсутствие в README подробных данных о результатах оценки, языковых возможностях и контекстном окне. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Mistral-7B-Instruct-v0.3-FP8 — квантизированная версия текстовой instruction-модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычного ассистентского диалога, включая чат-ботов и исследовательские или коммерческие приложения. Дата выпуска — 26 июня 2024 года, версия 1.0. Модель использует архитектуру Mistral-7B-Instruct-v0.3 и квантизацию весов и активаций в формат FP8. Квантизации подвергнуты линейные операторы внутри transformer-блоков с применением симметричного масштабирования по тензору. Это примерно вдвое уменьшает число битов на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением. Модель подготовлена для инференса через vLLM версии 0.5.0 и новее; в README также указан контекст длиной 4096 токенов для процедуры оценки и примеров использования. По данным OpenLLM Leaderboard v1, средний результат FP8-версии составляет 65,85 против 66,33 у неквантизированной модели, что указывает на небольшую потерю качества при заметном снижении требований к ресурсам. Ограничения включают ориентацию на английский язык: использование на других языках указано как выходящее за заявленную область применения. Условия лицензии — Apache 2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Mistral-Nemo-Instruct-2407-FP8 — инструкционная авторегрессионная плотная transformer-модель объёмом 12 млрд параметров, разработанная совместно Mistral AI и NVIDIA. Репозиторий Furiosa AI содержит вариант модели RedHatAI/Mistral-Nemo-Instruct-2407-FP8, подготовленный для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. Модель принимает текст и генерирует текст, поддерживает диалоги с ролями system, user и assistant и предназначена для обычной, нерассуждающей генерации ответов в ассистентских сценариях. Линейные веса слоёв Transformer статически квантизованы в FP8, активации динамически квантизуются в FP8 для каждого токена во время инференса, а KV-кэш сохраняется в 16-битной точности. На RNGD используется tensor parallelism с размером 16 PE, что соответствует двум картам RNGD. Основной поддерживаемый стек в этом репозитории — Furiosa-LLM, однако исходная модель также может запускаться через vLLM, SGLang и Transformers. Указан английский язык; сведения о размере контекста и других языках отсутствуют. Модель подходит для чат-ботов, генерации текста и интеграции через OpenAI-совместимый API. К её сильным сторонам относятся инструкционная настройка, FP8-квантизация для эффективного инференса и поддержка специализированного ускорителя FuriosaAI RNGD. Ограничения включают нерassуждающий характер модели, зависимость данного варианта от Furiosa-LLM и оборудования RNGD, а также отсутствие в предоставленных данных подробных оценок качества. Лицензия — Apache-2.0.

orca_mini_phi-4 — дообученная автором pankajmathur на наборах SFT модель microsoft/phi-4 для генерации текста и диалогов. Она использует плотную архитектуру семейства Llama с классом LlamaForCausalLM, содержит 14,1 млрд параметров и рассчитана на контекст до 16 384 токенов. Модель предназначена для общего применения и дальнейшей настройки, включая full fine-tuning, DPO, PPO, ORPO и слияние с другими моделями. Репозиторий содержит веса PyTorch в формате Safetensors; для работы предусмотрена библиотека Transformers. Карточка описывает англоязычные данные обучения и предлагает запускать модель через Transformers или использовать отдельную GGUF-версию с Ollama. Базовая модель Phi-4 ориентирована на генерацию текста, диалоги, рассуждения, математику и программирование, однако отдельные показатели качества дообученной версии в карточке не приведены. Лицензия — MIT; автор просит указывать авторство и атрибуцию при использовании.

Qwen2.5-7B-Instruct-YS-V2 — дообученная yusikyang инструктивная языковая модель на архитектуре Qwen2, основанная на unsloth/Qwen2.5-7B-Instruct. В репозитории указано, что обучение проводилось с Unsloth и библиотекой Hugging Face TRL; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, составления текстов и кода, а также выдачи структурированных ответов. Метаданные указывают на интерфейс диалога и tool calling, но карточка не описывает специализированные сценарии или качество этих возможностей. Указанный язык карточки — английский. Модель распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества или подробностей о данных и целях дообучения, поэтому её преимущества относительно базовой модели не установлены.

MaziyarPanahi/Qwen2-7B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2-7B-Instruct, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, где требуется инструкционно настроенная языковая модель. Модель основана на Qwen2-7B-Instruct и содержит около 7 миллиардов параметров. Доступны варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF поддерживается llama.cpp и рядом совместимых приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui и другие инструменты для локального запуска с возможным ускорением на GPU. Сильными сторонами являются широкий выбор уровней квантизации и совместимость с экосистемой GGUF для локального вывода. Ограничения включают потенциальную потерю качества в более агрессивно квантованных вариантах, а также отсутствие в README сведений о языках, размере контекста, точной архитектуре, исходных данных и результатах тестирования. Лицензия в предоставленных материалах не указана.

AaryanK/Qwen3.5-2B-GGUF — это квантованное представление модели Qwen3.5-2B в формате GGUF, разработанной командой Qwen. Модель предназначена для запуска через совместимые инструменты, включая llama.cpp, и ориентирована на генерацию текста, прототипирование, исследовательские задачи и разработку прикладных решений. Модель имеет около 2 млрд параметров и использует гибридную архитектуру Hybrid Gated DeltaNet + Gated Attention с vision encoder. Она поддерживает текстовые и мультимодальные входы, включая изображения и видео, вызов инструментов и контекст до 262 144 токенов. В README также заявлена поддержка 201 языка и диалекта, однако для данной GGUF-сборки явно указан английский язык. По умолчанию модель работает в режиме без рассуждений. К сильным сторонам относятся компактный размер, поддержка длинного контекста, мультимодальность и возможность эффективного локального инференса. Ограничения включают зависимость от актуальной версии llama.cpp с поддержкой операторов Gated DeltaNet, а также отсутствие подробных данных о конкретных вариантах квантования, качестве на бенчмарках и фактическом наборе поддерживаемых языков в этой сборке. Модель распространяется по лицензии Apache-2.0.

btbtyler09/Qwen3.6-35B-A3B-GPTQ-8bit — это 8-битная GPTQ-квантизованная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая понимание изображений, генерацию текста, рассуждения, вызов инструментов и поддержку speculative decoding через модуль MTP. README не указывает конкретный список поддерживаемых языков. Модель использует архитектуру Mixture-of-Experts с примерно 35 млрд параметров, из которых около 3 млрд активируются для каждого токена. В каждом из 40 слоёв используется 256 экспертов и один общий эксперт; на токен выбираются 8 экспертов. Архитектура сочетает 30 слоёв линейного внимания и 10 слоёв полного внимания. Контекстное окно составляет до 262 144 токенов. В состав входят полноразмерный vision encoder на базе ViT с 27 блоками и модуль MTP; vision encoder и MTP сохранены в BF16, а экспертные модули квантизованы в INT8. Ключевое преимущество версии — существенное уменьшение размера примерно с 67 до 40 ГБ при практически незаметном ухудшении perplexity относительно исходной BF16-модели. При этом для запуска требуется значительный объём видеопамяти и, согласно README, рекомендуется использовать vLLM с распределением модели минимум на несколько GPU. GPTQModel и transformers на момент публикации не поддерживают непосредственную загрузку этой мультимодальной сборки, поэтому для инференса следует использовать vLLM; также возможна необходимость исправления ошибки совместимости в некоторых версиях vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-40B-Grand-Intelligence-Fable-Fusion-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это 40-миллиардная модель на базе Qwen3.6, разработанная DavidAU при участии Nightmedia, TeichAI, armand0e, trohrbaugh и nbeerbower. Модель создана как результат многоэтапного fine-tuning, объединения нескольких версий Qwen3.6-27B Fable Fusion и последующей настройки с использованием Unsloth. Доступны обычные GGUF-квантизации и варианты с поддержкой MTP, включая 4-битные и 8-битные версии; заявлена совместимость с потребительским оборудованием. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, анализа, программирования, творческого письма, ролевых сценариев и работы с текстом. В README также заявлена поддержка vision, однако конкретные форматы входных данных и ограничения мультимодальности не описаны. Указаны английский и китайский языки. Модель ориентирована на более глубокие рассуждения, подробные ответы, улучшенное следование инструкциям и общую интеллектуальную производительность; заявлено сокращение числа токенов в thinking-блоке по сравнению с обычными Qwen. К сильным сторонам относятся крупный размер, многоэтапная настройка, наличие разных GGUF-квантизаций и акцент на reasoning, instruction following и универсальность. Модель обозначена как uncensored и heretic, поэтому уровень защитных ограничений может отличаться от оригинальных моделей Qwen. README не содержит точного размера контекста, полной спецификации архитектуры, детальных результатов независимых тестов и описания требований к ресурсам, поэтому производительность и пригодность для конкретных сценариев следует проверять самостоятельно. Лицензия — Apache-2.0.

Chungulus/Qwen3.8-27B-Q3_K_S-GGUF — независимая ванильная квантизация модели Qwen/Qwen3.8-27B, опубликованная Chungulus. Модель предназначена для локального запуска задач генерации текста, вызова инструментов, анализа изображений и видео. Это vision-language модель с поддержкой мультимодального ввода; для работы с изображениями используется отдельный vision projector mmproj-Qwen3.8-27B-F16.gguf. Поддерживаются нативный формат вызова инструментов Qwen и управление режимами рассуждений через enable_thinking, reasoning_effort и preserve_thinking. Основной файл имеет размер около 12,257 ГБ, полный репозиторий — около 13,197 ГБ. Используется квантизация Q3_K_S на базе llama.cpp K/IQ quantization без дополнительного обучения, слияния или изменения шаблона чата. Сохранена гибридная структура Hybrid Gated DeltaNet/full-attention, а также MTP-тензоры и метаданные, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов, обработка изображений и видео прошли проверки; на валидационном хосте зафиксирована скорость около 17,35 токена в секунду. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower/projector, токенизатор и MTP-метаданные; рекомендуется иметь не менее примерно 17 ГБ доступной памяти, при этом KV-кэш увеличивает потребление в зависимости от контекста. Низкая разрядность квантизации может снижать качество. Максимальный контекст в README не указан и полноценно не тестировался. Модель и квантизация распространяются по лицензии Apache-2.0.

Qwen3.8-27B-ROCmFPX-Q8_0-AGENT-GGUF — это 8-битная квантизированная GGUF-версия модели Qwen3.8-27B, опубликованная пользователем kingjones777. Модель предназначена для локального запуска через специализированную ветку ROCmFPX, ориентированную на GPU AMD с архитектурой gfx1151, включая Ryzen AI MAX+ 395 и платформу Strix Halo. Она поддерживает генерацию текста, агентские сценарии и вызовы инструментов. Модель имеет архитектуру Qwen, размер 27B параметров и контекст до 32 768 токенов в рекомендуемой конфигурации. Указан английский язык. Файл занимает около 26,28 GiB, использует тип квантизации Q8_0_ROCMFPX_AGENT с точностью 8,39 бит на вес и сохраняет повышенную точность для части attention-output projections. В README заявлена совместимость с MTP-спекулятивным декодированием: на Ryzen AI MAX+ 395 измерена скорость 26,62 токена в секунду, что на 6,2% выше обычной сборки ROCmFPX Q8.0. В тестах модель показала корректные ответы на базовые вопросы и 7 из 7 успешных сценариев tool calling в режимах с рассуждением и без него. Основные преимущества — высокая точность 8-битной версии, согласованное агентское поведение, поддержка сложных вызовов инструментов и прирост скорости при использовании MTP. Ограничения существенны: стандартная версия llama.cpp не загружает этот файл, требуется сборка ROCmFPX; модель ориентирована на совместимое AMD-оборудование. Для MTP на некоторых конфигурациях Windows 11, gfx1151 и HIP SDK 7.2 описаны ошибки в устаревшей ветке ROCmFPX, поэтому рекомендуется официальный репозиторий. Модель распространяется по лицензии Apache-2.0.

ReAligned-Qwen3.5-27B — диалоговая модель семейства Qwen3.5, созданная Эриком Хартфордом из LazarusAI на базе Qwen/Qwen3.5-27B. Модель дообучена в два этапа: supervised fine-tuning и GRPO с оценкой ReAligned-Classifier; обучение использует LoRA. Цель — уменьшить отказы и государственно-ориентированную подачу ответов на политические и исторические темы, связанные с Китаем, сохранив общие возможности базовой модели. Модель предназначена для чата, суммаризации, программирования, рассуждений, многоязычного использования, а также исследования идеологической предвзятости, отказов и рамки повествования. Архитектура — плотная Qwen3.5 с классом Qwen3_5ForConditionalGeneration; метаданные указывают мультимодальную основу с поддержкой текста и изображений. Карточка не сообщает размер параметров и длину контекста именно этого чекпойнта. Лицензия — Apache-2.0. Снижение цензурных отказов не гарантирует точность фактов; возможны чрезмерная коррекция в сторону западной институциональной рамки, пробелы в знаниях и различия поведения между языками и формулировками. Авторы рекомендуют независимую оценку и собственные меры модерации при развёртывании.

Карточка модели Lazarus-Ai/ReAligned-Qwen3.5-35B-A3B на Hugging Face совпадает с карточкой Lazarus-Ai/ReAligned-Qwen3.5-27B, поэтому описание составлено по ней. ReAligned-Qwen3.5-27B — диалоговая модель семейства Qwen3.5, созданная Эриком Хартфордом из LazarusAI на базе Qwen/Qwen3.5-27B. Модель дообучена в два этапа: supervised fine-tuning и GRPO с оценкой ReAligned-Classifier; обучение использует LoRA. Цель — уменьшить отказы и государственно-ориентированную подачу ответов на политические и исторические темы, связанные с Китаем, сохранив общие возможности базовой модели. Модель предназначена для чата, суммаризации, программирования, рассуждений, многоязычного использования, а также исследования идеологической предвзятости, отказов и рамки повествования. Архитектура — плотная Qwen3.5 с классом Qwen3_5ForConditionalGeneration; метаданные указывают мультимодальную основу с поддержкой текста и изображений. Карточка не сообщает размер параметров и длину контекста именно этого чекпойнта. Лицензия — Apache-2.0. Снижение цензурных отказов не гарантирует точность фактов; возможны чрезмерная коррекция в сторону западной институциональной рамки, пробелы в знаниях и различия поведения между языками и формулировками. Авторы рекомендуют независимую оценку и собственные меры модерации при развёртывании.

Ternary-Bonsai-8B-gguf — языковая модель для генерации текста, разработанная Prism ML на базе Qwen3-8B. Она предназначена для локального и встраиваемого запуска, включая сценарии on-device, через llama.cpp и совместимые инструменты. Модель распространяется в формате GGUF Q2_0 и ориентирована на задачи диалога, ответов на вопросы, рассуждений и программной интеграции. Модель содержит 8,19 млрд параметров, включая около 6,95 млрд параметров без учёта эмбеддингов, и использует 36 декодерных Transformer-блоков с GQA, архитектурой SwiGLU, RoPE и RMSNorm. Длина контекста составляет 65 536 токенов, размер словаря — 151 936 токенов. Веса квантизованы до троичного представления {-1, 0, +1} с групповым масштабированием FP16; размер рекомендуемого файла Q2_0 составляет около 2,03 GiB, или 2,18 GB. Главное преимущество модели — существенное снижение требований к памяти: примерно в 7,5 раза по сравнению с FP16 при заявленном сохранении информации для троичных весов. По приведённым бенчмаркам она показывает высокое качество среди моделей сопоставимого размера, но уступает исходной Qwen3-8B по среднему результату. Для работы с форматом Q2_0 требуется специальная ветка Prism ML для llama.cpp, поскольку поддержка этого формата ещё не включена в основную ветку проекта. Языки, на которых модель оптимизирована, в README не указаны. Лицензия — Apache 2.0.

Urdandi-Qwen2.5-7B — объединённая языковая модель автора win10 на архитектуре Qwen2, созданная с помощью mergekit методом breadcrumbs_ties. При объединении использованы win10/Verdandi-Qwen2.5-7B как базовая модель и win10/Urd-Qwen2.5-7B. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Модель принимает текст и выдаёт текст; её контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Карточка не приводит сведений о специализации по языкам, датасетах или прикладным областям. Лицензия в доступных данных не указана.

Vinci Cyber 123B 1.0 — модель с открытыми весами, дообученная в Канаде компанией SimpleDirect на Mistral Devstral 2 123B Instruct. Это плотный авторегрессионный трансформер Ministral3ForCausalLM на 123,4 млрд параметров с контекстом до 262 144 токенов; модель работает с текстом и поддерживает диалоговый режим. Она предназначена для защитного анализа инфраструктуры и кода: проверяет конфигурации, предлагает адресные исправления и старается сохранять уже корректные настройки. В карточке указаны сценарии с Terraform, Kubernetes и облачными конфигурациями. В описанных узких тестах модель сохранила без изменений 24 из 24 корректных конфигураций и прошла офлайн-проверку схемы для 18 предложенных исправлений из 24. Это результаты ограниченных наборов и отдельных запусков, а не оценка надёжности в реальной эксплуатации; преимущество в качестве исправлений не подтверждено для всех наборов. Модель может пропускать ошибки, менять правильные настройки и предлагать некорректные или небезопасные правки, включая маскировку секрета вместо его удаления. Результаты следует проверять независимыми средствами и человеком; модель не заменяет сканер безопасности. Веса распространяются по Modified MIT License с условием, связанным с выручкой.

Mungert/VulnLLM-R-7B-GGUF — GGUF-квантизированная версия специализированной языковой модели VulnLLM-R-7B, разработанной исследовательской группой UCSB-SURFI на базе Qwen/Qwen2.5-7B-Instruct. Модель предназначена для обнаружения уязвимостей и анализа безопасности исходного кода с использованием пошагового рассуждения о потоках данных, управления и контексте безопасности. Модель ориентирована на анализ кода на C, C++, Python и Java, включая выявление сложных логических уязвимостей, которые могут быть трудно обнаружить простыми шаблонными проверками. Она поддерживает текстовый ввод и генерацию текстовых ответов с объяснением причин обнаружения уязвимости. Размер модели составляет 7B параметров; точный размер контекста для этой GGUF-версии в README не указан. Квантизация выполнена с помощью llama.cpp, при этом для отдельных важных слоёв применялось повышение точности сверх стандартной конфигурации IMatrix, что увеличивает размер файла, но может улучшать точность при низкой разрядности. К сильным сторонам относятся специализация на анализе уязвимостей, способность объяснять ход рассуждений и сравнительно небольшие требования к ресурсам по сравнению с крупными reasoning-моделями. В README заявлены высокие результаты на бенчмарках PrimeVul, Juliet 1.3 и ARVO, однако конкретные метрики не приведены. Ограничения включают зависимость качества от выбранного уровня квантизации и отсутствие гарантии корректности результатов, поэтому модель следует использовать как вспомогательный инструмент аудита, а не как единственный механизм проверки безопасности. В метаданных указана лицензия Apache-2.0.

ClankLabs Wrench-35B-A3B-Q4_K_M-GGUF — квантизированная GGUF-версия модели Wrench 35B, разработанная ClankLabs на основе Qwen/Qwen3.5-35B-A3B. Это MoE-модель с 35 млрд общих и примерно 3 млрд активных параметров, дообученная методом LoRA для агентных сценариев, вызова инструментов и функций, восстановления после ошибок, планирования и точного следования системным инструкциям. Заявлена поддержка английского языка и генерации текста. Модель ориентирована на локальное развертывание в Ollama или llama.cpp, а также на использование через Clank Gateway. Ключевые возможности включают многошаговые задачи, параллельные и составные вызовы функций, обнаружение нерелевантных запросов, соблюдение форматов инструментов и безопасное ограничение действий. Внутренний тест Clank Agentic Benchmark дал 118 из 120 баллов, а на независимом BFCL non_live/AST модель получила 82,0% — 1128 правильных ответов из 1390. Контекстное окно составляет 8192 токена и может быть расширено до 32K. Модель распространяется по лицензии Apache 2.0. Используется квантизация Q4_K_M в формате GGUF; размер файла указан примерно как 20 ГБ, при этом заявлена возможность запуска на видеокарте с 16 ГБ VRAM. Обучение проводилось на двух NVIDIA H100 80GB примерно за один час на 1252 примерах из 15 категорий. Ограничения включают преимущественную ориентацию на английский язык, зависимость качества инструментальных вызовов от среды исполнения и заметно более низкую точность в отдельных категориях BFCL, включая простые вызовы на Java и JavaScript.

MaziyarPanahi/zephyr-7b-sft-full-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста в ответ на инструкции и диалоговые запросы. Она создана слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.1 и alignment-handbook/zephyr-7b-sft-full; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель принимает текст и генерирует текст. Заявленная длина контекста — 32 768 токенов. Репозиторий распространяется в формате safetensors; лицензия — Apache-2.0. Карточка не приводит результатов оценки качества или специальных ограничений применимости.

Bielik-11B-v2.6-Instruct — генеративная языковая модель с 11 млрд параметров, разработанная SpeakLeash совместно с HPC-центром ACK Cyfronet AGH. Это дообученная в формате инструкций версия Bielik-11B-v2 с архитектурой причинного декодера и шаблоном диалога ChatML. Модель работает с текстом и особенно хорошо ориентирована на польский язык; также заявлена поддержка английского. Модель предназначена для диалогов и выполнения текстовых инструкций, включая задачи по математике, программированию и STEM. При обучении использовались польские корпуса и более 20 млн инструкций, а для выравнивания ответов — обучение на предпочтениях и задачи с проверяемыми критериями. Лицензия — Apache 2.0. Разработчики предупреждают, что модель может выдавать фактически неверные, предвзятые или оскорбительные ответы и не имеет механизмов модерации. Её ответы требуют проверки, особенно в сценариях, где важны точность и безопасность.

QuantFactory/bloomz-560m-GGUF — квантованная версия языковой модели BLOOMZ с примерно 560 млн параметров, опубликованная QuantFactory в формате GGUF. По имеющимся данным, модель предназначена для генерации текста и поддерживает многоязычные сценарии, включая ответы на вопросы, классификацию тональности, формулирование поисковых запросов, объяснение понятий и создание художественных текстов. В карточке также указана поддержка программного кода и языков C, C++, C#, Go, Java, JavaScript, Lua, PHP, Python, Ruby, Rust, Scala и TypeScript. Модель обучалась с использованием набора данных bigscience/xP3. Заявлена поддержка широкого набора языков, среди которых английский, французский, испанский, китайский, арабский, хинди, португальский, русский, вьетнамский, телугу, тамильский и многие языки Африки и Азии. Ключевое преимущество — компактный размер и многоязычность, что может облегчать локальный запуск и использование в ресурсно-ограниченных средах. Ограничения связаны с небольшим размером модели: по сравнению с более крупными современными моделями она может уступать им в качестве рассуждений, точности, следовании сложным инструкциям и устойчивости генерации; сведения о длине контекста и конкретном методе квантования в карточке не указаны. Модель распространяется по лицензии bigscience-bloom-rail-1.0. Условия применения следует проверять по полному тексту этой лицензии, включая возможные ограничения и требования к использованию.

Canopy-258M-R3 v3 — компактная языковая модель семейства Canopy от psikosen, предназначенная для браузерной автоматизации и работы на устройствах с ограниченными ресурсами. Авторская карточка описывает её как рекуррентную Mixture-of-Experts-модель для выполнения действий в браузере, включая заполнение форм, обработку динамических полей и извлечение структурированных данных со страниц. В примерах показаны генерация кода и управление браузером через отдельный инструментальный пакет. В метаданных указаны 136,8 млн параметров, архитектура CanopyForCausalLM, поддержка чата и кода, формат safetensors и библиотека Transformers. README заявляет об ускорении браузерных сценариев, но не приводит независимых результатов оценки. Модель работает с текстовыми запросами и генерирует текст; её карточка указывает английский язык. Лицензия Apache 2.0.

Carnice-9b — текстовая генеративная модель от kai-os, созданная на базе Qwen/Qwen3.5-9B и настроенная для работы с Hermes Agent. Это самостоятельный объединённый чекпойнт, который загружается без отдельного PEFT-адаптера; модель имеет плотную архитектуру Qwen3_5ForCausalLM и содержит 7,2 млрд параметров. Заявленная длина контекста — 262 144 токена. Модель предназначена для агентных сценариев в среде Hermes: вызова инструментов, выполнения команд в терминале, работы с файлами, использования браузера и многошагового выполнения задач. Обучение включало этап коррекции рассуждений и этап настройки на формат действий и трассы Hermes. Основной упор сделан на качество выполнения задач в этой среде, а не на общие чат-бенчмарки. Модель принимает текст и генерирует текст, включая структурированные вызовы инструментов для совместимого рантайма. Данные карточки не подтверждают поддержку русского или других конкретных естественных языков, поэтому языковая специализация не заявляется. Распространяется по лицензии Apache-2.0. Оценивание в основном проводится внутри Hermes Agent; карточка отмечает, что оценка качества ещё продолжается.

Codepy-Deepthink-3B — дообученная модель PrithivMLmods на базе meta-llama/Llama-3.2-3B-Instruct для генерации текста с акцентом на рассуждения, логическую структуру и решение задач. Она предназначена для диалогов, пошаговых объяснений, помощи в программировании, учебных задач и творческого письма. Модель использует плотную архитектуру Llama с 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка указывает английский язык; формат весов — safetensors. Лицензия — CreativeML OpenRAIL-M. В README приведён пример генерации пароля, но он помечен как неприменимый, поэтому качество выполнения конкретных задач программирования по карточке подтвердить нельзя.

Dans-PersonalityEngine-v1.0.0-8b-GGUF — это квантизированная GGUF-версия текстовой генеративной модели Dans-PersonalityEngine-v1.0.0-8b, разработанной PocketDoc и подготовленной квантизатором bartowski с использованием llama.cpp и imatrix. Модель содержит около 8 млрд параметров и предназначена для локального запуска, в частности через LM Studio. Доступны варианты от F16 до различных уровней квантизации Q3–Q8, что позволяет выбирать между качеством генерации, размером файла и требованиями к памяти. Модель ориентирована на широкий круг текстовых задач: диалоговое взаимодействие и ассистирование, написание и редактирование прозы, решение математических задач, программирование и анализ кода, подготовку данных, работу с инструментами и выполнение многошаговых заданий. В составе обучающих данных заявлены англоязычные наборы, посвящённые литературному письму, инструкциям, программированию, математике, химии, биологии, выживанию и другим темам. Основная заявленная область применения — генерация текста на английском языке; поддержка других языков и мультимодальных входов в README не указана. Сильными сторонами являются разнообразная специализация обучающих данных, наличие многочисленных вариантов квантизации и возможность локального инференса с использованием формата GGUF. К ограничениям относятся зависимость качества и скорости от выбранного уровня квантизации и оборудования, а также отсутствие в README сведений об архитектуре базовой модели, размере контекстного окна, результатах бенчмарков и фактическом качестве на отдельных задачах. Модель распространяется по лицензии Apache-2.0.

mlx-community/DeepSeek-R1-Distill-Llama-70B-4bit — это 4-битная квантованная версия модели DeepSeek-R1-Distill-Llama-70B, разработанной deepseek-ai и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.21.1. Модель предназначена для генерации текста и диалоговых сценариев на устройствах и в средах, совместимых с MLX. Для работы используется библиотека mlx-lm; README показывает загрузку модели, применение chat template и генерацию ответа по текстовому запросу. Ключевые характеристики: 70 миллиардов параметров в базовой модели, 4-битное представление весов, текстовая модальность и архитектурная основа Llama, унаследованная от DeepSeek-R1-Distill-Llama-70B. Сведения о поддерживаемых языках, размере контекстного окна, точных возможностях рассуждения, ограничениях, лицензии и требованиях к оборудованию в README не указаны.

Это пакет GGUF для распределённого запуска DeepSeek-R1-Distill-Qwen-14B в Mesh LLM. Разработчик Mesh LLM разделил вариант Q4_K_M на артефакты по слоям, чтобы модель можно было запускать на нескольких машинах локального кластера и предоставлять через локальный API, совместимый с OpenAI.

bartowski/DeepSeek-R1-Distill-Qwen-7B-GGUF — это набор квантизированных версий языковой модели DeepSeek-R1-Distill-Qwen-7B, подготовленный bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста и локального инференса на устройствах с ограниченными ресурсами. В основе лежит модель размером 7B параметров; точная архитектура, поддерживаемые языки и размер контекста в представленном README не указаны. Доступны версии от F32 и F16 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3 и Q2 с размером файлов примерно от 3,55 до 30,47 ГБ. Квантизация выполнена с использованием llama.cpp и imatrix, а для запуска рекомендуется применять указанный формат prompt. Сильная сторона набора — широкий выбор компромиссов между качеством, размером файла и требованиями к памяти: версии Q6 и Q5 заявлены как обеспечивающие очень высокое или высокое качество, а Q4 — как подходящие для большинства сценариев. Более компактные варианты предназначены для систем с небольшим объёмом RAM, но могут заметно уступать по качеству. Лицензия в README не указана, поэтому условия использования следует уточнять в документации исходной модели и репозитория.

MaziyarPanahi/dolphin-2.6-mistral-7b-GGUF — это набор квантованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели cognitivecomputations/dolphin-2.6-mistral-7b, разработанной cognitivecomputations. Модель предназначена для генерации текста и может использоваться локально через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Модель относится к семейству Mistral и имеет размер 7B параметров согласно идентификатору базовой модели. Доступны варианты квантования от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. В метаданных указан английский язык; другие языки, поддерживаемые моделью, размер контекста и мультимодальные возможности не заявлены. Основные преимущества — совместимость с широким набором инструментов для локального запуска и возможность подобрать степень квантования под доступное оборудование. Ограничения связаны с потерями качества при более агрессивном квантовании, а также с отсутствием в предоставленных данных подробных оценок, описания точных сценариев применения и характеристик контекстного окна. Распространение указано по лицензии Apache-2.0.

Gemma 2 2B Instruct — компактная языковая модель Google из семейства Gemma, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантизацию выполнил bartowski на основе релиза llama.cpp b3496. Модель предназначена для генерации текста и диалоговых сценариев общего назначения, а также может использоваться для автодополнения и черновой генерации на устройствах с ограниченными ресурсами и низким энергопотреблением. Модель содержит около 2 миллиардов параметров и обучена на 2 триллионах токенов, включавших веб-документы, программный код и математические материалы. Она поддерживает работу с текстом; в README отдельно отмечены крупный словарь Gemma 2, потенциальные преимущества для многоязычных задач и программирования, однако точный список языков и размер контекстного окна не указаны. Для корректного диалога требуется шаблон Google Gemma Instruct; системный промпт не поддерживается. Сильными сторонами модели являются небольшой размер, пригодность для локального запуска и специализация на общих текстовых, кодовых и математических задачах. Ограничениями выступают меньшая емкость по сравнению с крупными моделями, отсутствие мультимодальности и неподдержка системных инструкций; модель также может генерировать неточные, вредные или неуместные ответы. Доступ регулируется лицензией Google Gemma: на Hugging Face требуется ознакомиться с условиями и принять лицензию.