II.2Создание и понимание программного кода

LayerSkip Llama2 7B — англоязычная языковая модель Meta Llama 2 на 7 млрд параметров, которую команда Facebook непрерывно предварительно обучила с применением LayerSkip. Она предназначена для генерации текста и ускоренного декодирования: модель формирует черновые токены с использованием ранних слоёв, а затем проверяет их оставшимися слоями в режиме self-speculative decoding. Для запуска доступны реализации на базе Transformers, кодовой базы LayerSkip и отдельной ветки gpt-fast; оптимизированные реализации переиспользуют веса и KV-кэш ранних слоёв. В приведённом README тесте на одной GPU NVIDIA A100 self-speculative decoding показал 56,10 токена в секунду против 34,87 при авторегрессионном декодировании. Реализация через стандартный интерфейс Transformers описана как неоптимальная по памяти из-за дублирования KV-кэша и активаций; обучение авторы называют незавершённой работой. Модель основана на meta-llama/Llama-2-7b-hf, распространяется под лицензией с меткой other; условия следует сверить с карточкой и лицензией базовой модели.

KoarAI/LFM2.5-350M-Thinking-0003-GGUF — компактная языковая модель KoarAI Lab для локального запуска через llama.cpp, Ollama, LM Studio, Jan и другие совместимые движки. Это GGUF-релиз дообученной модели KoarAI/LFM2.5-350M-Thinking-0003 на архитектуре Liquid Foundation Model LFM2.5-350M с 350 млн параметров; доступен файл в формате GGUF F16. Модель предназначена для диалогов, генерации текста и пошагового решения задач, включая математику, алгоритмические задачи, программирование, STEM-вопросы и следование инструкциям. В карточке заявлены Chain-of-Thought рассуждения и обучение на смеси дистиллированных примеров с английскими и русскими данными. Лицензия — Apache-2.0. Компактный размер позволяет запускать её локально на устройствах с ограниченными ресурсами. Однако 350 млн параметров ограничивают сложность задач и надёжность ответов; результаты рассуждений и фактические утверждения могут содержать ошибки.

Ling-3.0-tiny-GGUF — это текстовая генеративная модель с 8 млрд параметров, основанная на inclusionAI/Ling-3.0-tiny. Представленная версия квантизирована bartowski в формате GGUF с использованием llama.cpp; доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантизаций. Модель принимает только текстовые данные и предназначена для генерации текста в локальных приложениях и инструментах, совместимых с llama.cpp. Сильной стороной набора является широкий выбор квантизаций: Q4_K_M размером около 4,92 ГБ заявлен как сбалансированный вариант, а Q5 и Q6 ориентированы на более высокое качество. Низкобитные варианты позволяют снизить требования к памяти, но характеризуются меньшим качеством; часть форматов обозначена как устаревшая или предназначенная для совместимости. Спекулятивное декодирование не поддерживается, измерения perplexity и KLD не предоставлены. Сведения о языках, архитектуре исходной модели, размере контекста и результатах тестирования отсутствуют. Лицензия модели — MIT. Для работы требуется среда, поддерживающая формат GGUF, например llama.cpp; README также содержит специальный формат промпта с ролями SYSTEM, HUMAN и ASSISTANT.

Fireplace — разговорная модель с поддержкой вызова функций, созданная Valiant Labs на базе Llama 3 70B Instruct. Она предназначена для диалогов и выполнения запросов, в которых ассистент выбирает подходящую функцию и формирует вызов по заданной схеме. Для описанного сценария функции перечисляются в системном сообщении в формате Llama 3 Instruct, а ответы функций передаются модели отдельным сообщением пользователя. Модель имеет плотную архитектуру Llama с 69,5 млрд параметров и контекстом 8192 токена. Она дообучена на наборе glaiveai/glaive-function-calling-v2, преобразованном в формат Llama 3 Instruct; репозиторий содержит веса Safetensors. В карточке указана поддержка английского языка. Лицензия — llama3. Эта версия сочетает чат и инструкции с вызовом функций через системное сообщение; README не заявляет поддержку встроенных вызовов функций в теле диалога. Карточка также предупреждает о возможной ошибочной обработке завершающих токенов в text-generation-webui, из-за которой ответы могут обрываться или иметь неверную структуру.

Abiray/MiniCPM5-1B-GGUF — набор квантованных моделей MiniCPM5-1B, разработанной командой OpenBMB и опубликованной в формате GGUF пользователем Abiray. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, включая мобильные и периферийные системы, через llama.cpp. Она относится к задачам генерации текста и поддерживает сценарии, связанные с вызовом инструментов. В основе лежит архитектура LlamaForCausalLM с примерно 1 миллиардом параметров. Модель поддерживает английский и китайский языки, использует гибридное рассуждение со встроенными токенами <think> и имеет контекстное окно до 131 000 токенов. Доступны варианты GGUF с квантованием Q4_K_M, Q5_K_M, Q6_K, Q8_0, а также F16 без квантования; их размер составляет примерно от 657 МБ до 2,1 ГБ. Форматы ориентированы на эффективный вывод на CPU и устройствах edge-класса. Сильными сторонами являются небольшой размер, возможность автономного локального использования, широкий контекст и поддержка llama.cpp без пользовательских форков или специальных ядер. Квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью; варианты с более высоким качеством требуют больше памяти. README не содержит подробной оценки качества, перечня поддерживаемых языков помимо английского и китайского или описания ограничений безопасности. Лицензия — Apache-2.0.

unsloth/MiniMax-M2-GGUF — GGUF-версия модели MiniMax-M2, разработанная на основе MiniMaxAI/MiniMax-M2 и опубликованная командой Unsloth. Модель относится к классу text-generation и предназначена для генерации текста и интеграции в приложения, использующие совместимый с GGUF формат. README не содержит сведений об архитектуре, количестве параметров, доступных квантизациях, размере контекста, поддерживаемых языках и модальностях, поэтому эти характеристики нельзя достоверно определить. Также не приведены результаты тестирования, конкретные сценарии применения, требования к аппаратному обеспечению или сведения об ограничениях качества. Лицензия модели — MIT, что допускает широкое использование на условиях этой лицензии.

MiniMax-M3-uncensored — созданная ressl неконтентно-фильтрующая версия MiniMaxAI/MiniMax-M3. Это мультимодальная модель архитектуры MoE на 428 млрд параметров, из которых активно используются 23 млрд; веса представлены в BF16, а базовая модель поддерживает контекст до 1 млн токенов. По заявлению автора, модель изменена методом abliteration: в тесте на 16 вредоносных запросах она не выдала жёстких отказов. Это свойство поведения не является оценкой общей безопасности или качества модели. Модель предназначена для диалогов и генерации текста, в том числе для этичного тестирования безопасности, анализа вредоносного кода и уязвимостей, подготовки правил обнаружения и red teaming. Карточка указывает поддержку Transformers и возможность запуска через vLLM с актуальной поддержкой M3. Полная версия BF16 занимает около 796 ГБ и требует нескольких GPU для запуска; режим рассуждений включён по умолчанию. Карточка описывает английский язык. Лицензия указана как other, конкретные условия использования в предоставленных данных не приведены.

NVIDIA-Nemotron-3-Nano-30B-A3B-GGUF — это квантизированная версия модели NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, автоматически преобразованная проектом ggml-org/convert в формат GGUF. Разработчик исходной модели — NVIDIA; публикацией GGUF-версии занимается ggml-org. Модель предназначена для генерации текста и может запускаться через llama.cpp-совместимый интерфейс, включая llama.app. Из доступных данных известно, что модель относится к семейству Nemotron-3 Nano и имеет обозначение 30B-A3B, однако подробности об архитектуре, фактическом числе активируемых параметров, поддерживаемых языках, длине контекста и модальностях не указаны. Ключевое преимущество этой версии — возможность локального запуска в формате GGUF с использованием различных уровней квантизации, но конкретные параметры квантизации в README не приведены. Ограничения и результаты оценки также не описаны. Лицензия указана как other, без уточнения конкретных условий использования. README содержит незавершённые пункты, включая добавление дополнительной информации и поддержки MTP.

Это пакет распределённого вывода модели Qwen3-30B-A3B в формате GGUF Q4_K_M, подготовленный проектом Mesh LLM на основе unsloth/Qwen3-30B-A3B-GGUF. Веса разделены на артефакты по слоям, чтобы запускать модель на локальном кластере из нескольких машин, когда целый файл не помещается на одном узле. Пакет предназначен для локального и приватного чата и генерации текста через Mesh LLM. Сервис поддерживает совместимый с OpenAI интерфейс `/v1/chat/completions`; для работы требуется Mesh LLM и машины, объединённые в кластер. Модель относится к семейству Qwen3, а квантование Q4_K_M уменьшает требования к ресурсам по сравнению с полноточными весами. Карточка пакета отсылает к исходной модели за сведениями об архитектуре, шаблоне чата, рекомендациях по генерации и лицензии, поэтому эти условия следует сверять с карточкой источника. Сведения о размере модели, контекстном окне и поддерживаемых языках в предоставленных данных отсутствуют.

Qwen3-4B-Critic-SFT-Qwen-only — критическая модель на базе Qwen3-4B-Instruct-2507, разработанная проектом Steer, Don't Solve для поддержки крупных агентов программирования. Она анализирует траекторию работы агента через заданное число шагов и выдаёт структурированную критику: категории обнаруженных ошибок, подтверждающие свидетельства, действие для восстановления, статус задачи и краткую рекомендацию. Модель предназначена для контроля хода решения задач по программированию и не пишет исправляющий код сама. Это плотная авторегрессионная модель Qwen3 с 3,7 млрд параметров, дообученная полным параметрическим SFT на 1 915 примерах критики траекторий Qwen3-Next-80B-A3B. В README указана длина последовательности обучения 32 768 токенов; метаданные указывают нативный контекст базовой модели до 262 144 токенов. Обучающие примеры охватывают задачи из matplotlib, moto и sympy; в опубликованной абляции модель улучшила процент решения SWE-bench Verified при использовании с агентами Qwen3-Next-80B-A3B и Qwen3-32B. Модель принимает текстовые диалоги и выдаёт текстовую структурированную критику. Карточка описывает англоязычные данные; лицензия — Apache-2.0. Для запуска README рекомендует vLLM с bf16 и интеграцию с mini-swe-agent. Результаты приведены для конкретной абляции и наборов агентов, поэтому они не гарантируют аналогичного улучшения в других системах.

Qwen3.5-0.8B-SFT-DPO — компактная языковая модель, дообученная Муддасиром Джаведом, Камаром Разой и Рамаилом Ханом в рамках учебного проекта Institute of Business Administration. Это плотный авторегрессионный Transformer Qwen3.5 с 581,4 млн параметров и контекстом до 262 144 токенов; модель предназначена для диалогов и следования инструкциям в формате ChatML. Обучение включало SFT на 5 000 примерах из alpaca-cleaned и DPO на 2 000 пар предпочтений из ultrafeedback_binarized. Модель ориентирована на английский язык и подходит для написания текстов и кода, творческих заданий и ответов на общие вопросы. Модель может быть полезна для прототипирования разговорного помощника и выполнения повседневных инструкций. Учебное происхождение и небольшие обучающие выборки ограничивают надёжность: модель может допускать арифметические ошибки, выдумывать факты, зацикливаться или давать чрезмерно длинные ответы, а также ошибаться в структуре кода. Не следует полагаться на неё в задачах с высокими ставками без проверки результата. Лицензия — Apache 2.0.

Qwen3.8-27B-huihui-abliterated-groupwise-int-NInfer — артефакт квантования модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, опубликованный в пространстве Barding-Defense и предназначенный для движка NInfer. Это мультимодальная модель для работы с текстом и изображениями, поддерживающая режимы reasoning и speculative decoding с использованием MTP. Upstream-модель подвергнута удалению отказов методом редактирования весов; данная версия не выполняет дообучение или дополнительное изменение поведения, а только преобразует формат и квантует веса. Модель содержит 27B параметров, текстовую часть, vision-компоненты, MTP и оптимизированную draft head. Используется groupwise integer-квантизация с форматами Q5G64_F16S, Q4G64_F16S, W8G32_F16S и другими, при этом часть компонентов сохранена в BF16 или FP32. Контейнер занимает около 18,2 GB, а резидентный объём весов составляет примерно 15,9 GiB. Для работы требуется GPU NVIDIA Blackwell с compute capability 12.0 (sm_120a); заявлена поддержка контекста до 262144 токенов при серверном запуске. Сильные стороны модели — компактное размещение в памяти, совместимость со штатным NInfer, поддержка изображений и MTP-декодирования. На указанном GPU измеренная скорость декодирования достигает 199,6 токена в секунду с MTP при 86,2% принятия draft-токенов. Ограничения включают привязку к Blackwell, отсутствие опубликованных capability-бенчмарков и сравнения с BF16, а также возможное снижение возможностей из-за abliteration; степень этого снижения не измерялась. Лицензия — Apache-2.0.

apetersson/Qwen3.8-Flash-Next-GGUF — это квантизированная GGUF-сборка модели Qwen3.8-Flash-Next, разработанной командой Qwen и подготовленной пользователем apetersson для запуска через llama.cpp. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений и, согласно тегам, видео. В комплект входят варианты квантизации Q5_K_M и UD-IQ4_XS, общий vision-проектор и MTP-компонент для ускорения генерации. Сборка использует общую BF16-таблицу n-gram, размещаемую отдельно от основных весов, и требует специального расширения среды выполнения llama.cpp; стандартная версия llama.cpp и автоматическая загрузка через -hf не поддерживаются. Размер основных файлов составляет около 76,24 GiB для Q5_K_M и 60,42 GiB для UD-IQ4_XS, а суммарный объём активных артефактов с общими компонентами — около 235,47 GiB. На RTX PRO 6000 Blackwell подтверждена работа с контекстом 262 144 токена для Q5 и IQ4, а для IQ4 проверена загрузка контекста до 1 048 576 токенов с Q8-кэшем KV; фактическая проверка генерации на миллионе токенов не проводилась. Сильными сторонами являются мультимодальность, поддержка очень длинного контекста, наличие MTP и возможность запуска на системах с 96–128 GB памяти при соответствующей конфигурации. Ограничения включают высокие требования к видеопамяти и оперативной памяти, необходимость сохранять структуру каталогов и использовать патченный runtime, а также ограниченную проверку экстремально длинного контекста. Модель распространяется по лицензии qwen-community-1.0; точные условия следует уточнять в файле LICENSE.

v000000-Qwen2.5-Lumen-14B-GGUF — набор GGUF-квантизированных файлов базовой модели v000000/Qwen2.5-Lumen-14B. Квантизацию подготовила команда featherless-ai-quants; конкретный разработчик исходной модели в README не указан. Модель относится к классу text-generation и предназначена для генерации текста, однако подробные сценарии применения, языки и результаты оценки не приведены. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Размер файлов составляет примерно от 5,5 до 15 ГБ. Число параметров базовой модели — 14B. Архитектура, размер контекста, поддерживаемые модальности и языки в README не указаны; по имеющимся данным, модель является текстовой и не предназначена для работы с изображениями или другими модальностями. Основное преимущество набора — выбор уровня квантизации, позволяющий адаптировать требования к дисковому пространству и ресурсам под конкретную среду запуска. Ограничения связаны с отсутствием сведений о качестве, скорости, совместимости с конкретными рантаймами и компромиссах между вариантами квантизации. Лицензия в README не указана.

DevQuasar/xai-org.grok-2-GGUF — это квантизированная версия модели xai-org/grok-2, опубликованная пользователем или организацией DevQuasar. Модель предназначена для генерации текста и относится к категории text-generation. В README не указаны архитектура, число параметров, поддерживаемые языки и модальности, размер контекста, конкретные сценарии применения, формат квантизации или результаты оценки качества. Поэтому охарактеризовать её сильные стороны и ограничения можно только в общих чертах: квантизация обычно направлена на снижение требований к памяти и вычислительным ресурсам, но её влияние на качество зависит от конкретной реализации и не описано в предоставленных данных. Информация о лицензии и условиях использования отсутствует. README содержит ссылку на исходную модель xai-org/grok-2, однако сведения о её лицензии и характеристиках в карточке не приведены.

xLAM-1b-fc-r — компактная языковая модель Salesforce из семейства Large Action Models, оптимизированная для вызова функций и использования инструментов в агентных системах. Это плотная авторегрессионная модель архитектуры Llama с 1,3 млрд параметров и контекстом 16 384 токена; репозиторий содержит веса Safetensors и рассчитан на работу через Transformers или vLLM. Модель преобразует инструкции на естественном языке в структурированные вызовы доступных API. Она подходит для агентов, которым нужно обращаться к цифровым сервисам, например получать прогноз погоды, управлять публикациями в социальных сетях или работать с финансовыми сервисами. По карточке, модель дообучена для вызова функций на данных Salesforce/xlam-function-calling-60k; в тестировании BFCL авторы сообщают точность 78,94%. Модель ориентирована на английский язык. Компактный размер упрощает развёртывание на персональных устройствах, но качество вызовов зависит от формулировки запроса и описаний доступных функций; карточка не подтверждает выполнение самих API-вызовов без внешней агентной обвязки. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

ActionGemma 2B — дообученная модель семейства Gemma 2 от Dinushi Jayasinghe для генерации текста с вызовом функций и инструментов. В репозитории опубликованы объединённые веса LoRA-адаптера с базовой моделью в формате FP16, готовые для запуска через vLLM или Transformers без PEFT. Модель содержит 2,7 млрд параметров и поддерживает контекст до 8192 токенов. Она рассчитана на англоязычные диалоги, где модель должна выбирать и формировать вызовы функций; по данным карточки, она достигает macro F1 93,74%, реже галлюцинирует вызовы и использует меньше токенов, чем базовая модель. Для использования требуется GPU-среда, если модель обслуживается через vLLM. Модель основана на Gemma 2 и распространяется на условиях Gemma Terms of Use.

AmberYifan/capsd-final-retrain-marin-8b-base-code_cap_b8000_s0 — дообученная модель на архитектуре Llama, созданная на основе marin-community/marin-8b-base. Она содержит 7,5 млрд параметров и предназначена для генерации текста; карточка связывает её с набором данных capsd_marin-8b-base-n80000-opc__mix_code_cap_b8000_s0. Метаданные отмечают поддержку диалогового режима. Англоязычная базовая модель рассчитана на генерацию и продолжение текста, а также дальнейшую адаптацию. Модель принимает текст и выдаёт текст, использует библиотеку Transformers и формат весов Safetensors. Её родной контекст — 4096 токенов. Состав и качество дообучения, конкретные сценарии применения и оценка результатов в карточке не описаны. Лицензия указана как other, поэтому точные условия использования из доступной карточки определить нельзя.

DevOps-Model-7B-Chat — чат-модель CodeFuse AI для ответов на вопросы на протяжении жизненного цикла DevOps. Она основана на семействе Qwen: модель дополнительно обучали на китайском DevOps-корпусе, а затем согласовали на данных «вопрос–ответ» по DevOps. Размер модели — 7 млрд параметров; архитектура плотная, QWenLMHeadModel, контекст — 6144 токена. Модель предназначена для помощи инженерам с вопросами по DevOps, включая темы компьютерных наук и безопасности. В опубликованной оценке на 574 тестовых вопросах DevOps она получила 62,20 балла в режиме Zero-shot и 64,11 в режиме Five-shot; эти результаты относятся к указанному набору тестов. Карточка описывает китайскую специализацию модели. Модель доступна в форматах PyTorch и safetensors. Указана лицензия other, поэтому условия её использования следует проверять в материалах проекта. Разработчики предупреждают о возможных галлюцинациях и дискриминационных высказываниях; перед применением ответы следует проверять.

Arc53/docsgpt-7b-falcon — языковая модель на архитектуре Falcon, разработанная для ответов на вопросы по документации. Она дообучена методом LoRA на базе falcon-7b-instruct на 50 тысячах примеров и рассчитана на сценарии, где найденные документы передаются модели в контексте: например, для помощи разработчикам и технической поддержки. Модель генерирует текст в формате «вопрос — контекст — ответ». В метаданных указаны 10,9 млрд параметров, библиотека Transformers, формат safetensors и английский язык. Лицензия Apache-2.0 допускает коммерческое использование. Описание не приводит результатов бенчмарков: они ещё готовятся, поэтому качество модели не подтверждено опубликованными оценками.

Это пакет слоёв модели Gemma 4 31B Instruct, подготовленный Mesh LLM для распределённого вывода из GGUF-файлов. Он основан на unsloth/gemma-4-31B-it-GGUF и сохраняет её веса в виде отдельных артефактов по слоям; вариант квантования — UD-Q4_K_XL. Пакет предназначен для локального приватного запуска чат-модели через Mesh LLM. Слои можно распределить между несколькими компьютерами, если модель целиком не помещается на одном узле, а локальный API совместим с OpenAI Chat Completions. Для запуска требуется Mesh LLM и вычислительные ресурсы кластера. Подробности об архитектуре, языках, контексте и лицензии следует сверять с карточкой исходной модели unsloth/gemma-4-31B-it-GGUF: в предоставленных данных этих сведений нет.

GLM-5.3-Flash-Uncensored-EXL3 — квантизированная версия uncensored (abliterated) модели GLM-5.3-Flash. Модель подготовлена neko-legends на основе FP8-версии orcarouter/GLM-5.3-Flash-Uncensored, происходящей от zai-org/GLM-5.3-Flash; калибровочные материалы связаны с проектом ShapleyMcg Brandon M. Music. Репозиторий классифицирует модель как multimodal и image-text-to-text, однако подробные сведения о поддерживаемых модальностях и языках в карточке не приведены. Модель предназначена для локального развёртывания, авторизованного red-team и purple-team тестирования, аудита и защиты собственных систем, анализа вредоносного содержимого, а также исследовательских и персональных сценариев. Это MoE-модель с 288 экспертами в 42 слоях; маршрутизируемые эксперты закодированы в EXL3/K4 с эффективной разрядностью 4 bpp, а остальные компоненты хранятся преимущественно в BF16. Заявлены контекст до 1 млн токенов, объём около 176 ГБ и скорость примерно 97 токенов в секунду в однопоточном режиме на конфигурации 4× DGX Spark TP4 с DFlash2 speculative decoding. К сильным сторонам относятся большой контекст, высокая скорость локального инференса и сохранение uncensored-поведения после квантизации. Ограничения включают значительные требования к памяти и оборудованию, отсутствие встроенного отказоустойчивого alignment, а также отсутствие в карточке независимых оценок возможностей, безопасности и смещений сверх указанных benchmark-материалов. Лицензирование смешанное: цепочка весов заявлена под MIT, а калибровочные артефакты и trellis-коды — под ShapleyMcg License v1.0 с обязательной атрибуцией и специальными условиями; перед использованием необходимо учитывать обе лицензии.

GLM-5.3-Flash-W4A16-NVFP4-K32-Experts-FP8-WO — это смешанно-квантизированная версия модели GLM-5.3-Flash-BF16, разработанной Z.ai и опубликованной пользователем ormandj. Модель предназначена для задач генерации текста и обработки изображений, включая мультимодальные сценарии с vision input, а также для серверного инференса с несколькими одновременными запросами и speculative decoding. Модель поддерживает контекст до 499 712 токенов и рассчитана на работу на двух GPU RTX PRO 6000 Blackwell с 96 ГБ памяти каждый. Маршрутизируемые эксперты в слоях 3–45 квантизированы в ModelOpt W4A16 NVFP4, а часть attention- и shared-expert-проекций — в weight-only FP8; vision tower, проектор, эмбеддинги, LM head, маршрутизаторы, нормализации и ряд других компонентов сохранены в исходной точности. Тензорные данные занимают около 178 ГБ в 90 safetensors-шардах. В README указано качество 96,9% на GSM8K в zero-shot greedy-режиме, сопоставимое с исходной BF16-моделью в аналогичных условиях. Основные ограничения связаны с узкой аппаратной и программной совместимостью: требуется Linux x86_64, две GPU с архитектурой SM120, Docker и NVIDIA Container Toolkit. Чекпойнт использует специальный контракт modelopt_mixed и на данный момент корректно загружается только через закреплённый образ SGLang/FlashInfer; стандартные версии Transformers, vLLM и SGLang не поддерживаются. Это не официальный релиз Z.ai, ModelOpt или SGLang. Исходный чекпойнт распространяется по лицензии MIT; рекомендации по применению и ограничениям следует уточнять в карточке исходной модели.

Это GGUF-квантизированная версия FunctionGemma 270M IT, базовая модель которой разработана Google, а квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты, в частности для задач генерации текста и работы с функциями или инструментами. README не содержит подробного описания исходной архитектуры, набора языков, модальностей и размера контекста. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Они занимают примерно от 0,20 до 0,54 ГБ; более высокие уровни обычно сохраняют лучшее качество, а компактные варианты подходят для систем с ограниченным объёмом оперативной памяти. Для работы рекомендуется использовать указанный шаблон prompt format с ролями developer, user и model. Модель распространяется по лицензии Gemma; для доступа к исходной модели на Hugging Face требуется принять условия лицензии Google. Ограничения включают возможное снижение качества у более сильных вариантов квантизации, а также отсутствие в README точных сведений о языковой поддержке, контекстном окне и результатах оценки.

Granite-8B-Code-Base-4K — авторегрессионная decoder-only модель для генерации кода, разработанная IBM Research и обученная с нуля. Модель содержит 8,1 млрд параметров, использует архитектуру Llama и принимает контекст до 4096 токенов. В первом этапе обучения использовались 4 трлн токенов кода на 116 языках программирования, а на втором — 500 млрд токенов из тщательно подобранных наборов кода и естественного языка. Модель предназначена для генерации и объяснения кода, исправления ошибок, создания модульных тестов и документации, поиска уязвимостей и перевода между языками программирования. Также обучение на данных естественного языка поддерживает понимание инструкций и математические рассуждения. Модель доступна в формате Safetensors и распространяется по лицензии Apache 2.0. Разработчик не рекомендует использовать её в новых проектах и оставляет модель для исторических и научных целей. Она не прошла выравнивание по безопасности, может выдавать проблемный или ошибочный код и иногда воспроизводить фрагменты обучающих данных; результаты требуют проверки.

Hemlock-Apothecary-7B-i1-GGUF — это квантизированная версия языковой модели Hemlock-Apothecary-7B, разработанной hemlang и опубликованной в формате GGUF пользователем mradermacher. Модель обучалась с использованием наборов данных Hemlock2-DPO, hemlock-formulary-SFT и hemlock-codex-SFT; в карточке также указаны теги text-generation, SFT, merlina и grimoire. Модель предназначена для генерации текста и локального запуска через совместимые с GGUF инструменты. Доступны варианты квантизации от i1-IQ1_S до i1-Q6_K размером примерно от 2,0 до 6,4 ГБ. В качестве рекомендуемого варианта указан i1-Q4_K_M, обеспечивающий компромисс между размером, скоростью и качеством; для максимального качества среди представленных вариантов подходит i1-Q6_K, а низкобитные варианты требуют меньших ресурсов, но могут заметно терять в качестве. Известно, что модель ориентирована на английский язык. В README не указаны архитектура в деталях, размер контекста, поддержка дополнительных модальностей, результаты тестирования или конкретные прикладные сценарии. Лицензия модели также не указана, поэтому условия её использования по карточке определить нельзя.

Mungert/Josiefied-Qwen3-8B-abliterated-v1-GGUF — это GGUF-версия текстовой генеративной модели, созданная на основе Qwen/Qwen3-8B. Модель предназначена для диалогов и генерации текста, а формат GGUF рассчитан на запуск через совместимые инструменты, включая llama.cpp, на системах с ограниченными ресурсами. Ключевые характеристики включают размер порядка 8 млрд параметров, текстовую модальность и поддержку квантованных вариантов с низкой разрядностью. В README описан подход IQ-DynamicGate для адаптивного распределения точности в 1–2-битных квантованиях: наиболее важные слои сохраняются в форматах с более высокой точностью, а остальные сжимаются сильнее. Это позволяет уменьшить требования к памяти по сравнению с полноразмерными вариантами, хотя конкретные характеристики зависят от выбранного файла квантования. Для отдельных вариантов приведены результаты тестов на Llama-3-8B, но они не подтверждают аналогичные показатели именно для данной модели. Сильная сторона модели — возможность локального запуска на CPU, устройствах с небольшим объёмом VRAM и edge-системах, а также исследовательское применение ультранизкоразрядного квантования. Ограничениями являются возможная потеря качества при использовании 1–2-битных вариантов и зависимость производительности от оборудования и формата квантования. Лицензия в предоставленном README не указана.

CK0607/llama3.2-3B-CodeP — дообученная CK0607 модель генерации текста на архитектуре LlamaForCausalLM, основанная на unsloth/llama-3.2-3b-instruct-bnb-4bit. Модель содержит 3,2 млрд параметров и рассчитана на контекст до 131 072 токенов; для обучения использовались Unsloth и библиотека TRL. Модель предназначена для диалоговой генерации текста. Название репозитория указывает на ориентацию на программный код, однако README не описывает конкретные возможности в программировании или результаты обучения. Доступна по лицензии Apache-2.0.

Это пакет слоёв GGUF для запуска чат-модели Llama 4 Maverick 17B 128E Instruct в распределённой среде Mesh LLM. Пакет подготовлен Mesh LLM на основе unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF и содержит разделённые по слоям артефакты варианта UD-Q4_K_XL для распределённого инференса на нескольких машинах. Модель предназначена для локального приватного чата и генерации текста, в том числе для сценариев, когда полный GGUF не помещается на одном узле. Mesh LLM позволяет обслуживать запросы через локальный API, совместимый с OpenAI Chat Completions. Указаны семейство Llama и формат GGUF; сведения о языках и длине контекста в предоставленных данных отсутствуют. Для работы нужен Mesh LLM и доступные узлы кластера, если модель распределяется между несколькими машинами. Это квантизированный вариант Q4_K_XL, поэтому качество и скорость могут отличаться от исходной модели. Лицензионные условия следует сверять с карточкой исходной модели; в предоставленном README они не приведены.

Это пакет слоёв GGUF для распределённого запуска Mistral-Large-3-675B-Instruct-2512-UD-Q4_K_XL с помощью Mesh LLM. Его подготовила Mesh LLM на основе unsloth/Mistral-Large-3-675B-Instruct-2512-GGUF: исходная модель разделена на артефакты по слоям для выполнения на нескольких машинах в локальном кластере. Модель предназначена для генерации текста и диалогов, в том числе через локальный API, совместимый с OpenAI Chat Completions. Разделение слоёв позволяет объединить память и вычислительные ресурсы нескольких узлов, когда целый пакет GGUF трудно разместить на одном компьютере. Вариант UD-Q4_K_XL использует квантованный формат GGUF; дополнительные сведения об архитектуре, языках и контекстном окне приведены в карточке исходной модели, а не в этой карточке пакета. Пакет рассчитан на запуск через Mesh LLM и требует инфраструктуры для распределённого инференса. Лицензия в доступной карточке пакета не приведена; условия использования следует проверять у исходной модели Mistral-Large-3-675B-Instruct-2512-GGUF.