II.2Создание и понимание программного кода

qwp4w3hyb/gemma-2-27b-it-iMat-GGUF — это GGUF-квантизированная версия инструкционно дообученной модели Gemma 2 27B IT, разработанной Google. Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям на английском языке. В основе лежит модель Google Gemma 2 27B IT с размером 27 миллиардов параметров. Доступен широкий набор вариантов квантизации от Q8_0 до IQ1_S, включая экспериментальные типы с суффиксом _L. Для снижения потерь качества при квантизации использована importance matrix, рассчитанная на специализированном калибровочном наборе данных. Файлы подготовлены с использованием llama.cpp с учётом исправлений, связанных с финальным logit soft-capping, sliding window и токенизатором. Основное преимущество модели — выбор вариантов GGUF для запуска в llama.cpp с разным компромиссом между качеством, размером и требованиями к ресурсам; importance matrix должна улучшать сохранение качества после квантизации. Ограничения включают зависимость характеристик от выбранного типа квантизации и отсутствие в предоставленной карточке подробностей о контекстном окне, архитектурных параметрах, мультимодальности и результатах тестирования. Лицензия указана как gemma.

canada-quant/GLM-5.3-Flash-W4A16-MTP — это квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной zai-org и подготовленной canada-quant. Модель предназначена для генерации текста и обработки изображений с текстом, включая сценарии с очень длинным контекстом и ускоренным инференсом на совместимом GPU-оборудовании. Заявлены английский и китайский языки, архитектура Transformers и контекст до 1 048 576 токенов. В модели применяется weight-only-квантизация INT4 (W4A16, GPTQ, group-128) для 36 288 routed-expert GEMM-операций. Веса занимают около 177,7 GiB вместо примерно 599 GiB в BF16. Компоненты внимания, маршрутизатор, shared experts, embeddings, vision tower и BF16 MTP draft head сохранены без квантизации; MTP используется для speculative decoding. Артефакт рассчитан на запуск, в частности, на 4× H100/H200, 4× RTX PRO 6000 или 2× DGX Spark, при этом максимальный подтверждённый контекст зависит от конфигурации оборудования. Сильные стороны модели — существенно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и ускорение генерации за счёт MTP. README приводит высокие результаты на AIME 2026 и GSM8K, а также сравнительные показатели производительности на H100, H200 и DGX Spark. Ограничения включают зависимость доступного контекста и скорости от конкретного оборудования и serving stack; модель не является новой базовой разработкой, а сохраняет возможности исходной GLM-5.3-Flash с компромиссами квантизации. Лицензия — MIT.

RedHatAI/GLM-5.3-NVFP4 — текстовая генеративная языковая модель, разработанная Red Hat AI на основе модели zai-org/GLM-5.3. Она предназначена для генерации текста, следования инструкциям и решения задач, требующих рассуждений, включая математические и научные вопросы. Заявлены поддерживаемые языки английский и китайский, а входом и выходом модели является текст. Модель использует архитектуру GlmMoeDsaForCausalLM и формат compressed-tensors. Это вариант с квантованием весов и активаций в NVFP4/FP4 E2M1 с двухуровневым масштабированием; слои вне маршрутизируемых экспертов оставлены без квантования. Чекпойнт оптимизирован для инференса на GPU Blackwell и создан с применением LLM Compressor и калибровочных данных perfectblend. Для запуска рекомендуется vLLM; в примере конфигурации используются четыре устройства B200, FP8 E4M3 KV-кэш и speculative decoding. По приведённым оценкам, модель сохраняет близкую к базовой FP8-версии точность на задачах следования инструкциям, математики, рассуждений и научных вопросов. Наиболее сильные результаты показаны на GSM8K Platinum и MATH-500, однако на IFEval, AIME 2025 и GPQA Diamond она уступает базовой модели в FP8. Ограничения включают зависимость от совместимой инфраструктуры Blackwell и специализированного стека инференса; размер модели, длина контекста и точные требования к памяти в README не указаны. Модель распространяется по лицензии glm-5.3, обозначенной как other.

gpt-oss-20b-Derestricted — производная модель Arli AI на основе openai/gpt-oss-20b. Авторы применили Norm-Preserving Biprojected Abliteration, чтобы ослабить поведение отказа, сохранив исходные нормы весов. В каталоге указано 1,6 млрд параметров, архитектура MoE для авторегрессионной генерации текста и контекст до 131 072 токенов. Модель предназначена для диалогов, рассуждений, агентных сценариев и других задач генерации текста, где требуется меньше отказов на запросы. Исходная модель поддерживает настраиваемый уровень рассуждений и формат Harmony; для корректной работы следует использовать шаблон Harmony. Карточка утверждает, что метод помогает сохранить качество рассуждений, но приводит это как результат авторских оценок, а не как независимую гарантию. Модель распространяется по лицензии Apache-2.0. Она может по-прежнему иногда пытаться подавлять запросы; языки в предоставленных данных явно не перечислены.

Hermes-3-Llama-3.1-8B — языковая модель семейства Llama, опубликованная под идентификатором Unsloth на Hugging Face. Она предназначена для генерации текста и диалогового взаимодействия и может использоваться через библиотеку Transformers.

Livron 7B v1 — дообученная разработчиком developer2625 языковая модель на архитектуре Qwen2.5, предназначенная для генерации текста и диалогового общения. Она основана на unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit и содержит 7,1 млрд параметров; модель обучали с использованием Unsloth и библиотеки Hugging Face TRL. Поддерживает контекст до 32 768 токенов и интерфейс вызова инструментов. Модель подходит для диалоговых помощников, генерации и продолжения текста, а также сценариев, где требуется взаимодействие с инструментами. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

deltanym/llama3.1-base-instruct-gradient-1 — объединённая автором модель на архитектуре Llama 3.1, созданная методом SLERP с помощью mergekit из meta-llama/Llama-3.1-8B и meta-llama/Llama-3.1-8B-Instruct. Это плотная причинная языковая модель примерно на 7,5 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; метаданные указывают поддержку интерфейса вызова инструментов. Модель принимает текст и выдаёт текст, использует библиотеку Transformers, веса опубликованы в формате safetensors, а длина контекста составляет 131 072 токена. Модель подходит для диалоговых ассистентов, генерации и продолжения текста, а также сценариев с вызовом инструментов. Инструкционно настроенная базовая модель поддерживает несколько языков, однако точный перечень языков для этого слияния не приведён. Лицензия в предоставленных данных не указана. Результат слияния может отличаться по поведению от обеих исходных моделей; качество и ограничения отдельно не описаны.

Tess-4-27B-GGUF — это квантизированная версия модели Tess-4-27B, разработанной migtissera. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. По данным карточки, модель ориентирована на мультимодальные сценарии image-text-to-text, агентные задачи, рассуждения, работу с длинным контекстом и использование инструментов. Указана архитектурная принадлежность к семейству Qwen3, однако точный размер контекста, поддерживаемые языки и подробные характеристики модальностей в README не приведены. Доступны варианты от BF16 до низкоразрядных Q2–Q8-квантизаций; размеры файлов составляют примерно от 13 до 55 ГБ. Варианты Q5–Q6 обозначены как высококачественные, а Q4_K_M — как типичный вариант для большинства сценариев. Сильной стороной являются различные уровни квантизации, позволяющие выбирать между качеством, скоростью и требованиями к памяти, а также поддержка экосистемы llama.cpp. Более низкоразрядные варианты экономят память, но могут заметно уступать по качеству; некоторые форматы являются устаревшими или не рекомендуются. Модель и её квантизированные варианты распространяются по лицензии Apache-2.0.

Joseph717171/Mistral-12.25B-Instruct-v0.2 — разговорная языковая модель на архитектуре Mistral, созданная методом Depth Up-Scaling на основе mistralai/Mistral-7B-Instruct-v0.2 и объединения предварительно обученных моделей с помощью mergekit. Разработчик описывает её как основу для дальнейшего дообучения и как замену Mistral-7B-Instruct-v0.2 с увеличенным числом параметров. Модель содержит 12,3 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Она подходит для диалогов и других задач генерации текста. В карточке приведён шаблон чата Mistral Instruct. Авторы отмечают, что оптимальность выбранных параметров Depth Up-Scaling ещё не установлена, а более широкое исследование гиперпараметров ограничили затраты на продолжение предобучения. README также предупреждает об отсутствии встроенных механизмов модерации. Лицензия — Apache-2.0.

OpenHermes-7B-Symbolic-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная из mistralai/Mistral-7B-Instruct-v0.1 и hedronstone/OpenHermes-7B-Symbolic методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Карточка описывает состав и способ объединения моделей, но не приводит сравнительных оценок качества или специальных ограничений.

recursal/RADRWKV7Qwen2.5-7B — модель генерации текста на 7,1 млрд параметров, полученная преобразованием Qwen2.5-7B с помощью метода RADLADS. Она использует линейное внимание и архитектуру RWKV7Qwen2 и предназначена для диалогов и генерации текста; также заявлен интерфейс вызова инструментов. По README, преобразование требует 350–700 млн токенов дистилляции, сохраняет качество, близкое к исходной модели, и ускоряет генерацию благодаря постоянным затратам на токен. Модель принимает текст, выдаёт текст и поддерживает контекст длиной 32 768 токенов. Репозиторий использует safetensors и библиотеку Transformers; для загрузки требуется trust_remote_code=True. Лицензия — Apache-2.0.

mlx-community/Qwen2.5-72B-Instruct-8bit — 8-битная версия модели Qwen2.5-72B-Instruct, подготовленная сообществом mlx-community из Qwen/Qwen2.5-72B-Instruct для формата MLX с помощью mlx-lm 0.18.1. Это плотная языковая модель на 71,5 млрд параметров с архитектурой Qwen2 и контекстом до 32 768 токенов. Модель предназначена для диалоговой генерации текста и интерфейса вызова инструментов. Формат MLX ориентирован на запуск с mlx-lm. В метаданных указан английский язык; иных языков карточка не подтверждает. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в материалах репозитория.

Thamed-Chowdhury/qwen-2.5-7B-DPO-split1-16bit-chunk34 — дообученная диалоговая модель семейства Qwen2, разработанная Thamed-Chowdhury на основе Thamed-Chowdhury/qwen-2.5-7B-DPO-split1-16bit-chunk12. Модель с архитектурой Qwen2ForCausalLM содержит 7,1 млрд параметров и предназначена для генерации текста в диалогах; в метаданных также отмечен интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. В карточке заявлено обучение с использованием Unsloth и библиотеки TRL. Лицензия — Apache-2.0. Подтверждённый язык карточки — английский.

Qwen3.5-9B-AWQ-INT4 — квантизированная версия языковой модели Qwen3.5-9B, разработанной командой Qwen. Это текстовая генеративная модель для работы с английским языком, включая генерацию и продолжение текста, диалоговые сценарии и другие задачи, поддерживаемые базовой моделью через библиотеку Transformers. Модель использует 4-битное квантование весов по схеме AWQ (INT4 weight-only), благодаря чему занимает примерно 7,7 ГБ на диске и требует меньше памяти, чем полноразмерная версия. Для запуска указан контекст до 32 768 токенов и совместимость с vLLM. README не содержит подробностей о внутренней архитектуре базовой модели, точном количестве параметров сверх обозначения 9B, мультимодальности или результатах сравнительных тестов. Ключевое преимущество модели — сниженное потребление памяти при сохранении назначения исходной Qwen3.5-9B. Ограничения включают поддержку только английского языка, а также возможное снижение точности и качества по сравнению с исходной моделью из-за 4-битного квантования. Модель распространяется по лицензии Apache License 2.0 как производная работа Qwen3.5-9B; для использования необходимо учитывать требования лицензии и атрибуции.

greghavens/Qwen3.8-27B-bnb-4bit — это 4-битная NF4-квантизованная версия мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для обработки текста и изображений, включая задачи visual question answering, генерацию текста по изображениям и работу с агентами и инструментами. Указан английский язык. Размер модели — около 18,60 ГБ в шести сегментах, что позволяет запускать её на одной видеокарте с 24 ГБ памяти при использовании bitsandbytes и совместимого ускорителя. Квантизация применяется к 496 языковым линейным слоям, тогда как vision tower, lm_head, входные эмбеддинги и нормализующие слои сохранены в bfloat16. В комплекте также присутствует MTP head в bfloat16 для speculative decoding в vLLM и SGLang, хотя Transformers его не использует. Модель совместима с Transformers и поддерживает QLoRA-файнтюнинг через PEFT. Контекст модели в README не указан. По заявленным измерениям, квантизация почти не меняет результаты IFEval и NoveltyBench, а ухудшение perplexity на Wikitext-2 составляет около 1,14%. При этом показатель BFCL для вызова инструментов снижается с 0,8218 до 0,8113, а на нерелевантные запросы модель чаще ошибочно генерирует вызов инструмента. Для Blackwell и сценариев, ориентированных только на инференс, README рекомендует более быстрые варианты NVFP4 или FP8. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-FP8 — квантованная версия мультимодальной модели Qwen3.8-27B, опубликованная huginnfork на базе модели Qwen/Qwen3.8-27B. Она предназначена для задач, объединяющих работу с текстом и изображениями, включая генерацию и понимание ответов по визуально-текстовым запросам. Модель поддерживает speculative decoding и multi-token prediction, однако конкретный набор языков и максимальная длина контекста в предоставленных данных не указаны. Модель имеет плотную архитектуру семейства Qwen3.5 с гибридом линейного внимания и полного self-attention, vision tower и MTP-head. Квантование выполнено по схеме FP8_DYNAMIC W8A8: веса и активации MLP-проекций квантуются в FP8 E4M3, а активации обрабатываются динамически на уровне токенов. Пути self-attention, linear attention на базе SSM, vision tower, lm_head и MTP-head сохранены в формате bf16. Размер чекпойнта составляет около 35,8 GiB в восьми файлах против 51,7 GiB у версии bf16. Выборочная квантизация MLP снижает объём хранения и, согласно приведённым измерениям, обеспечивает меньшее расхождение с исходной bf16-моделью, чем официальный FP8-релиз, при сохранении сопоставимой perplexity. Ограничения включают необходимость совместимого программного и аппаратного стека для FP8 и отсутствие в предоставленном README подробностей о фактической производительности, поддерживаемых языках и контекстном окне. Модель распространяется по лицензии Apache-2.0.

NobodyWho/Qwen_Qwen3.5-0.8B-GGUF — GGUF-квантизированная версия модели Qwen3.5-0.8B, разработанной командой Qwen компании Alibaba Group. Модель подготовлена для использования с NobodyWho, содержит встроенные рекомендованные параметры семплирования Qwen и проверена тестовым набором NobodyWho. Модель предназначена для быстрого диалогового общения и генерации текста, выполнения инструкций, нативного tool calling и локального запуска на устройствах с ограниченными ресурсами. Она поддерживает мультимодальный ввод текста и изображений через дополнительную проекционную модель mmproj-BF16.gguf, режим рассуждений, включённый по умолчанию, а также широкий набор языков. Заявлена поддержка контекста до 262 144 токенов. Модель содержит 0,8 млрд параметров и использует архитектуру qwen35. Доступны варианты BF16, Q8_0 и Q4_K_M; каждый показал результат 13 из 14 тестов tool calling, при этом сложные схемы остаются ограничением. Основные преимущества — малый размер, низкие требования к памяти, мультимодальность, длинный контекст и возможность локального использования. Для работы с изображениями требуется отдельный файл проекционной модели. Распространяется по лицензии Apache 2.0.

SLIM-EXTRACT — специализированная языковая модель компании llmware для извлечения из текста элементов по заданному пользователем ключу. Она принимает текстовый фрагмент и ключ, например «universities» или «company», и генерирует словарь Python, где этому ключу соответствует список найденных в тексте значений. Модель предназначена для извлечения структурированных сведений из документов и использования в сценариях function calling. Модель дообучена на llmware/bling-stable-lm-3b-4e1t-v0, основанной на stabilityai/stablelm-3b-4elt. Это плотная авторегрессионная модель семейства StableLM Epoch с 2,7 млрд параметров и контекстом до 4096 токенов. Репозиторий содержит веса PyTorch; лицензия — CC BY-SA 4.0. README не сообщает перечень поддерживаемых естественных языков или количественные показатели качества.

smol-7b-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral для генерации ответов на инструкции и диалоговые запросы. Она создана методом SLERP merge из mistralai/Mistral-7B-Instruct-v0.1 и rishiraj/smol-7b; в конфигурации указана базовая модель mistralai/Mistral-7B-Instruct-v0.1. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и принимает текст для генерации текста. Нативный контекст составляет 32 768 токенов. В карточке указан английский язык, формат весов — safetensors, лицензия — Apache-2.0.

WhiskyAKM опубликовал GGUF-сборку Spark-X2.5-4B — трансформерную языковую модель с 4 млрд параметров для генерации текста и решения задач рассуждения. Модель поддерживает диалоговый формат, режим рассуждения с отдельными блоками и структурированный вызов инструментов. Для запуска предназначена библиотека llama.cpp; в репозитории представлен файл NVFP4, созданный квантизацией исходной модели с помощью llama-quantize. Модель рассчитана на английский и китайский языки. Квантизация NVFP4 уменьшает требования к ресурсам при развертывании, сохраняя формат GGUF для локального запуска. Контекстная длина в предоставленных данных не указана. Репозиторий распространяется по лицензии Apache-2.0.

Swift-Qwen3.8-27b-oQ4e-fp16-mtp — плотная мультимодальная модель класса 27B, разработанная на основе Swift-Qwen3.8-27b от UkisAI и преобразованная в формат MLX. Она предназначена для задач, сочетающих работу с текстом и изображениями, включая генерацию и понимание текстово-визуального содержимого. Модель содержит текстовый backbone, vision encoder и один слой multi-token prediction (MTP). Текстовая часть включает 64 слоя со скрытым размером 5 120 и feed-forward-размером 17 408. В архитектуре используются 48 слоёв linear attention и 16 слоёв full attention; полный attention применяется на каждом четвёртом слое. Словарь содержит 248 320 токенов, заявленный предел контекста составляет 262 144 токена, однако фактическая доступная длина зависит от настроек runtime и объёма памяти. Vision encoder состоит из 27 слоёв со скрытым размером 1 152, 16 attention heads и обрабатывает изображения через патчи 16×16; визуальные признаки проецируются в пространство размерности 5 120. Чекпойнт использует смешанную квантизацию: по умолчанию применяются аффинные 4-битные веса с группами по 64 значения, а для 187 модулей заданы 5-битные переопределения. Часть параметров MTP, включая fusion matrix и веса нормализации, сохраняется в FP16, поэтому суффикс fp16 не означает полностью FP16-модель. Такой формат снижает требования к памяти по сравнению с полноразмерными весами, но точные характеристики производительности и совместимость зависят от MLX runtime и оборудования. Языки в README не указаны. Модель распространяется на условиях Swift Open License v1.0; преобразование не изменяет условия upstream-лицензии. Перед использованием необходимо ознакомиться с условиями лицензии и ограничениями доступа исходной модели.

jackboot/uwu-qwen-32b — объединённая языковая модель на 32 млрд параметров, созданная с помощью mergekit методом TIES на основе Qwen/QwQ-32B-Preview и EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2. Она предназначена для диалоговой генерации текста; каталог также указывает интерфейс вызова инструментов. Модель использует архитектуру Qwen2ForCausalLM и поддерживает контекст до 32 768 токенов. В README отмечено, что варианты EOS-токена у исходных моделей немного различаются, а настройки BOS могут менять результаты; автор советует подбирать подходящий токенизатор. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

Albatross-8B-Instruct — диалоговая языковая модель на архитектуре Llama, созданная автором репозитория слиянием нескольких моделей через TIES в mergekit. В слияние вошли NousResearch/Hermes-3-Llama-3.1-8B, unsloth/Meta-Llama-3.1-8B-Instruct и qingy2024/NaturalLM3-8B-Instruct-v0.1; в качестве базовой модели указана unsloth/Meta-Llama-3.1-8B. Модель содержит 7,5 млрд параметров, использует формат safetensors и библиотеку Transformers, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста в диалоге и выполнения инструкций; метаданные также указывают интерфейс вызова инструментов. Карточка не приводит результатов оценки качества или подробного описания языкового охвата, поэтому её сильные стороны в конкретных задачах и практическую надёжность нельзя оценить по имеющимся данным. Лицензия в предоставленных данных не указана.

Citaman/command-r-12-layer — разговорная языковая модель на архитектуре Cohere, созданная автором репозитория с помощью слияния SLERP модели Citaman/command-r-13-layer. В метаданных указано 12 млрд параметров, контекст до 8192 токенов и формат safetensors; модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Карточка не приводит отдельной оценки качества, перечня поддерживаемых языков или отраслевой специализации. Лицензия в доступных данных не указана.

Experiment26Neuralsirkrishna_Experiment28Yam — объединённая модель, созданная на основе automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment28Yam-7B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель общего назначения. Модель построена на архитектуре Mistral с плотной структурой и содержит 7,1 млрд параметров. Длина контекста составляет до 32 768 токенов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Данных о специализированной области применения или языках в карточке нет.

GPT-6 Astra Pro — вариант GPT-6 Astra от OpenAI, работающий с параметром reasoning.mode, установленным в pro. Он предназначен для получения более качественных ответов на сложные задачи. README направляет к документации OpenAI за дополнительными сведениями; данных об архитектуре, размере, модальностях, языках, контексте и лицензии в доступной карточке нет.

InternLM-Chat-7B — диалоговая модель семейства InternLM от команды InternLM, предназначенная для практических сценариев общения и генерации текста. Это плотная авторегрессионная модель класса InternLMForCausalLM с 6,9 млрд параметров; в репозитории представлены веса PyTorch. Карточка сообщает о тренировке на триллионах высококачественных токенов и оценивает модель по языковым, предметным, знаниевым, логическим и понимательным задачам. Модель подходит для диалоговых ассистентов, ответов на вопросы, объяснений и генерации текста; также заявлены возможности вызова инструментов для построения пользовательских рабочих процессов. Метаданные указывают контекст 2048 токенов, тогда как README заявляет окно 8k, поэтому фактическую длину контекста следует сверить с используемой конфигурацией. Карточка приводит результаты OpenCompass, включая C-Eval, MMLU и AGIEval. Модель может генерировать предвзятые, дискриминационные или иные вредоносные ответы. Код распространяется по Apache-2.0; для весов указано открытое использование в академических исследованиях, а коммерческое применение требует получения бесплатного разрешения.

Ling-3.0-tiny-GGUF — это конвертация модели Ling-3.0-tiny в формат GGUF для запуска через llama.cpp. Базовую модель разработала команда inclusionAI, а данный вариант опубликован пользователем bloomer010. Модель предназначена для генерации текста, диалоговых сценариев и агентских задач, включая вызов инструментов и раздельный режим рассуждений. Архитектура использует mixture-of-experts: всего 7,9 млрд параметров, из которых 1,3 млрд активируются на каждом токене. Модель содержит 24 слоя, включая 18 KDA- и 6 MLA-слоёв, 128 маршрутизируемых экспертов с 8 активными экспертами на токен и одного общего эксперта. Поддерживаются Q-LoRA с рангом 256 и KV-LoRA с рангом 512, контекст до 131 072 токенов, а также режим рассуждений, включённый по умолчанию. Информация о поддерживаемых языках и мультимодальности в README не указана. Доступны варианты квантования от BF16 до сильно сжатых IQ- и Q-форматов, что позволяет выбирать между качеством и требованиями к памяти; рекомендуемый UD-Q8_K_XL обеспечивает качество, близкое к полной точности. Модель протестирована на CPU и CUDA, включая RTX 4070 и RTX 3060. Ограничения включают возможное преждевременное завершение ответа внутри блока рассуждений и проблемы с агентским использованием и tool calling в llama.cpp без поддержки двух указанных изменений. Для MXFP4_MOE рекомендуется GPU с нативной поддержкой MXFP4, иначе возможна более низкая скорость. Распространяется по лицензии MIT.

Карточка модели ombd/llama-3.1-8b-base на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

NVIDIA Llama 3.1 8B Medusa FP8 — текстовая генеративная модель на архитектуре Transformer Llama 3.1, основанная на Meta-Llama-3.1-8B-Instruct. В README указано, что модель не принадлежит NVIDIA и была подготовлена по требованиям стороннего заказчика. Она сочетает дообученные Medusa-головы для спекулятивного декодирования с квантизацией FP8; размер составляет около 7,5 млрд параметров, длина контекста — до 128K токенов по README и до 131 072 токенов по метаданным. Модель принимает текст и генерирует текст. Она предназначена для диалогов и генерации ответов с ускоренным инференсом в режиме Medusa speculative decoding через TensorRT-LLM. README сообщает результат 68,3 на MMLU в режиме 5-shot и средний acceptance rate Medusa 2,07. README заявляет готовность к коммерческому и некоммерческому использованию; конкретные условия лицензии в предоставленных данных не приведены. Использование рассчитано на TensorRT-LLM и указанные в карточке поколения NVIDIA Blackwell, Hopper и Lovelace под Linux.