II.8Инженерия данных и аналитика

coder3101/Qwen3-VL-8B-Instruct-heretic — производная версия Qwen3-VL-8B-Instruct, созданная методом abliteration для сокращения отказов на запросы. По данным карточки, доля отказов в указанной проверке снизилась со 100 из 100 у исходной модели до 6 из 100; KL-дивергенция составила 0,1738. Модель предназначена для диалога с текстом и изображениями, визуального анализа и рассуждений. Базовая архитектура Qwen3-VL поддерживает анализ видео, OCR, пространственные задачи и контекст до 256 тыс. токенов с возможностью расширения до 1 млн, однако README описывает эти возможности исходной модели, а не отдельно проверенные характеристики этой версии.

Mungert/QwenLong-L1-32B-GGUF — это GGUF-квантизированная версия языковой модели QwenLong-L1-32B, созданная на основе DeepSeek-R1-Distill-Qwen-32B. Модель предназначена для генерации текста и задач, требующих работы с длинным контекстом и рассуждениями; в метаданных она обозначена как long-context и large-reasoning-model. При подготовке использовался llama.cpp, а среди связанных данных указан набор Tongyi-Zhiwen/DocQA-RL-1.6K. Главная особенность представленной версии — поддержка вариантов квантования с низкой разрядностью, включая 1–2-битные схемы IQ-DynamicGate. Этот подход распределяет точность по слоям модели и защищает критически важные компоненты, чтобы снизить потери качества при уменьшении размера. По приведённым тестам на Llama-3-8B DynamicGate уменьшал perplexity по сравнению со стандартным 1–2-битным квантованием, сохраняя сопоставимую скорость инференса; эти результаты не являются прямым бенчмарком данной 32B-модели. Модель подходит для развёртывания на системах с ограниченной GPU-памятью, CPU и edge-устройствах, а также для исследований ультранизкоразрядного квантования. Компромиссами являются возможное снижение точности по сравнению с полноформатными версиями и зависимость результата от выбранного варианта квантования и аппаратной поддержки. Лицензия — Apache-2.0. Точный размер модели, поддерживаемые языки и заявленное максимальное окно контекста в README не указаны.

QwenMosaic-7B — объединённая языковая модель, созданная bunnycore методом линейного слияния через mergekit. В неё вошли AIDC-AI/Marco-o1, fblgit/cybertron-v4-qw7B-UNAMGS, rombodawg/Rombos-LLM-V2.5-Qwen-7b и Qwen/Qwen2.5-7B-Instruct с адаптером bunnycore/Qwen-2.1-7b-Persona-lora_model. Это плотная причинная модель семейства Qwen2 на 7,1 млрд параметров; она распространяется в формате safetensors и работает через Transformers. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции. Контекст составляет до 32 768 токенов. В README приведены результаты Open LLM Leaderboard: среднее 25,31, IFEval 58,19 и BBH 36,75; эти значения не гарантируют качество в конкретном сценарии. Лицензия в предоставленных данных не указана.

Rhombus18 Rhododendron Professor 1o — дообученная языковая модель семейства Qwen3, разработанная пользователем rhombus18 на основе unsloth/qwen3-32b-bnb-4bit. Модель имеет плотную архитектуру Qwen3ForCausalLM и содержит 29,7 млрд параметров. Карточка указывает обучение с помощью Unsloth и библиотеки TRL от Hugging Face; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Она поддерживает английский язык и контекст длиной до 128 000 токенов. В README не описаны специализированные области применения или результаты оценки качества, поэтому пригодность для конкретных задач следует проверять отдельно. Лицензия — Apache 2.0.

T5-11B — языковая модель семейства Text-To-Text Transfer Transformer, разработанная Colin Raffel, Noam Shazeer и коллегами. Она представляет задачи обработки естественного языка в формате преобразования текста в текст: модель получает текстовую инструкцию и входной текст, а затем генерирует текстовый ответ. В README указано 11 миллиардов параметров; метаданные каталога сообщают 385,2 млн параметров, поэтому размер модели в источниках расходится. Архитектура — плотная T5WithLMHeadModel, контекст — 512 токенов. Основная задача в метаданных — перевод. Модель также может служить основой для дообученных сценариев суммаризации, ответов на вопросы, классификации и анализа тональности. Указанные языки — английский, французский, румынский и немецкий; предобучение проводилось на корпусе C4 и смеси задач, включая Wiki-DPR и наборы для классификации, сходства предложений и вопросов-ответов. Для загрузки весов требуется значительный объём памяти: README сообщает, что только веса занимают более 40 ГБ, и рекомендует распределение модели между устройствами либо ZeRO-Offload. Лицензия — Apache 2.0.

Winnow-12B — дообученная EldanRing мультимодальная модель на базе Gemma 4 12B IT для локального диалога и принятия решений по заданным вариантам ответа. Она принимает текст и изображения; обычный чат работает через API совместимого с OpenAI формата, а специальный интерфейс оценивает варианты без генерации объяснения. Модель предназначена для сценариев, где вопросы задаются относительно общего состояния, а ответы выбираются из известного набора вариантов. Модель представляет собой плотную архитектуру Gemma4Unified с 12 млрд параметров. Это LoRA дообучение ранга 32, слитое с базовой моделью и экспортированное в GGUF; доступны варианты BF16, Q8_0 и NVFP4. В README описан проверенный профиль Q8 с контекстом до 65 536 позиций и поддержкой изображений. Базовая Gemma 4 также поддерживает видео и аудио, но карточка Winnow заявляет вход изображений и не подтверждает эти возможности для данной модели. Указанные авторами тесты измеряют точность на конкретных наборах решений, а не гарантируют качество на новых задачах. Модель распространяется по лицензии Apache-2.0. Данные и конвейер обучения закрыты; оценка уверенности отражает распределение вероятностей среди предоставленных вариантов и не гарантирует правильность ответа.

Карточка модели PS4Research/9DgDaWTmX85XRwSq на Hugging Face совпадает с карточкой PS4Research/IKn8jwlNamPNIS15, поэтому описание составлено по ней. Модель PS4Research/IKn8jwlNamPNIS15 — дообученная PS4Research языковая модель семейства Granite на базе ibm-granite/granite-4.2-30b. Она предназначена для генерации текста и диалогового взаимодействия; интерфейс также поддерживает вызов инструментов. Модель содержит 28,9 млрд параметров, использует плотную архитектуру GraniteForCausalLM и принимает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Базовая модель IBM описана как многоязычная и предназначенная для рассуждений, диалога, программирования и вызова инструментов, однако README не уточняет, какие именно навыки были предметом дообучения этой версии. Модель распространяется в формате safetensors по лицензии Apache-2.0; для ускорения обучения использовались Unsloth и библиотека TRL.

A.X K2 NVFP4 — квантизированная версия языковой модели A.X K2 от SK Telecom. Это модель типа Mixture-of-Experts с 688 млрд параметров, из которых 33 млрд активны при обработке запроса. Вариант NVFP4 применяет к routed experts квантизацию NVFP4 W4A4, а attention, router, shared expert и dense layer хранит в FP8, embedding и LM head — в BF16; заявлено примерно двукратное сокращение объёма памяти по сравнению с FP8-чекпойнтом. Модель предназначена для диалоговой генерации текста, рассуждений, следования инструкциям и агентных сценариев. Режим thinking подходит для сложных задач, а non-thinking — для коротких ответов с меньшей задержкой. Конфигурация YaRN поддерживает контекст до 256K токенов; README также описывает тесты извлечения фактов при масштабировании до 512K. Для запуска на одном узле указаны четыре NVIDIA B200 и форк vLLM с поддержкой A.X K2. Модель ориентирована на английский, корейский, китайский, японский и испанский языки; проект подчёркивает понимание корейского языка и культуры. В README заявлено качество, сопоставимое с FP8-версией, и идеальный результат на описанном тесте NIAH, но эти результаты не характеризуют все задачи. Лицензия — Apache-2.0.

calme-2.1-qwen2-72b-GGUF — это квантизированная версия дообученной языковой модели calme-2.1-qwen2-72b, разработанная и квантизированная MaziyarPanahi на основе Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, рассуждения и выполнение инструкций. Она распространяется в формате GGUF с вариантами квантования от 2 до 8 бит, а также 16-битной версией, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы, в том числе при локальном запуске через llama.cpp. Архитектура, модальности, поддерживаемые языки и размер контекста в README не указаны. Для взаимодействия используется шаблон ChatML. В приведённых оценках модель получила accuracy 0,6761 на TruthfulQA, 0,8248 на Winogrande, 0,7184 нормализованной accuracy на ARC-Challenge и до 0,8893 exact match на GSM8K; эти результаты характеризуют отдельные тесты и не гарантируют качество в любых прикладных сценариях. Квантизация может уменьшать требования к ресурсам, но потенциально сопровождается потерей качества по сравнению с исходной точностью. Лицензия обозначена как other; в качестве лицензии указана tongyi-qianwen, а ссылка ведёт на лицензию Qwen/Qwen2-72B-Instruct. Условия использования следует уточнять по указанному лицензионному документу.

bartowski/deepcogito_cogito-v1-preview-llama-8B-GGUF — это GGUF-квантизированная версия языковой модели cogito-v1-preview-llama-8B, разработанной deepcogito. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF с вариантами точности от BF16 до различных Q- и IQ-квантизаций. Доступны файлы размером примерно от 3,8 до 16,1 ГБ; варианты Q6_K и Q6_K_L обозначены как обеспечивающие качество, близкое к исходному, а Q4_K_M рекомендован как стандартный компромисс между качеством и размером. Для работы предусмотрен формат prompt с системными и пользовательскими сообщениями в стиле Llama 3.1. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и снижение требований к памяти по сравнению с полноразмерными весами. Более компактные варианты экономят оперативную память, но могут уступать по качеству менее сжатым версиям; конкретные поддерживаемые языки, размер контекста, мультимодальные возможности и результаты бенчмарков в README не указаны. Лицензия обозначена как llama3.1.

DeepSeek V4 Flash — это квантизированная GGUF-версия базовой модели DeepSeek-AI DeepSeek-V4-Flash, подготовленная antirez для инференс-движка ds4. Модель предназначена для генерации текста и работы с англоязычными запросами, включая локальный запуск на системах с Apple Silicon и поддержкой Metal. Модель использует архитектуру Mixture-of-Experts (MoE). Доступны варианты с квантизацией routed experts в форматах 2-bit IQ2_XXS/Q2_K и 4-bit Q4_K, при этом важные компоненты, включая attention projections, shared experts, output head и router, сохранены в менее агрессивных форматах Q8_0, F16 или F32. Размер основных файлов составляет около 80,8 ГиБ для q2 и 153,3 ГиБ для q4. Дополнительный файл MTP размером 3,6 ГиБ обеспечивает поддержку speculative decoding и не является самостоятельной моделью. Сильной стороной сборки является уменьшение размера за счёт агрессивной квантизации экспертных блоков при сохранении точности маршрутизации и ряда ключевых компонентов. Вариант q2 рассчитан на компьютеры с 128 ГиБ оперативной памяти, а q4 — на системы с объёмом памяти от 256 ГиБ. Сборка может работать с другими инференс-движками, но гарантируется прежде всего совместимость с ds4; MTP требует специального загрузчика. В README приведён пример запуска с контекстом до 100000 токенов, однако максимальный контекст самой модели явно не указан. GGUF-файлы распространяются по лицензии MIT; авторские права на базовую модель принадлежат DeepSeek, а распространение квантизированных файлов осуществляется на условиях релиза базовой модели.

Qwythos-9B-v2-GGUF — это квантизированная версия языковой модели Qwythos-9B-v2, разработанной Empero AI. Представлена в формате GGUF и подготовлена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов и задач, требующих рассуждений; в метаданных также указаны поддержка английского языка, long-context и uncensored-настройка. Модель имеет около 9 млрд параметров и распространяется в нескольких вариантах точности: от bf16 и Q8_0 до более компактных Q2–Q6 и IQ-квантов. Размер файлов составляет примерно от 5,1 до 18,4 ГБ. Квантование позволяет запускать модель локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты, выбирая компромисс между качеством и требованиями к памяти. Точная архитектура, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным это текстовая модель без заявленной поддержки изображений, аудио или видео. Сильные стороны модели — локальный запуск, широкий выбор квантов и возможность подобрать вариант под доступный объём RAM или VRAM. Более высокие варианты, включая Q6_K_L, Q6_K, Q5 и Q4_K_M, ориентированы на сохранение качества, тогда как Q3 и Q2 подходят для систем с ограниченными ресурсами, но дают более низкое качество. Модель распространяется по лицензии Apache-2.0.

Experiment26Yamshadow_NeuralsirkrishnaExperiment28 — объединённая языковая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/NeuralsirkrishnaExperiment28-7B. Она предназначена для генерации текста и принимает текстовые запросы. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате Safetensors. Репозиторий использует лицензию Apache-2.0.

FuseO1-DeepSeekR1-Qwen2.5-Instruct-32B-Preview-GGUF — это GGUF-квантизированная версия instruct-модели FuseO1-DeepSeekR1-Qwen2.5-Instruct-32B-Preview, разработанной FuseAI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio. В основе лежит модель с 32 миллиардами параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp b4514. Более высокие форматы сохраняют лучшее качество, а варианты Q4 и Q3 требуют меньше оперативной памяти; наиболее универсальным в README назван Q4_K_M. Указан специальный шаблон промпта с ролями system, User и Assistant. Модель ориентирована на локальный инференс и сценарии, где важны автономность, выбор размера файла и баланс между качеством и требованиями к памяти. README не содержит сведений о поддерживаемых языках, длине контекста, мультимодальности, результатах бенчмарков или ограничениях качества. Лицензия в предоставленных данных не указана.

GLM-5.3-Flash EXL3 K2 — общественный квантованный пакет модели GLM-5.3-Flash-BF16, подготовленный vcruz305 на основе модели Z.AI. Это текстогенерационная модель с архитектурой Glm5NextForConditionalGeneration и поддержкой английского и китайского языков. Квантование EXL3 с точностью 2 бита применяется только к маршрутизируемым MoE-экспертам; компоненты внимания, общие слои, эмбеддинги, выходная голова и vision-компоненты сохраняют исходный формат. Пакет состоит из 120 файлов safetensors и занимает около 91 ГиБ. Модель предназначена для генерации текста и сценариев инференса с большим контекстом. Заявленный максимальный выделяемый контекст составляет 131072 токена, рекомендуемый контекст обслуживания — 65536 токенов; отдельно проверено извлечение данных из реальных текстов длиной до 163479 токенов. На NVIDIA GB10 заявлена скорость 15,7–16,5 токена в секунду при контексте 8K и 14,6–15,7 токена в секунду при 64K с использованием native MTP k=2. К преимуществам относятся существенно уменьшенный размер по сравнению с полноточными весами, поддержка MoE и длинного контекста. Ограничения включают снижение точности из-за 2-битного квантования, необходимость специальной сборки vLLM с поддержкой EXL3 и Glm5Next, а также известную ошибку runtime для некоторых запросов длиной примерно от 163K до 180K токенов. Лицензия весов — MIT.

RedHatAI/granite-3.1-2b-instruct-quantized.w4a16 — квантизированная версия инструкционной языковой модели IBM Granite 3.1 2B Instruct, подготовленная разработчиками Neural Magic. Модель работает с текстом на входе и генерирует текст на выходе; заявленный язык — английский. Она предназначена для диалоговых сценариев, генерации и обработки текста, а также локального и серверного инференса. Модель использует архитектуру granite-3.1-2b-instruct и содержит около 2 миллиардов параметров. Веса и активации квантизированы до INT4; квантизация применяется к весам линейных операторов внутри трансформерных блоков. Это сокращает число битов на параметр с 16 до 4, а размер на диске и требования к GPU-памяти примерно на 75%. Для эффективного запуска рекомендуется vLLM версии 0.5.2 или новее; в приведённом примере используется максимальная длина контекста 4096 токенов. К сильным сторонам относятся существенно сниженные требования к памяти и удобство развертывания через vLLM с OpenAI-совместимым сервером. На OpenLLM Leaderboard V1 модель получила средний результат 61,54 против 61,98 у неквантизированной версии, что указывает на небольшую потерю качества после квантизации. Ограничения включают ориентацию на английский язык, необходимость совместимого инференсного стека и возможное снижение качества относительно исходной модели. Модель распространяется по лицензии Apache 2.0.

Granite 4.2 8B GGUF — это квантизированная версия текстовой генеративной модели ibm-granite/granite-4.2-8b, разработанной IBM. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев, задач рассуждения и, согласно указанным тегам, tool calling. Поддерживается только текстовый ввод; мультимодальные возможности не заявлены. Модель содержит около 9 млрд параметров и доступна в форматах GGUF с разными уровнями квантизации — от BF16 до Q2 и IQ-вариантов. README не указывает архитектуру и размер контекстного окна. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Для запуска используется специальный шаблон prompt с секцией рассуждений <think>. Сильная сторона этой версии — широкий выбор квантизаций, позволяющий подобрать баланс между качеством, скоростью и требованиями к памяти: например, Q4_K_M размером 5,54 ГБ рекомендуется как универсальный вариант, а более высокие уровни сохраняют качество ближе к исходной модели. Ограничения зависят от выбранной квантизации: компактные варианты обеспечивают более низкое качество. Спекулятивное декодирование не поддерживается. Модель распространяется по лицензии Apache 2.0.

InternLM2.5-7B-Chat-GGUF — это квантизированная версия диалоговой языковой модели InternLM2.5-7B-Chat, разработанной командой InternLM и опубликованной в формате GGUF для использования с llama.cpp. Квантизацию выполнил bartowski с применением imatrix и различных схем квантования, рассчитанных на баланс между качеством ответов, размером файла и требованиями к памяти. Модель предназначена для текстовой генерации и диалоговых сценариев: ведения беседы, ответа на вопросы и выполнения инструкций. Для работы используется специальный шаблон prompt с ролями system, user и assistant. Доступны варианты от Q8 до Q2 и IQ-квантов; размеры файлов в README указаны примерно от 2,58 до 8,93 ГБ. Варианты с более высокой точностью обеспечивают лучшее качество, тогда как низкобитные версии подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. К сильным сторонам относятся широкий выбор уровней квантования, совместимость с llama.cpp и возможность локального запуска. Рекомендуемыми названы варианты Q4–Q6 и некоторые IQ4, тогда как Q3 и Q2 экономят память ценой снижения качества. README не содержит достоверных сведений о языках, размере контекста, точной архитектуре исходной модели и условиях лицензирования: указано лишь, что лицензия имеет тип other. Для использования необходимо учитывать требования выбранного GGUF-файла и поддерживать соответствующий формат prompt.

johnpaulbin/johnpaulbin-e2-instruct-merge-fp16 — объединённая языковая модель, созданная разработчиком johnpaulbin с помощью LazyMergekit из johnpaulbin/llama3.1-8b-e2-epoch3-merged-fp16 и meta-llama/Meta-Llama-3.1-8B-Instruct. Используется архитектура LlamaForCausalLM с плотной архитектурой и примерно 7,5 млрд параметров; веса представлены в формате safetensors. Для объединения применён метод TIES с нормализацией и int8-маской. Модель предназначена для генерации текста по текстовым запросам. Указанное базовое семейство — Meta Llama 3.1, а длина контекста составляет 131 072 токена. В метаданных нет сведений о лицензии и поддерживаемых естественных языках, поэтому условия использования и языковой охват здесь не описаны.

LLaMA-2-7B-32K-Instruct_GGUF — это набор файлов модели в формате GGUF, подготовленный пользователем rozek на основе Llama-2-7B-32K-Instruct от Together Computer, Inc., которая, в свою очередь, создана на базе Meta AI LLaMA-2-7B. Исходная модель дообучена для работы с контекстом до 32 000 токенов с использованием Position Interpolation и Rotary Position Embeddings (RoPE). Модель предназначена для генерации текста и выполнения инструкций на английском языке, включая сценарии локального запуска через llama.cpp. Репозиторий содержит варианты с различной степенью квантования: Q2_K, Q3_K, Q4, Q5, Q6_K, Q8_0, а также неквантованный F16. Квантованные версии снижают требования к памяти и позволяют запускать модель локально, но могут уступать F16 по точности. Несмотря на поддержку контекста до 32K, использование максимальной длины требует значительного объёма RAM; рекомендуется выбирать минимальный необходимый размер контекста. Модель текстовая и имеет около 7 миллиардов параметров. В README указана лицензия llama2.

llama-3.1-70B-nemotron-lumiyale-120B — объединённая текстовая модель, созданная автором репозитория с помощью mergekit методом линейного слияния трёх предварительно обученных моделей: Sao10K/L3.1-70B-Euryale-v2.2, nvidia/Llama-3.1-Nemotron-70B-Instruct-HF и NeverSleep/Lumimaid-v0.2-70B. Она использует архитектуру Llama 3.1 с плотной причинной языковой моделью и содержит 118,3 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия. Контекстное окно составляет 131 072 токена; репозиторий использует библиотеку Transformers и формат safetensors. В метаданных отмечен интерфейс вызова инструментов, но подробности его применения не приведены. Лицензия в предоставленных данных не указана. Результаты объединения моделей могут различаться по качеству и поведению; сведения о специальных ограничениях или оценках качества отсутствуют.

Llama-3.1-Tulu-3-70B-GGUF — набор квантизованных версий языковой модели Llama-3.1-Tulu-3-70B, разработанной Allen Institute for AI (AI2) и опубликованной в формате GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp с использованием метода imatrix; доступны варианты от IQ1_M и Q2 до Q8_0 с различным соотношением качества, размера файла и требований к памяти. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. В README указаны английский язык и исходный набор данных RLVR-GSM-MATH-IF-Mixed-Constraints. Поддерживается формат prompt с ролями system, user и assistant. Размер базовой модели — 70 миллиардов параметров; сведения о максимальном контексте и мультимодальности не указаны. Сильной стороной являются многочисленные варианты квантизации: Q6_K и Q5 считаются высококачественными, а Q4_K_M — компромиссным вариантом для большинства сценариев. Более компактные варианты позволяют снизить требования к оперативной памяти, но обеспечивают более низкое качество. Версия Q4_0_8_8 оптимизирована для ARM и AVX и требует поддержки SVE на ARM; для Mac она не рекомендуется. Лицензия указана как llama3.1.

nm-testing/Llama-3.2-1B-Instruct-FP8-KV — тестовый вариант Meta Llama 3.2 1B Instruct, опубликованный организацией nm-testing на Hugging Face. Он основан на авторегрессионной языковой модели Meta с оптимизированной архитектурой Transformer, дообученной с помощью supervised fine-tuning и reinforcement learning from human feedback для полезного и безопасного диалога. Репозиторий не содержит отдельной карточки модели, поэтому сведения о назначении и характеристиках частично унаследованы от базовой модели Meta Llama 3.2 1B Instruct. Модель предназначена для генерации текста, многоязычного диалога, ассистентских и агентных сценариев, включая извлечение знаний, суммаризацию, переписывание запросов и работу локально при ограниченных вычислительных ресурсах. Базовая модель содержит около 1,23 млрд параметров, поддерживает текст на входе и выходе, Grouped-Query Attention и контекст до 128 тысяч токенов; официально заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В данном варианте веса представлены в BF16, а KV-cache использует формат FP8 E4M3, что может снижать потребление памяти и ускорять инференс, но способно приводить к численной погрешности. Основное ограничение — это тестовый чекпойнт, предназначенный прежде всего для проверки инфраструктуры квантования и инференса, а не отдельная модель с собственной оценкой качества. Для использования применяются условия Llama 3.2 Community License Meta, включая требования Acceptable Use Policy и специальные условия распространения.

alpindale/Llama-3.2-3B — текстовая модель семейства Llama 3.2, разработанного Meta. Это авторегрессионная плотная трансформерная модель с 3,2 млрд параметров и архитектурой LlamaForCausalLM; репозиторий содержит веса Safetensors для Transformers. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на многоязычную генерацию. Модель подходит для диалогового помощника, суммаризации, поиска знаний и приложений с агентными сценариями, а также для мобильных помощников по написанию текста и переформулирования запросов. В README описаны применение и возможности семейства Llama 3.2; отдельное дообучение alpindale/Llama-3.2-3B не подтверждено, поэтому характеристики поведения конкретного чекпойнта могут отличаться от описания семейства. Заявленные языки поддержки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия llama3.2 — пользовательская лицензия сообщества Meta с собственными условиями коммерческого использования и политикой допустимого использования. Модель обучена на статическом офлайн-наборе данных; как компактная модель, она может уступать более крупным системам по качеству и требует проверки безопасности и пригодности для конкретного применения.

Ereeeeef3/llama-3.3-merged — текстовая модель семейства Llama, созданная автором репозитория с помощью mergekit из unsloth/Llama-3.3-70B-Instruct. Использован метод passthrough: слои базовой модели продублированы, а итоговая плотная архитектура LlamaForCausalLM содержит 55,8 млрд параметров. Модель предназначена для генерации текста и диалогового использования; доступен интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и унаследованные от базовой модели многоязычные возможности. Репозиторий содержит веса safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Карточка описывает способ слияния, но не приводит отдельной оценки качества итоговой модели; дублирование слоёв само по себе не подтверждает улучшение способностей базовой модели.

lainshower/Llama3-8b-alpaca — дообученная в режиме полного fine-tuning модель Llama 3, созданная на основе Llama 3 8B с использованием инструкционных данных Stanford Alpaca. Это плотная авторегрессионная языковая модель с 7,5 млрд параметров и контекстом до 8192 токенов; веса опубликованы в формате safetensors. Модель предназначена для генерации ответов на инструкции и запросы с дополнительным контекстом. В README приведён шаблон диалога Alpaca и пример ответа на вопрос с выбором варианта; заявлено обучение в течение одной эпохи в BF16, поскольку более длительное обучение приводило к переобучению. Для инференса автор рекомендует Float32. Карточка не указывает лицензию, поэтому условия использования определить нельзя.

Macaron-V1-Preview-744B-Merged — текстовая генеративная модель от MindLab Research, созданная на базе GLM-5.1 и дополнительно обученная с помощью MinT. Это объединённый полный чекпойнт предварительной версии Macaron-V1-Preview; модель предназначена для диалогов и агентных сценариев с использованием инструментов. Архитектура относится к семейству GLM MoE DSA; в репозитории указано 30,4 млрд параметров и контекст длиной до 202 752 токенов. Модель принимает текст и генерирует текст, поддерживает английский и китайский языки. Чекпойнт распространяется в формате safetensors и загружается через Transformers. Он не эквивалентен полной маршрутизируемой системе Mixture-of-LoRA из релиза на 749 млрд параметров, поэтому поведение может отличаться от неё. Лицензия — MIT.

RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w4a16 — это квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Модель предназначена для генерации текста и диалоговых сценариев в формате ассистента, включая коммерческое и исследовательское применение на английском языке. Она принимает текст на вход и генерирует текст на выходе, поддерживает чатовый режим и может использоваться с backend vLLM, включая OpenAI-совместимую службу. Модель имеет архитектуру LlamaForCausalLM и содержит 8 миллиардов параметров в исходной версии. Веса линейных операторов трансформерных блоков квантизированы в формат INT4 с симметричным покомпонентным масштабированием для групп по 128 параметров. По сравнению с представлением FP16 это примерно на 75% снижает размер модели на диске и требования к памяти GPU. Квантизация выполнена с использованием AutoGPTQ и калибровочного набора Neural Magic. В README приведены результаты восстановления качества относительно неквантизированной версии: 93,0% для Arena-Hard, 98,9% для OpenLLM v1, 96,1% для OpenLLM v2, 99,7% для HumanEval pass@1 и 97,4% для HumanEval+ pass@1. К сильным сторонам относятся уменьшенные требования к памяти и возможность эффективного развертывания при сохранении большей части качества исходной instruct-модели. Ограничением является заявленная область применения преимущественно на английском языке; использование на других языках указано как выходящее за рамки назначения, несмотря на наличие нескольких языков в метаданных карточки. Лицензия — Llama3.1; также необходимо соблюдать ограничения исходной лицензии Meta и применимые законы и нормы.

Карточка модели eshiryae/MiniCPM4-8B на Hugging Face совпадает с карточкой openbmb/MiniCPM4-8B, поэтому описание составлено по ней. MiniCPM4-8B — плотная языковая модель OpenBMB с 7,9 млрд параметров, построенная на архитектуре MiniCPMForCausalLM. Она предназначена для эффективного запуска на устройствах с ограниченными ресурсами; разработчики сообщают об ускорении генерации более чем в пять раз на типичных конечных устройствах, а на Jetson AGX Orin — примерно в семь раз по сравнению с Qwen3-8B при декодировании. Модель обучена на 8 трлн токенов и поддерживает диалоговый режим. Модель принимает текст и генерирует текст. Она предобучена на контекстах длиной 32 тысячи токенов, а расширение контекста до 128 тысяч достигается с помощью YaRN; README приводит результаты теста поиска фрагмента в длинном тексте. Карточка и метаданные указывают поддержку китайского и английского языков. Модель распространяется по лицензии Apache-2.0. Производитель отмечает, что генерируемые ответы требуют самостоятельной проверки: модель не выражает личных мнений или ценностных суждений, а её выводы не следует считать позицией разработчиков. Для корректного форматирования запросов при использовании chat API vLLM нужно явно включать добавление специальных токенов.

Карточка модели PIXMELT/Mistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой Sacralet/mistral-7B, поэтому описание составлено по ней. Sacralet/mistral-7B — диалоговая instruction-модель на базе Mistral-7B, представленная как улучшенная instruct-версия Mistral-7B-Instruct-v0.1. Архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Для инструкций используется формат [INST]…[/INST], доступный также через шаблон чата Transformers. Модель предназначена для диалогов и генерации ответов на инструкции. В карточке указана лицензия Apache-2.0. README описывает её как демонстрацию возможностей дообучения базовой модели и отмечает отсутствие механизмов модерации. Языковая поддержка отдельно не перечислена.