II.1Анализ требований и архитектура ПО

Dirk-Qwen3.8-27B-MLX-oQ4e — это квантизированная версия базовой модели Qwen3.8-27B от Qwen, подготовленная peculiar-ragdoll для запуска на Apple Silicon через MLX и совместимые среды, включая oMLX и mlx-vlm. Модель предназначена для текстовых и визуальных запросов, генерации ответов, анализа изображений, агентного программирования и других сценариев, где важны скорость, компактность и экономное использование токенов. Модель представляет собой плотную vision-language модель с 27 млрд параметров, поддерживает английский и китайский языки, сохраняет vision tower и MTP head для multi-token-prediction и speculative decoding. Используется смешанная imatrix-калиброванная квантизация oQ4e примерно 4,9 bpw; размер модели составляет около 15,8 ГБ, что позволяет запускать её на Mac с 24 ГБ памяти с запасом под контекст. Заявлено окно контекста до 262 144 токенов при использовании соответствующей настройки runtime. В комплект включён Sharp chat template v22.5.0 с компактным стилем ответов и управляемым уровнем reasoning_effort от low до xhigh; по умолчанию используется medium. Сильные стороны модели — поддержка изображений без отдельного projector-файла, возможность ускорения генерации с помощью MTP, компактные ответы и адаптация под локальный запуск на Apple Silicon. Ограничения связаны с потерями точности, характерными для квантизации, зависимостью от совместимого vision loader и runtime, а также с тем, что заявленные собственные benchmark-результаты ещё находятся в процессе измерения. Для корректной работы рекомендуется mlx-vlm версии 0.6.3 или новее; mlx-lm использовать не следует. Модель распространяется по лицензии Apache-2.0.

mlx-community/Dolphin-2.9.3-Mistral-Nemo-12b-bf16 — преобразованная в формат MLX версия Dolphin 2.9.3 на базе Mistral Nemo, подготовленная сообществом mlx-community. Это плотная языковая модель с архитектурой MistralForCausalLM и 12,1 млрд параметров, предназначенная для генерации текста и диалогового общения. Модель дообучена на базе mistralai/Mistral-Nemo-Base-2407; среди датасетов указаны Dolphin-2.9, OpenHermes-2.5, наборы для программирования, математики, вызова функций и агентных сценариев. Каталог указывает контекст до 1 024 000 токенов. Репозиторий содержит веса safetensors, а README описывает конвертацию в MLX с помощью mlx-lm 0.16.1, поэтому модель рассчитана на запуск в экосистеме MLX. Подходит для ответов на вопросы, следования инструкциям, генерации кода и решения математических задач. В метаданных указана лицензия Apache-2.0. Практическая применимость заявленной длины контекста и качество на конкретных задачах отдельно не подтверждены в предоставленной карточке.

Карточка модели nicoboss/dolphin-2.9.3-mistral-nemo-12b-llamacppfixed на Hugging Face совпадает с карточкой dphn/dolphin-2.9.3-mistral-nemo-12b, поэтому описание составлено по ней. Dolphin 2.9.3 Mistral Nemo 12B — разговорная языковая модель, дообученная Eric Hartford и командой Cognitive Computations на базе mistralai/Mistral-Nemo-Base-2407. Она предназначена для следования инструкциям, диалогов, генерации кода и начальных агентных сценариев; также поддерживает вызов функций через ChatML-шаблон. Модель содержит 12,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и формат safetensors. Базовая модель рассчитана на контекст до 128 тыс. токенов, однако при дообучении использовалась длина последовательности 8192 токена. Dolphin описана как «uncensored» и может с высокой готовностью выполнять запросы, в том числе вредоносные или неэтичные. Перед предоставлением модели пользователям автор рекомендует добавить собственный слой контроля и выравнивания. Модель лицензирована по Apache 2.0, включая коммерческое использование.

ERNIE-4.5-21B-A3B-Paddle — текстовая модель семейства ERNIE 4.5, разработанная Baidu и опубликованная в формате весов PaddlePaddle. Это постобученная разреженная MoE-модель: в README указано 21 млрд параметров всего и около 3 млрд активируемых параметров на токен; метаданные каталога указывают 3,3 млрд параметров. Модель предназначена для диалогов, понимания текста и генерации ответов. Контекст составляет до 131 072 токенов. Модель обучалась в рамках мультимодального семейства ERNIE 4.5, однако эта версия обозначена в README как текстовая и принимает текст. Для дообучения доступны сценарии SFT и DPO через ERNIEKit на PaddlePaddle; для развёртывания README указывает FastDeploy. Метаданные отмечают поддержку английского и китайского языков. Сильные стороны — разреженная MoE-архитектура и длинный контекст; качество на конкретных задачах и аппаратные требования в предоставленных материалах не описаны. Лицензия — Apache-2.0.

EXAONE 4.0-32B — плотная языковая модель с 31,5 млрд параметров, разработанная LG AI Research для диалогового использования. Она поддерживает обычный режим генерации и режим рассуждений, а также вызов инструментов для агентных сценариев. Архитектура включает 64 слоя и гибридное внимание: локальное скользящее внимание чередуется с глобальным в соотношении 3:1. Контекст — до 131 072 токенов. Модель предназначена для диалогов, ответов на вопросы, решения сложных задач и взаимодействия с инструментами. В карточке заявлена поддержка английского, корейского и испанского языков. Для работы через Transformers требуется версия 4.54.0 или новее. Ответы могут содержать фактические ошибки, предвзятость или неподходящий контент, а знания могут быть устаревшими. Лицензия указана как other; README сообщает об обновлении условий в сторону большей гибкости, но точные условия следует сверить с лицензией в репозитории перед использованием.

Fireball-12B-v1.0 — дообученная EpistemeAI языковая модель для генерации текста, ответов на инструкции и помощи с программированием. Она основана на Fireball-12B и использует плотную архитектуру Mistral с 12,1 млрд параметров; обучение включало SFT на наборах данных для кода и инструкций, а затем ORPO-донастройку на предпочтениях. Модель предназначена для диалоговых сценариев, генерации кода и общих текстовых задач. README заявляет многоязычные и кодовые обучающие данные; в метаданных указан английский язык. Карточка указывает контекст 128k токенов, тогда как метаданные каталога приводят native context 1 024 000 токенов. Модель выпущена под лицензией Apache 2.0. Разработчик отмечает отсутствие встроенных механизмов модерации у базовой модели и рекомендует использовать отдельную защиту от небезопасных запросов. Результаты бенчмарков в карточке не приведены.

AtomicChat/gemma-4-12B-it-GGUF — это квантизированная в формат GGUF версия мультимодальной модели google/gemma-4-12b-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также сценарии, требующие развитого рассуждения; для изображений в репозитории предусмотрен vision-проектор mmproj. Модель содержит около 11,95 млрд параметров и 48 слоёв. Это плотный decoder с гибридным вниманием: скользящее окно на 1024 токена сочетается с глобальным вниманием. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи; архитектура использует 16 attention heads и 8 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая IQ3_M и IQ4_XS с importance matrix. Q4_K_M указан как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность ценой требований к памяти. К преимуществам относятся мультимодальность, большой контекст, возможность локального запуска и квантизация с importance matrix, снижающая потери качества в низкобитных вариантах. Ограничения связаны с зависимостью качества и скорости от выбранного варианта квантизации и доступной RAM или VRAM; для корректного применения шаблона чата требуется режим --jinja, а для изображений — vision-проектор и совместимый интерфейс. Результаты в README относятся к базовой модели Google и не являются собственными измерениями Atomic Chat. Лицензия — Apache 2.0.

Edmon02/gemma-4-12B-it-GGUF — это общественное GGUF-зеркало инструкционно дообученной мультимодальной модели Gemma 4 12B IT от Google DeepMind, основанное на google/gemma-4-12B-it. Репозиторий поддерживается Edmon02 и содержит наборы квантованных весов, синхронизированные из bartowski/gemma-4-12B-it-GGUF, для локального запуска на пользовательском оборудовании. Модель предназначена для генерации текста, создания локальных агентов, программирования, а также мультимодальных сценариев с анализом изображений и аудио. Она имеет около 12 млрд плотных параметров, поддерживает текст, vision и audio, использует encoder-free архитектуру без отдельных визуального и аудиокодировщиков. Для обработки изображений в llama.cpp требуется дополнительный файл mmproj-*.gguf. Точное значение контекстного окна в README не указано. Заявлена поддержка английского языка; отдельно упоминаются сценарии исследований на армянском и английском, но полноценный перечень языков не приведён. К сильным сторонам относятся широкий выбор квантований, возможность запуска на устройствах с примерно 8–24 ГБ видеопамяти и интеграция с llama.cpp, LiteRT-LM, LM Studio, Ollama и MLX. Рекомендуемый вариант Q4_K_M рассчитан примерно на 16 ГБ памяти. Ограничения включают необходимость проверять качество общественных квантований относительно официальной версии BF16, возможную потребность в самых свежих сборках llama.cpp или LM Studio для аудио, а также требование принять лицензию и получить доступ к исходному gated-репозиторию Google. Указана лицензия Apache 2.0.

Это объединённая модель семейства Gemma 4 на основе инструкционной google/gemma-4-12B-it. Её создали методом Model Stock с помощью mergekit, объединив варианты Gemma 4, настроенные для генерации кода и агентных сценариев. Модель предназначена для диалогового взаимодействия, работы с изображениями и текстом, генерации кода и выполнения агентных задач. Модель использует плотную архитектуру Gemma4UnifiedForConditionalGeneration и распространяется в формате safetensors; в конфигурации слияния указан тип bfloat16. Метаданные относят её к задаче image-text-to-text и отмечают поддержку изображений. README не приводит конкретных результатов оценки или подробностей о языковом охвате. Условия лицензирования в предоставленных данных не описаны.

mlx-community/gemma-4-e2b-it-qat-OptiQ-4bit — квантованная версия модели Gemma 4 E2B, разработанной Google и адаптированной сообществом mlx-community с использованием MLX-native инструментария mlx-optiq. В основе лежит quantization-aware-trained модель google/gemma-4-E2B-it-qat-q4_0-unquantized. Модель предназначена для локальной генерации текста на устройствах Apple Silicon, включая задачи общего понимания и генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и работы с агентными сценариями. Также поддерживается мультимодальный режим image-text-to-text через vision-компонент в формате bf16; текстовый режим загружается через mlx-lm, а обработка изображений — через mlx-optiq. Используется смешанная разрядность: большинство компонентов имеют точность 4-bit, чувствительные слои — 8-bit. Всего квантовано 276 компонентов, достигнуто 5,24 bits per weight, размер модели на диске составляет около 4,9 ГБ. Квантование выполнено с группой 64 и распределением битов на основе чувствительности слоёв. По заявленным тестам модель превосходит равномерную 4-bit-квантизацию той же базы по среднему Capability Score: 57,23 против 55,14; особенно заметен выигрыш в HumanEval и тесте длинного контекста HashHop. При этом в IFEval результат немного ниже, чем у равномерной 4-bit-версии. Контекстное окно и полный перечень поддерживаемых языков в README не указаны. Модель ориентирована на локальное использование без PyTorch и облачных сервисов, преимущественно на Apple Silicon. Доступна по условиям Gemma Terms of Use; применимые условия также зависят от лицензии базовой модели Google Gemma.

Это текстовая версия Gemma 4 E2B-it, подготовленная bRadu на основе google/gemma-4-E2B-it. Из исходной мультимодальной модели удалены кодировщики изображений и аудио; оставлены языковая модель Gemma4ForCausalLM и текстовый токенизатор. Модель содержит 1,6 млрд параметров, использует архитектуру Gemma 4 с плотными слоями, работает через Transformers и распространяется в формате safetensors. Модель предназначена для текстовых задач и диалогов, а также для стандартного дообучения SFT, DPO и KTO. Указанное в метаданных контекстное окно — 131 072 токена. Она сохраняет текстовую часть исходной Gemma 4 E2B-it, но не принимает изображения или аудио. Лицензия — Apache-2.0.

Ghost 7B Alpha — языковая модель на 7,1 млрд параметров, разработанная Ghost X (Hieu Lam) и дообученная на основе Mistral 7B. Она предназначена для генерации текста, диалоговых помощников и задач, включая рассуждения, ответы на вопросы, написание документов, перевод и программирование. Модель поддерживает взаимодействие с инструментами через описанный в карточке формат ролей и имеет контекст до 32 768 токенов по метаданным; README указывает 8 192 токена. Основные языки модели — английский и вьетнамский. Репозиторий содержит веса в формате safetensors; в карточке также описаны варианты распространения BF16, GGUF и AWQ. Указана лицензия Ghost 7B License Agreement, а метаданные классифицируют лицензию как other. README отмечает склонность модели занимать эмоционально окрашенную позицию, в том числе в задачах рассуждения; перед использованием следует оценить качество ответов и условия лицензии.

GLM-4.7-REAP-218B-A32B — сжатая разреженная языковая модель семейства GLM-4.7 от Cerebras. Она получена методом REAP, который удаляет из смеси экспертов менее значимые компоненты; после прунинга дообучение не проводилось. Модель содержит 218 млрд параметров, из которых 32 млрд активируются на токен, и поддерживает контекст до 202 752 токенов. Модель предназначена для генерации кода и текста, агентных рабочих процессов, понимания репозиториев и вызова функций. В карточке заявлено, что она сохраняет близкое к исходной GLM-4.7 качество при уменьшении объёма памяти примерно на 40%; для версии BF16 приведены характеристики, но результаты оценки не указаны. Модель можно развернуть с актуальным vLLM. Лицензия — MIT. README рекомендует вариант BF16 для последующей низкобитной квантизации.

GLM-5.3-W4A8 — квантизированная версия модели GLM-5.3, разработанная на базе официального чекпойнта zai-org/GLM-5.3. Это генеративная текстовая модель для англоязычных и китайскоязычных сценариев, включая рассуждения и другие задачи генерации текста. Модель предназначена для развёртывания через vLLM и SGLang. Модель сохраняет около 753 млрд параметров и использует архитектуру Mixture-of-Experts. Маршрутизируемые экспертные веса представлены в INT4 с размером группы 128, активации и неэкспертные слои — в FP8. Формат хранения — compressed-tensors; чекпойнт занимает около 372,3 GiB вместо 703,7 GiB у официальной FP8-версии. На конфигурации из 8 GPU H20 это примерно вдвое увеличивает доступный KV-кэш — до 1,26 млн токенов, что полезно для длинного контекста и высокой параллельности запросов. Поддерживается MTP-спекулятивное декодирование. По опубликованным измерениям, заметного ухудшения качества относительно официальной FP8-версии не обнаружено: показатели GPQA-Diamond находятся в пределах статистического шума, а прирост teacher-forced NLL составляет около 0,001 натов на токен. Основное преимущество — экономия памяти и возможность запускать две реплики с TP4 на тех же восьми GPU. Ограничения включают требование GPU с архитектурой SM90, использование CUTLASS W4A8 и необходимость включать expert parallelism; на одной конфигурации TP8 модель может быть медленнее FP8-версии. Лицензия указана как glm-5.3; подробные условия приведены в лицензии базовой модели на странице zai-org/GLM-5.3.

furiosa-ai/gpt-oss-20b — версия openai/gpt-oss-20b, подготовленная для запуска на ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая модель с архитектурой Mixture-of-Experts (MoE), ориентированная на задачи рассуждения, генерации текста и сценарии с пониженной задержкой, включая локальное или периферийное развертывание. Модель принимает текст и генерирует текст, поддерживает английский язык и совместима с OpenAI-совместимым API Furiosa-LLM. Модель формирует рассуждение отдельно от итогового ответа в формате harmony, поддерживает настраиваемую глубину рассуждений с параметром reasoning_effort со значениями low, medium и high, а также вызов инструментов через function calling. Веса экспертов MoE квантизованы в MXFP4, тогда как attention, router и embeddings сохраняются в более высокой точности. На RNGD используется tensor parallelism с размером 8 PE, соответствующим одной карте RNGD. Размер модели заявлен как 20B, однако сведения о контекстном окне в README отсутствуют. Сильными сторонами являются поддержка рассуждений, инструментов и эффективного запуска на специализированном оборудовании FuriosaAI. Ограничения включают зависимость от Furiosa-LLM и FuriosaAI RNGD для описанного варианта развертывания, а также отсутствие в README подробных данных о качестве, бенчмарках и поддерживаемых языках за пределами английского. Модель распространяется по лицензии Apache 2.0.

professorf/gpt-oss-20b-mxfp4-gguf — GGUF-квантизация модели gpt-oss-20b, опубликованная профессором Ником В. Флором. Это открытая языковая модель OpenAI семейства gpt-oss с архитектурой MoE: около 21 млрд параметров, из которых активно используются 3,6 млрд. Вариант MXFP4 рассчитан на локальный запуск и, согласно карточке, укладывается примерно в 16 ГБ памяти; модель работает в формате диалога Harmony и поддерживает настройку уровня рассуждений. Модель предназначена для диалога, генерации текста, задач рассуждения и агентных сценариев, включая вызов функций и работу с инструментами. Её можно запускать через Transformers, vLLM, Ollama и LM Studio. Карточка предупреждает, что формат Harmony обязателен для корректной работы, а цепочку рассуждений не следует показывать конечным пользователям. Лицензия — Apache 2.0.

Granite 4.2 30B GGUF — квантизированная версия языковой модели IBM Granite 4.2 30B, разработанной IBM и опубликованной как ibm-granite/granite-4.2-30b. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, рассуждений, диалоговых сценариев и вызова инструментов. Модель содержит около 29 млрд параметров и работает с текстовыми входными данными. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. В карточке не указаны архитектура и размер контекстного окна. Спекулятивное декодирование не поддерживается. Для работы предусмотрен специальный шаблон запросов с системными и пользовательскими сообщениями, а также секцией рассуждений <think>. Главное преимущество этой версии — выбор множества вариантов квантизации с разным соотношением качества, размера и требований к памяти: от BF16 и Q8_0 до компактных вариантов Q2 и IQ3. В README наиболее сбалансированным вариантом назван Q4_K_M размером 18,03 ГБ, а варианты Q5 и Q6 характеризуются как высококачественные. При этом снижение разрядности может ухудшать качество ответов, особенно у компактных вариантов, а для запуска требуются значительные ресурсы. Лицензия модели — Apache-2.0.

Hermes-2-Pro-Mistral-10.7B — языковая модель Nous Research, созданная методом Depth Up-Scaling из Hermes-2-Pro-Mistral-7B на базе Mistral. Это плотная авторегрессионная модель на 10,6 млрд параметров с контекстом до 32 768 токенов; веса представлены в формате safetensors и доступны по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям, а также может использоваться как основа для дальнейшего дообучения или как замена версии на 7 млрд параметров. Она поддерживает формат ChatML и обучалась для вызова функций и выдачи структурированных ответов в JSON. В карточке сообщается о результатах оценки 90% для вызова функций и 84% для структурированного вывода JSON. Карточка указывает английский язык. Описанные вызов функций и JSON-режим требуют соответствующего формата запросов и обработки ответов в приложении. Конкретные ограничения качества и сравнительные результаты для других задач в карточке не приведены.

Iceball-Phi-3.5-mini-instruct-shareGPT-v1.0 — компактная языковая модель EpistemeAI, дообученная на базе unsloth/phi-3.5-mini-instruct-bnb-4bit с использованием Unsloth и TRL. В карточке указаны supervised fine-tuning, PPO и DPO; модель предназначена для диалогового следования инструкциям и генерации текста. По метаданным она содержит 3,7 млрд параметров, использует плотную архитектуру семейства Llama и поддерживает контекст до 4096 токенов. Модель рассчитана на общие генеративные приложения, в том числе работу в условиях ограниченных вычислительных ресурсов и низкой задержки, а также задачи рассуждения, программирования, математики и логики. README заявляет поддержку нескольких языков, но метаданные карточки указывают английский язык. Лицензия — Apache-2.0. Указанная в README длина контекста 128K противоречит метаданным каталога, поэтому здесь приведено значение 4096 токенов из метаданных.

JetMoE-8B-Chat — разговорная языковая модель семейства JetMoE, созданная авторами проекта JetMoE. Это дообученная версия JetMoE-8B для диалоговой генерации текста. Архитектура включает 24 блока с разреженными слоями Mixture of Attention heads и Mixture of Experts: в каждом слое из восьми экспертов для токена активируются два. Всего модель содержит 8 млрд параметров, из которых при инференсе активны 2,2 млрд; базовая JetMoE-8B обучалась на 1,25 трлн токенов из открытых наборов данных. Модель предназначена для диалогов, ответов на вопросы, написания кода и решения математических задач. README сообщает о сравнительных результатах на языковых и кодовых бенчмарках, однако приведённые таблицы неполны, поэтому эти заявления нельзя независимо оценить по карточке. Контекст составляет 4096 токенов. Модель принимает и генерирует текст; в метаданных заявлена возможность чата, но конкретный список поддерживаемых естественных языков не приведён. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка описывает её как открытую и допускающую дообучение при ограниченных вычислительных ресурсах; практическое качество зависит от запроса и сценария применения.

Карточка модели Cdsnutz/K2-Horizon-3.7B-heretic-xortron на Hugging Face совпадает с карточкой darkc0de/K2-Horizon-3.7B-heretic-xortron, поэтому описание составлено по ней. Это версия IFM/K2-Horizon-3.7B с уменьшенным числом отказов, созданная разработчиком darkc0de методом Heretic v1.4.0. В основе — плотная авторегрессионная модель K2-Horizon с 3,7 млрд параметров ядра и контекстом до 524 288 токенов; метаданные указывают 4,1 млрд параметров всего. Модель предназначена для диалоговой генерации текста, включая рассуждения, задачи по коду и агентные сценарии. По сравнению с исходной моделью в приведённом README тесте частота отказов снизилась с 98 до 11 из 100, а расхождение по KL-дивергенции составило 0,0088. Модель доступна в формате Safetensors и использует библиотеку Transformers. README приводит настройки запуска через vLLM и SGLang. Заявлена лицензия Apache-2.0; уменьшение отказов может повлиять на поведение защитных механизмов.

Llama 2 70B Chat — это диалоговая языковая модель семейства Llama 2, разработанная Meta. Данный репозиторий содержит её квантизированные файлы в формате GGUF, подготовленные TheBloke на основе оригинальной модели meta-llama/Llama-2-70b-chat-hf. Модель предназначена для генерации текста и ведения диалогов: ответов на вопросы, выполнения инструкций и создания связных текстовых ответов. Указан английский язык. Архитектура — Llama, размер — 70 миллиардов параметров, модальность — текстовая. Максимальный размер контекста в README не указан. Для работы используется специальный шаблон запросов Llama 2 Chat с системными инструкциями о полезных, безопасных и честных ответах. Формат GGUF поддерживает метаданные и специальные токены и совместим с llama.cpp, а также рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит для CPU+GPU-инференса, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством ответов; конкретные характеристики зависят от выбранного варианта. Репозиторий распространяется по лицензии Llama 2.

MLX Community Llama-3.1-8B-Instruct-4bit — это 4-битно квантованная версия инструкционной языковой модели Llama 3.1 8B Instruct, разработанной Meta и адаптированной сообществом MLX для запуска с использованием экосистемы MLX. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, обобщение и другие задачи обработки естественного языка. Модель относится к текстовым моделям и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер базовой модели составляет 8 миллиардов параметров. Квантование до 4 бит снижает требования к памяти и может упростить локальный запуск, однако способно немного ухудшить точность и качество по сравнению с полной версией. В README не указаны размер контекстного окна, конкретные требования к оборудованию и результаты бенчмарков. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 миллионами ежемесячно активных пользователей предусмотрено требование получить отдельную лицензию Meta.

NVIDIA Llama 3.1 8B Instruct FP8 — FP8-квантизированная версия инструкционно настроенной авторегрессионной языковой модели Meta Llama 3.1 8B Instruct. Модель подготовлена NVIDIA с помощью TensorRT Model Optimizer; README уточняет, что она не принадлежит NVIDIA и была собрана по требованиям стороннего разработчика. Архитектура — трансформер Llama 3.1 с плотной моделью примерно на 7,5 млрд параметров. Модель принимает текстовые последовательности и генерирует текст, поддерживает диалоговый режим и контекст до 128 тысяч токенов. Квантизация весов и активаций линейных операторов до FP8 предназначена для более экономичного и быстрого инференса: в README указано сокращение требований к диску и памяти GPU примерно на 50% и ускорение примерно в 1,3 раза на H100. Предусмотрен запуск через TensorRT-LLM и vLLM на совместимых GPU NVIDIA. Модель подходит для диалогов, генерации и продолжения текста, а также ответов на инструкции. В README заявлено коммерческое и некоммерческое использование; лицензия в метаданных — llama3.1. Качество и скорость зависят от оборудования и среды инференса; оценка ускорения приведена для конфигурации с H100.

bunnycore/Llama-3.2-3B-TitanFusion-v2 — текстовая языковая модель, созданная слиянием нескольких предварительно обученных моделей семейства Llama 3.2 с помощью mergekit и метода TIES. В качестве базовой использована unsloth/Llama-3.2-3B; в слияние также вошли модели с уклоном в программирование и рассуждения. Модель содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Заявленная длина контекста — 131 072 токена. В карточке не приведены сведения о специальных языковых или предметных ограничениях, а также о лицензии, поэтому их нельзя уточнить по доступным данным.

mergekit-community/mergekit-linear-pcuhyqy — плотная языковая модель на архитектуре Qwen2, созданная сообществом с помощью линейного слияния моделей в mergekit. В слияние вошли DeepSeek-R1-Distill-Qwen-32B и mergekit-community/mergekit-model_stock-czbocwb; итоговая модель содержит 32 млрд параметров и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Базовая модель DeepSeek-R1-Distill-Qwen-32B ориентирована на рассуждения, математику и программирование; в метаданных также отмечен интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Данные не описывают отдельные ограничения полученного слияния или условия лицензии, поэтому их нельзя уточнить.

Карточка модели rombodawg/Meta-Llama-3.1-8B-reuploaded на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

MiniCPM5-2B — плотная причинная языковая модель семейства MiniCPM5, разработанная командой MiniCPM. Она предназначена для локальных помощников, запуска на устройствах и в условиях ограниченных ресурсов, а также для задач программирования, рассуждений и работы с инструментами. Модель построена на архитектуре LlamaForCausalLM, содержит 2,2 млрд параметров по метаданным и поддерживает контекст до 131 072 токенов. Модель подходит для диалогов, агентных сценариев и обработки длинного контекста. В карточке отмечены сильные результаты относительно моделей сопоставимого размера в программировании, математике, работе с длинным контекстом и инструментами. Указаны английский и китайский языки. Доступны веса safetensors и запуск через Transformers, в том числе на CPU и GPU. Лицензия — Apache-2.0. Ответы могут содержать ошибки, предвзятые или оскорбительные сведения; выводы по медицине, финансам, праву и политике не являются профессиональной консультацией. Модель предоставляется без гарантий.

Abiray/MiniCPM5-2B-GGUF — набор квантованных весов модели MiniCPM5-2B, разработанной OpenBMB и входящей в серию MiniCPM5. Это плотная Transformer-модель примерно на 2 млрд параметров, представленная в формате GGUF для локального запуска через llama.cpp, Ollama и LM Studio, включая сценарии on-device и edge AI. Модель ориентирована на генерацию текста и поддерживает английский и китайский языки. Модель предназначена для генерации кода и текста, решения математических задач, работы с длинным контекстом до 128 тысяч токенов, вызова инструментов и многошаговых агентских сценариев. Доступны варианты квантования от Q3_K_M до Q8_0 размером примерно от 1,29 до 2,68 ГБ; Q4_K_M указан как рекомендуемый баланс скорости, качества и занимаемой памяти, а Q8_0 — как вариант с минимальными потерями относительно исходных весов. Квантование уменьшает требования к памяти, но может влиять на точность, особенно в компактных вариантах. Модель распространяется по лицензии Apache-2.0.

MiniMax-M2.5-PRISM-LITE — разговорная модель Ex0bit на базе MiniMaxAI/MiniMax-M2.5, дообученная с помощью конвейера PRISM-LITE. Она предназначена для генерации текста в диалогах, программирования, решения сложных многошаговых задач и работы с агентными сценариями. В карточке заявлены архитектура MoE и подавление чрезмерных отказов при сохранении основных возможностей исходной модели; GGUF-файлы представлены в вариантах IQ1_M и IQ2_M. Указаны английский и китайский языки. Лицензия обозначена как other; README описывает базовую лицензию как модифицированную MIT.