II.7DevOps, облако и эксплуатация IT-систем

Solar Open2 250B — Nota NVFP4 — это 4-битная квантованная версия большой языковой модели Solar Open2 250B, разработанной Upstage и подготовленной Nota AI с использованием собственной технологии квантования Mixture-of-Experts (MoE). Модель предназначена для генерации текста и может обслуживать задачи рассуждения, программирования, следования инструкциям, работы с англоязычными и корейскоязычными заданиями, а также другие сценарии применения больших языковых моделей. В заявленных метаданных указаны английский, корейский и японский языки; модальность — текстовая. Размер контекста в README не указан. Модель использует формат NVFP4 с 4-битным квантованием весов и активаций (W4A4), group_size=16 и упаковкой compressed-tensors для прямого запуска через vLLM. Заявленный объём весов составляет 153,3 ГБ против 500,6 ГБ у версии BF16. Ключевое преимущество — существенно меньшие требования к памяти и более высокая пропускная способность при близком к BF16 качеству на приведённых тестах; средний результат составил 81,35 против 81,57 у BF16. Ограничение — необходимость GPU архитектуры NVIDIA Blackwell с поддержкой FP4 tensor cores, например B200 или GB200; Hopper, Ada и Ampere не поддерживаются. Для развёртывания требуется vLLM и Blackwell-класс GPU. Модель распространяется по лицензии Upstage Solar License. Для производных моделей указаны требования использовать префикс Solar в названии, размещать заметную атрибуцию «Built with Solar» в публичных материалах и включать копию лицензии Upstage Solar.

Swift-1.5-Qwen3.8-27B-Uncensored-BF16 — мультимодальная модель на архитектуре Qwen3.5, выпущенная d0xin как производная от дообученной UkisAI модели Swift 1.5. К ней применена ранговая абляция направления в residual stream, предназначенная для снижения частоты отказов при сохранении возможностей исходной модели. Модель принимает текст и изображения и предназначена для диалогов, рассуждений, программирования, агентных сценариев и вызова инструментов. В README указаны контекст 262 144 токена и формат BF16; веса занимают около 52 ГБ и распределены по 18 файлам Safetensors. Заявлена поддержка мультимодальной архитектуры и сохранение vision tower. Автор отмечает, что проверка поведения, сохранения возможностей и производительности этой производной модели ещё продолжается; результаты бенчмарков не опубликованы. Снижение отказов может приводить к генерации небезопасного, оскорбительного или неточного контента. Лицензия в метаданных обозначена как other, поэтому перед использованием следует проверить её условия на странице модели.

TenyxChat-8x7B-v1 — диалоговая языковая модель от Tenyx, дообученная на базе Mixtral-8x7B-Instruct-v0.1 методом Direct Preference Optimization (DPO) на датасете UltraFeedback. Модель использует архитектуру Mixture of Experts Mixtral и предназначена для генерации ответов в формате чата. В метаданных указаны 7,1 млрд параметров и контекст до 32 768 токенов. Модель подходит для диалоговых помощников, написания и редактирования текстов, извлечения сведений, ответов на вопросы, а также задач по программированию и STEM. В опубликованном сравнении MT-Bench она получила средний балл 8,4; это результат конкретной оценки, а не гарантия качества в каждом сценарии. Модель принимает текст и генерирует текст. Карточка и метаданные указывают английский язык. Лицензия Apache 2.0 допускает коммерческое использование. Разработчики предупреждают, что модель не настраивали специально для соблюдения предпочтений безопасности людей; при провокационных запросах она может выдавать нежелательные ответы, испытывает трудности с рассуждениями и математикой и иногда отвечает многословно.

Tulu 13B — языковая модель Allen Institute for AI (AI2), созданная дообучением LLaMA с 13 млрд параметров на смеси наборов инструкций, включая FLAN V2, CoT, Dolly, OpenAssistant, GPT4-Alpaca, Code-Alpaca и ShareGPT. Это плотная авторегрессионная модель для генерации текста, обученная следовать инструкциям и отвечать в заданном формате. Модель подходит для диалоговых ответов, решения задач, вопросов и ответов, а также генерации кода. В карточке приведены результаты тестирования на MMLU, GSM, BBH, TyDiQA и Codex-Eval; качество зависит от задачи и формата запроса. Модель принимает текст и генерирует текст на английском языке; размер контекста — 2048 токенов. Репозиторий содержит diff весов, поэтому для использования требуется доступ к исходной модели LLaMA в формате Hugging Face. Модель распространяется по лицензии AI model license вместе с исходной лицензией LLaMA; условия обеих лицензий следует учитывать при использовании.

Tulu 30B — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, дообученная исследователями Allen Institute for AI на смеси наборов инструкций. Она предназначена для диалогов и выполнения инструкций: ответов на вопросы, рассуждений, решения задач и генерации кода. При обучении использовались FLAN V2, CoT, Dolly, OpenAssistant 1, GPT4-Alpaca, Code-Alpaca и ShareGPT; модель рассчитана на англоязычные запросы и формат промпта, описанный в карточке. Контекст составляет 2048 токенов, веса представлены в формате PyTorch как diff, для восстановления нужны исходные веса LLaMA в формате Hugging Face. В статье приведены результаты на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Использование регулируется лицензией AI model license вместе с исходной лицензией LLaMA.

airoboros-l2-13b-2.2.1 — экспериментальная инструкция-ориентированная языковая модель на архитектуре Llama с 12,9 млрд параметров, созданная Джоном Дурбином на основе преимущественно синтетических данных. Это обновлённая версия airoboros-l2-13b-2.2: в ней заново сгенерированы ответы для задач письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры и изменена степень снятия ограничений. Модель предназначена для выполнения инструкций, ответов на вопросы по предоставленному контексту, суммаризации, генерации текста и кода, а также формирования аргументов функций в JSON или YAML. Для диалога используется текстовый формат с метками USER и ASSISTANT; контекст составляет 4096 токенов. Модель не ориентирована прежде всего на непринуждённый чат и ролевую игру. Карточка характеризует модель как экспериментальную и предупреждает, что при ответах вне заданного контекста она может выдумывать сведения; для закрытых вопросов рекомендуется явно просить не придумывать ответ при недостатке информации. Распространяется по лицензии Llama 2.

BAAI_AREX-Turbo-GGUF — это квантизированная версия модели AREX-Turbo, разработанной BAAI и опубликованной в формате GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных Q2/Q3/IQ-квантизаций. Размер файлов составляет примерно от 2,2 до 8,4 ГБ в зависимости от варианта. Модель предназначена для сценариев агентного использования, глубокого исследования, рассуждений и работы с инструментами. В карточке она также отмечена как long-context и dense; pipeline обозначен как image-text-to-text, однако подробные сведения о поддерживаемых визуальных входах, архитектуре, числе параметров и максимальной длине контекста не приведены. Указан английский язык. Для работы предлагается шаблон промпта в стиле Qwen с отдельным блоком рассуждений. Сильной стороной модели является широкий выбор квантизаций: варианты Q6_K и Q6_K_L позиционируются как близкие к исходному качеству, Q4_K_M — как сбалансированный вариант для большинства сценариев, а компактные версии подходят для систем с ограниченной оперативной памятью. При этом снижение разрядности может ухудшать качество ответов, особенно у низкобитных вариантов. Модель распространяется по лицензии Apache-2.0 и может запускаться через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты.

Bagel 7B v0.1 — созданная jondurbin до DPO-этапа версия Mistral-7B, дообученная на смеси инструкционных диалогов и обычного текста. Модель предназначена для генерации ответов в чате и выполнения широкого круга инструкций: от вопросов и ответов, математики и программирования до SQL, пересказа и ролевых диалогов. В обучении использованы данные из нескольких источников, включая LMSYS Chat, Natural Instructions, MathInstruct, Apps и Cinematika. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Карточка указывает, что обучение остановили примерно на половине запланированного объёма из-за ограничений бюджета; в сравнении с вариантом после DPO эта SFT-версия менее склонна к правдивым ответам и может быть предпочтительнее для ролевых сценариев. Модель распространяется под лицензией Apache-2.0.

jondurbin/bagel-jamba-v05 — экспериментальная дообученная модель автора jondurbin на базе AI21 Jamba-v0.1. Это языковая модель с гибридной архитектурой Mamba-Transformer и смесью экспертов (MoE), содержащая 7,2 млрд параметров и предназначенная для генерации текста в диалоговом формате. Модель обучалась на наборе BAGEL, включающем инструкции, диалоги, вопросы и ответы, задачи по математике, естественным наукам, программированию, суммаризации, ролевому письму и вызову функций. README указывает, что эта версия прошла этап SFT; улучшение гиперпараметров ещё рассматривается, а DPO-версия для неё могла быть выпущена позднее. Поддерживаются несколько шаблонов промптов, включая Vicuna, Llama 2, Alpaca и модифицированный ChatML; шаблон по умолчанию — Llama 2. Модель принимает и генерирует текст. Данные включают многоязычные задания, но конкретный список поддерживаемых языков не установлен. Карточка обозначает модель как экспериментальную. Лицензия — Apache-2.0. README предупреждает, что в обучающих источниках есть токсичный и потенциально незаконный контент; это не означает, что модель предназначена для сексуального контента.

BigQwen2.5-125B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели BigQwen2.5-125B-Instruct, разработанной mlabonne. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix; модель предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск через llama.cpp и LM Studio. В README указан английский язык. Модель имеет заявленный размер 125 миллиардов параметров и доступна в нескольких вариантах квантизации от Q8_0 до IQ1_M. Более качественные варианты Q6_K, Q5_K_M и Q4_K_M рекомендованы автором, тогда как низкобитные варианты требуют меньше памяти, но заметно уступают по качеству. Размер файлов составляет примерно от 40,59 до 133,22 ГБ, поэтому для запуска необходима система с большим объёмом оперативной или видеопамяти. Модель поддерживает специальный формат промптов Qwen с ролями system, user и assistant. Архитектура, размер контекста и мультимодальные возможности в README не указаны; по представленным данным это текстовая модель без подтверждённой поддержки изображений или других модальностей. Лицензия обозначена как other с названием tongyi-qianwen и ссылкой на лицензию Qwen2-72B-Instruct.

DeepSeek-R1-Distill-Llama-8B-abliterated — текстовая генеративная модель huihui-ai на архитектуре Llama, созданная методом abliteration на основе deepseek-ai/DeepSeek-R1-Distill-Llama-8B. Разработчик описывает её как экспериментальный вариант, в котором удалены отказы от ответов; базовая модель была дообучена на данных для рассуждений. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для диалоговой генерации текста, ответов на вопросы и многошаговых рассуждений, включая математические задачи и программирование — эти возможности унаследованы от базовой модели. В карточке также приведён способ использования через Ollama. README предупреждает, что удаление отказов реализовано грубо и служит доказательством концепции; поэтому поведение модели может быть менее безопасным. Условия лицензии в предоставленных данных не указаны.

puwaer/DeepSeek-V4-Flash-0731-reap-200b-gguf — это GGUF-сборка модели puwaer DeepSeek-V4-Flash-0731-reap-200b, подготовленная для запуска через llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и задач с вызовом инструментов; встроенный шаблон чата поддерживает режим рассуждений и tool calling в OpenAI-совместимом формате. Это разреженная Mixture-of-Experts-модель с 178 маршрутизируемыми экспертами на слой вместо 256 у базовой версии. Сборка доступна в вариантах MXFP4_MOE, Q3_K_M, IQ3_XXS, Q2_K и IQ1_M размером примерно от 56,36 до 103,85 GiB. Вариант MXFP4_MOE численно идентичен исходному safetensors-чекпойнту, а остальные варианты являются повторной квантизацией уже 4-битных данных и могут заметнее снижать качество. В README подтверждён контекст 4096 токенов для примера запуска; поддерживаемые языки и точный максимальный контекст не указаны. Сильные стороны модели — существенно меньший размер по сравнению с базовой версией на 284B параметров, сохранение высокой точности на ряде тестов и поддержка рассуждений и инструментов. Бенчмарки квантованных вариантов отдельно не проводились, поэтому их качество не измерено. Для запуска рекомендуется полный GPU-offload; самая крупная сборка занимает 103,85 GiB и не помещается на одной видеокарте с 96 GiB памяти. Частичный offload и распределённый запуск не были проверены. Модель распространяется по лицензии MIT.

FuseChat-Llama-3.1-8B-Instruct — разговорная языковая модель FuseAI, созданная методом неявного объединения знаний нескольких крупных языковых моделей. В основе лежит плотная архитектура Llama с 7,5 млрд параметров; модель обучена на основе Llama-3.1-8B-Instruct с этапами дообучения с учителем и оптимизации предпочтений (DPO). Для репозитория указаны библиотека Transformers и формат Safetensors, а заявленный контекст составляет 131 072 токена. Модель предназначена для диалога и следования инструкциям, а также для общих задач, математики, программирования и работы с китайским языком. В описании FuseChat-3.0 сообщается об улучшениях на тестах разговорных навыков и следования инструкциям по сравнению с целевой базовой моделью. Модель принимает текст и генерирует текст. Модель распространяется по лицензии Apache-2.0. Результаты, указанные в карточке для серии FuseChat-3.0, не гарантируют аналогичного качества на всех задачах и языках; подробные сведения о качестве именно этого чекпойнта в предоставленном фрагменте карточки отсутствуют.

LibertAIDAI/Gemma-4-12B-IT-NVFP4-GGUF — это текстовая GGUF-квантизация инструкционной модели google/gemma-4-12B-it, подготовленная LibertAI с использованием NVIDIA ModelOpt и предназначенная для запуска через llama.cpp. Модель ориентирована на генерацию текста, диалоговые приложения, локальное и серверное инференс-использование; по умолчанию формирует рассуждение перед ответом. Модель представляет собой плотный decoder примерно на 11,9 млрд параметров с 48 слоями и гибридным механизмом внимания: большинство слоёв используют локальное sliding-window attention, а каждый шестой слой — глобальное внимание. Квантизации NVFP4 подвергнуты 144 проекции плотных FFN-слоёв; attention, embeddings и lm_head используют отдельные форматы GGUF. Доступны варианты Q4_K_M размером около 6,5 GiB, Q8_0 размером 7,8 GiB и BF16 размером 10,8 GiB. Релиз текстовый: мультимодальные возможности исходной Gemma 4 не поддерживаются, поскольку конвертер llama.cpp пока не поддерживает используемый unified-вариант. Главное преимущество NVFP4 проявляется на видеокартах NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200: нативные tensor-core kernels могут повысить пропускную способность и снизить потребление VRAM по сравнению со стандартными квантизациями. На более старых GPU модель запускается, но преимуществ в производительности может не быть. Модель унаследовала лицензию Gemma от Google; для использования необходимо соблюдать условия этой лицензии.

mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit — квантизированная MLX-версия модели Google Gemma 4, подготовленная сообществом mlx-community с помощью mlx-optiq. Модель основана на Google Gemma 4 26B A4B instruction-tuned QAT и предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачной инфраструктуры. Это разреженная MoE-модель с 26 млрд общих параметров, 128 маршрутизируемыми экспертами и примерно 4 млрд активных параметров на токен. Используется смешанная квантизация: преимущественно 4-битная, но чувствительные компоненты, включая часть экспертных тензоров, слои внимания и маршрутизатор, представлены в 8-битном формате. Достигнутая точность составляет 6,01 бит на вес, размер модели на диске — около 19 ГБ. Модель поддерживает генерацию текста, а также сценарии image-text-to-text через bf16 vision-модуль. Языки и размер контекстного окна в README не указаны. Модель ориентирована на рассуждения, следование инструкциям, генерацию кода, работу с инструментами и агентские сценарии. По сравнению с равномерной 4-битной квантизацией той же QAT-базы она немного улучшает средний Capability Score и результаты MMLU, GSM8K и IFEval, однако уступает в BFCL и HumanEval, поэтому характеристики зависят от задачи. Для использования требуются mlx-optiq и версия mlx-lm из основной ветки; запуск рассчитан прежде всего на Apple Silicon и требует значительного объёма памяти. Лицензия указана как Apache 2.0; также применяются условия лицензии Gemma от Google.

GLM-4.5-Air-Derestricted — диалоговая модель Arli AI, полученная модификацией GLM-4.5-Air методом Norm-Preserving Biprojected Abliteration. Изменение направлено на удаление отказов при сохранении способности исходной модели к рассуждению. По карточке каталога модель имеет архитектуру GLM4 MoE, 8,5 млрд параметров и контекст до 131 072 токенов; поддерживает диалоговый режим и работает через Transformers. Модель предназначена для генерации ответов в диалоге, рассуждений, программирования и сценариев интеллектуальных агентов, унаследованных от GLM-4.5-Air. Автор заявляет, что метод модификации сохраняет нормы весов и качество рассуждений, однако это заявление не подтверждено приведёнными в карточке результатами оценки именно этой версии. Модель распространяется по лицензии MIT; базовая GLM-4.5-Air описана как гибридная модель с режимами рассуждений и работы с инструментами.

GLM-4.7-Flash-MXFP4-MOE-GGUF — квантизированная версия языковой модели GLM-4.7-Flash от Zhipu AI, опубликованная в формате GGUF. Это модель Mixture-of-Experts на архитектуре DeepSeek2 с Multi-head Latent Attention: около 30 млрд параметров всего, из которых примерно 3,2 млрд активируются на токен; используются 64 маршрутизируемых эксперта и один общий. В README указан контекст до 200 000 токенов. Модель предназначена для генерации текста и диалогов, включая рассуждения и программирование. Она поддерживает английский и китайский языки; режим рассуждений включён по умолчанию. В квантизации MXFP4 веса экспертов представлены в 4-битном формате, а остальные тензоры — в Q8_0; файл весов занимает 15,8 ГБ. README указывает на запуск через llama.cpp на GPU или CPU. Квантизация рассчитана на более эффективный вывод при небольшом снижении качества относительно исходной модели. Репозиторий распространяется по лицензии MIT.

GLM-4.7-Flash-RAZOR-24B-A3B-E48of64 — производная диалоговая модель семейства GLM, созданная Nickyang методом RAZOR: из 64 маршрутизируемых экспертов в каждом MoE-слое удалена четверть, осталось 48. Градиентного дообучения и восстановления после обрезки не проводилось; сохранены исходные веса оставшихся компонентов. По README, в контрольной точке 24,123 млрд параметров с учётом MTP, а метаданные каталога указывают 4,1 млрд параметров; эти значения расходятся, поэтому размер модели требует проверки. Архитектура использует GLM-4.7-Flash и реализацию glm4_moe_lite в Transformers; контекст — 202752 токена. Модель предназначена для диалоговой генерации текста, рассуждений и программирования с длинным контекстом. Сокращение пула экспертов уменьшает объём хранимых экспертных весов примерно на четверть, при этом README сообщает, что вычисления на токен практически не меняются. Контрольная точка хранится в bfloat16, в семи шардах safetensors; для запуска требуется сборка Transformers с нативной поддержкой glm4_moe_lite. Обрезка экспертов необратима и может менять разнообразие, форматирование и завершение ответов, даже если точность на отдельных задачах в целом сохраняется. Поведение на областях, далёких от конечного калибровочного корпуса, не охарактеризовано. Лицензия — MIT.

GLM-5.3-Flash-BF16 — мультимодальная модель семейства GLM от Z.ai для диалогов и задач с изображениями. По карточке модели, она содержит 320 млрд параметров, из которых 18 млрд активны при обработке. Архитектура GLM5 Next сочетает разреженное и линейное внимание; модель обучена с нуля и использует мультимодальную предобучающую выборку объёмом 30 трлн токенов. Модель предназначена для анализа изображений и текста, программирования и агентных сценариев. В README заявлены улучшения относительно GLM-5.2 и эффективность при работе с длинным контекстом. Доступны уровни reasoning_effort low, high и max; для локального развёртывания перечислены Transformers, vLLM, SGLang и другие фреймворки. Метаданные указывают поддержку английского и китайского языков и интерфейс чата с обработкой изображений. Лицензия — MIT.

Jan-v1-2509 — обновлённая версия модели Jan-v1 от Jan, предназначенная для диалогового использования, рассуждений и решения задач с агентами в приложении Jan. Это плотная языковая модель семейства Qwen3 на 3,7 млрд параметров, дообученная на базе Qwen/Qwen3-4B-Thinking-2507; архитектура не менялась по сравнению с предыдущей версией. Модель принимает текст и генерирует текст, поддерживает контекст до 262 144 токенов и рассчитана на английский язык. Модель ориентирована на ответы на вопросы, диалог и выполнение сложных задач с использованием инструментов. Разработчики сообщают о повышении надёжности и небольшом улучшении результатов на других чат-бенчмарках относительно Jan-v1, но отмечают снижение результата на SimpleQA. Для воспроизведения указанных результатов важно учитывать системный промпт в шаблоне чата; также доступен шаблон без него. Модель распространяется по лицензии Apache-2.0.

primitive-ai/K2-Horizon-MoVA-36B-A4B-NVFP4 — это квантованная версия модели IFM/K2-Horizon-MoVA-36B-A4B, подготовленная командой Primitive AI. Модель предназначена для генерации текста, рассуждений и сценариев с вызовом инструментов; поддерживает использование через Transformers и vLLM. Архитектура — MoE с 36B параметров и 4B активируемых параметров. Модель имеет контекст до 32 768 токенов и рассчитана на запуск на одной видеокарте без tensor parallelism. Языки и мультимодальные возможности в README не указаны. Веса 13 500 маршрутизируемых экспертных проекций представлены в формате NVFP4, остальные компоненты сохранены в BF16. Размер модели составляет 36,74 ГБ — примерно вдвое меньше BF16-версии и на 24% меньше официальной FP8-версии. По приведённым измерениям, уровень знаний и способность воздерживаться от неподходящих вызовов инструментов сопоставимы с BF16 и FP8, а пропускная способность при высокой конкуренции выше официальной FP8-версии. Слабее всего пострадала точность аргументов при выполняемых вызовах инструментов: она ниже FP8 примерно на 3,1 процентного пункта. Сборка совместима с GPU архитектур Ampere и Blackwell, включая проверенный запуск на NVIDIA A100 40 ГБ, и предназначена для компактного локального или серверного развертывания. Для работы требуется версия vLLM из main или nightly с поддержкой K2-Horizon; стабильные релизы до 0.28.1rc1.dev388 эту поддержку не содержат. Режим рассуждений выбирается на уровне сервера. Модель распространяется по лицензии Apache-2.0.

Kanana-2-1.3B-Instruct — компактная языковая модель Kakao для диалогов и выполнения инструкций. Это плотная авторегрессионная модель примерно с 1 млрд параметров, полученная из Kanana-2-3B с помощью каскадного pruning и дистилляции, а затем настроенная для следования инструкциям. Модель использует гибридное внимание: три слоя Sliding Window Attention на каждый слой полного внимания; размер окна — 1024 токена. Поддерживает контекст до 32 768 токенов и снижает расход памяти KV-кэша при длинном контексте. Модель рассчитана на компактное развёртывание, в том числе на устройствах с ограниченными ресурсами. Она предназначена для общения и генерации текста по инструкциям; в карточке серии также описаны оценки для задач работы с инструментами, кода, математики и знаний. Токенизатор повышает эффективность обработки корейского языка по сравнению с предыдущим поколением Kanana. Для запуска доступны Transformers с пользовательским кодом архитектуры, vLLM и SGLang с настройкой из репозитория. Лицензия в метаданных указана как other; конкретные условия следует сверить с файлами лицензии репозитория. Для SGLang карточка рекомендует версию 0.5.1 и предупреждает о снижении точности и скорости при использовании backend flashinfer.

unsloth/Llama-3.2-3B-Instruct-unsloth-bnb-4bit — 4-битная версия instruction-tuned языковой модели Llama 3.2 с 3 млрд параметров, подготовленная Unsloth на основе meta-llama/Llama-3.2-3B-Instruct. Разработчик базовой модели — Meta; Unsloth предоставляет оптимизированное квантованное представление для использования и дообучения с меньшими требованиями к памяти. Модель предназначена для текстовых диалогов, генерации и обработки текста, включая многоязычные сценарии, агентский поиск и суммаризацию. Это авторегрессионная модель на основе оптимизированной архитектуры Transformer, обученная с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель принимает и генерирует только текст; размер контекста в карточке не указан. Ключевое преимущество версии — 4-битное квантование Unsloth, которое снижает требования к памяти и подходит для локального запуска и эффективного дообучения. Из-за квантования возможен компромисс между экономией ресурсов и точностью по сравнению с полноразмерной версией; конкретные показатели качества в карточке не приведены. Модель распространяется по лицензии Llama 3.2 Community License; её использование также должно соответствовать Acceptable Use Policy.

Locutusque/Llama-3-Orca-1.0-8B — разговорная языковая модель, дообученная Locutusque на основе Meta Llama 3 8B. Для обучения использовались преимущественно SlimOrca, а также наборы данных для улучшения решения математических задач, программирования и письма. Модель построена на архитектуре Llama и содержит 7,5 млрд параметров; она принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. Модель предназначена для диалогового ИИ, написания текстов, помощи с программированием и решения математических задач. В карточке указана лицензия Llama 3; метаданные классифицируют лицензию как other, поэтому условия применения следует сверять с лицензией Meta Llama 3.

mergekit-community/mergekit-sce-vjeombg — объединённая языковая модель, созданная сообществом с помощью mergekit. В основе объединения лежит sthenno-com/miscii-14b-1225; использован метод SCE с нормализацией и включением параметров от семи моделей, среди которых Qwen2.5-14B-Instruct-1M, DeepSeek-R1-Distill-Qwen-14B, Virtuoso-Small и Impish_QWEN_14B-1M. Модель имеет плотную архитектуру Qwen2 с 14 млрд параметров и предназначена для диалогов и генерации текста. Она принимает текст и выдаёт текст; метаданные указывают контекст до 131 072 токенов. Объединение сочетает несколько диалоговых и инструкционных моделей, включая дистиллированную модель DeepSeek для рассуждений, однако README не сообщает результаты оценки качества и не уточняет, какие возможности итоговой модели сохраняются лучше всего. Модель опубликована в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

Meta-Llama-3-70B-Instruct-GGUF — квантизированная GGUF-версия инструкционной языковой модели Meta-Llama-3-70B-Instruct, разработанной Meta. Квантизацию и публикацию сборок выполнила Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев с использованием шаблона llama-3-chat, включая ответы на пользовательские запросы и работу с системными инструкциями. Модель относится к семейству Llama и имеет размер 70B параметров. В README указана поддержка английского языка, текстовая модальность и контекстное окно до 8192 токенов. Доступны варианты GGUF с точностью от 2 до 8 бит, а также f16; размеры файлов зависят от варианта и составляют примерно от 26,4 до 50 ГБ для основных квантизированных сборок. Варианты Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые благодаря балансу между качеством и размером. Сильной стороной модели является большой размер и возможность локального запуска через совместимые инструменты, включая LlamaEdge. Ограничения связаны с высокими требованиями к дисковому пространству и вычислительным ресурсам, а низкобитные варианты могут заметно терять в качестве; README не рекомендует некоторые из них для большинства задач. Лицензия указана как llama3 с типом other; перед использованием необходимо учитывать условия лицензии Meta Llama 3.

MiniCPM5-2B GGUF — набор GGUF-квантизаций модели MiniCPM5-2B, разработанной OpenBMB и подготовленной для локального развертывания. Это плотная Llama-based модель примерно на 2 млрд параметров, предназначенная для генерации текста, программирования, рассуждений, работы с длинным контекстом и использования инструментов. Модель работает только с текстом и поддерживает английский и китайский языки. Исходная модель имеет нативный контекст до 131 072 токенов (128K). Доступны варианты квантизации Q2_K, Q3_K_M, Q4_0, Q4_K_S, Q4_K_M, Q5_K_M, Q6_K, Q8_0, IQ2_M, IQ3_M и IQ4_XS размером примерно от 0,97 до 2,68 ГБ. Файлы содержат встроенный chat template и рассчитаны на использование с актуальными сборками llama.cpp с поддержкой MiniCPM5. К сильным сторонам относятся небольшой размер, возможность локального запуска, поддержка очень длинного контекста и широкий выбор квантизаций для компромисса между качеством и требованиями к памяти. Поддержка вызова инструментов зависит от парсера и API-интеграции конкретного сервера, поэтому её необходимо проверять в целевом окружении. Модель распространяется по лицензии Apache-2.0.

EmbeddedLLM выпустила Mistral-7B-Merge-14-v0.3 — экспериментальную объединённую модель на базе Mistral-7B-v0.1. Она создана методом DARE TIES путём слияния 14 моделей Mistral-7B, обученных для диалога, следования инструкциям, работы с документами, математикой и кодом. Модель содержит 7,1 млрд параметров и принимает текст для генерации продолжений и ответов; максимальный контекст составляет 32 768 токенов. Модель рассчитана на генерацию текста, ответы на инструкции и диалоговые сценарии. Авторы приводят средний результат 69,66 в Open LLM Leaderboard и отмечают, что модель может потребовать дополнительной настройки для чата; в README также указана более сильная версия v0.4. Карточка ориентирована на английский язык. Репозиторий распространяется по лицензии Apache-2.0.

Kaoeiri/MS_a-coolyte-2409-22B — языковая модель для диалогов и генерации текста, созданная с помощью mergekit. Это плотная модель архитектуры Mistral с 22 млрд параметров, полученная слиянием unsloth/Mistral-Small-Instruct-2409 и rAIfle/Acolyte-LORA методом task arithmetic; веса представлены в формате Safetensors. Модель рассчитана на текстовый ввод и генерацию текста, поддерживает чат и интерфейс вызова инструментов. Контекст — до 131 072 токенов. Модель можно использовать для диалоговых ассистентов, генерации и продолжения текста, а также сценариев, где ответ опирается на длинный контекст или вызов инструментов. README указывает, что плотность слияния подбиралась для целевого training loss 0,3. Сведения о конкретных поддерживаемых естественных языках и лицензии в предоставленных источниках отсутствуют.

yejingfu/nmagic-Meta-Llama-3.1-8B-Instruct-FP8 — это FP8-квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Она предназначена для задач генерации текста и ассистентского диалога, включая коммерческое и исследовательское использование. Модель принимает и возвращает текст; в метаданных указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако README отдельно ограничивает использование языками, отличными от английского, поэтому языковая применимость требует осторожной проверки. Модель имеет архитектуру Meta-Llama-3.1 и около 8 миллиардов параметров. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8 с использованием симметричной потензорной схемы. Это снижает число битов на параметр с 16 до 8, а размер на диске и требования к памяти GPU примерно на 50%. Модель оптимизирована для инференса с vLLM и поддерживает OpenAI-совместимую подачу сервиса. По данным README, средний результат на OpenLLM Leaderboard составляет 73,44 против 73,79 у неквантизированной исходной модели, что указывает на небольшое снижение качества при заметном сокращении требований к ресурсам. Для квантизации использовались 512 калибровочных последовательностей UltraChat длиной до 4096 токенов; это не подтверждает максимальный контекст модели. Модель распространяется по лицензии llama3.1, применяемой к исходной Meta Llama 3.1.