II.7DevOps, облако и эксплуатация IT-систем

airoboros-33b-gpt4-1.4 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, дообученная Джоном Дёрбином методом QLoRA на синтетических данных, созданных GPT-4. Модель предназначена для диалогов с ассистентом, ответов на вопросы по заданному контексту, написания текстов и кода, ролевых бесед, загадок и викторин. Для программирования обучающие примеры включают задачи Rosetta Code на десяти языках программирования. Модель принимает текст и генерирует текст; для диалогов использует шаблон Vicuna 1.1 и обученный формат с ролями пользователя и ассистента. В карточке указан контекст длиной 2048 токенов. При ответах по предоставленному контексту модель настраивали опираться на него и ограничивать выдуманные сведения, однако README отмечает, что этот режим лучше дополнительно инструктировать не придумывать неизвестные ответы. Автор пометил модель как ещё не протестированную, поэтому её качество и надёжность не подтверждены. В README также указано, что она формировалась для ответов без отказов, в том числе независимо от законности или морали запроса. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Athene-Phi-3.5-mini-instruct-orpo-GGUF — это набор GGUF-квантизированных версий языковой модели Athene-Phi-3.5-mini-instruct-orpo, разработанной EpistemeAI и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска, в том числе через llama.cpp и LM Studio. В репозитории представлены варианты от исходных весов F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ4 с размером файлов примерно от 1,88 до 7,64 ГБ. Для взаимодействия используется формат промпта с ролями system, user и assistant. Указан английский язык; сведения о количестве параметров, максимальном контексте, архитектурных деталях и поддержке других модальностей отсутствуют. К сильным сторонам относятся широкий выбор уровней квантизации, возможность подобрать баланс между качеством, размером и требованиями к памяти, а также специальные варианты Q4 для ARM и CPU-инференса. Более компактные версии могут уступать по качеству полноразмерным и менее агрессивно квантизированным вариантам. Модель распространяется по лицензии Apache-2.0.

BreezePipe-7B-merge — объединённая языковая модель, собранная автором Heng666 из MediaTek-Research/Breeze-7B-Instruct-v0.1 и Azure99/blossom-v4-mistral-7b с помощью LazyMergekit. В конфигурации используется метод passthrough: слои 0–31 взяты из Breeze, а слои 24–31 — из blossom-v4-mistral-7b. Модель основана на архитектуре Mistral и содержит 8,9 млрд параметров. Она предназначена для генерации текста; контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Это конверсия модели DeepSeek-R1-Distill-Qwen-7B в формат MLX для локального запуска на графическом процессоре Apple Silicon. Конверсию подготовил SirSahOl на базе архитектуры Qwen2ForCausalLM; модель содержит 7,1 млрд параметров и распространяется в формате safetensors с 16-битными весами bfloat16. Контекст составляет до 131 072 токенов. Модель предназначена для диалогов и генерации текста, в том числе для многошаговых рассуждений, решения математических задач и помощи с программированием. Вариант 16-bit сохраняет исходную точность весов и ориентирован на оценивание, сравнение результатов и локальную работу на компьютерах Apple Silicon с достаточной объединённой памятью; для весов требуется около 15,2 ГБ, а README рекомендует не менее 24 ГБ памяти. Лицензия — MIT. Это преобразование весов в формат MLX, специализированный для Apple Silicon; README указывает, что репозиторий предназначен для GPU этих устройств. На длинных контекстах потребление памяти существенно возрастает, а скорость зависит от оборудования и длины контекста.

NVIDIA DeepSeek-V3-0324-NVFP4 — квантизованная FP4-версия авторегрессионной языковой модели DeepSeek V3-0324, подготовленная NVIDIA с помощью TensorRT Model Optimizer. Это сторонняя сборка по требованиям NVIDIA, а исходную модель разработала DeepSeek AI. Модель принимает текст и генерирует текст; поддерживает диалог и интерфейс вызова инструментов. В метаданных указан размер 37,6 млрд параметров и контекст до 163 840 токенов. Модель предназначена для развёртывания в системах AI-агентов, чат-ботах, RAG и других приложениях на базе генеративного ИИ. Квантизация весов и активаций линейных операторов до FP4 сокращает требования к диску и памяти GPU примерно в 1,6 раза. Для указанного в README сценария развёртывания нужны TensorRT-LLM и восемь GPU NVIDIA B200; заявлена совместимость с Linux. README сообщает о готовности к коммерческому и некоммерческому использованию, а метаданные указывают лицензию MIT.

Dolphin 2.6 Mistral 7B GGUF — это квантизированная версия языковой модели Dolphin 2.6 Mistral, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на cognitivecomputations/dolphin-2.6-mistral-7b и предназначена для локального запуска в приложениях и сервисах, поддерживающих GGUF, включая LlamaEdge. Модель относится к текстовым языковым моделям, работает на английском языке и поддерживает контекст до 4096 токенов. Для взаимодействия используется шаблон ChatML. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 3,08 до 7,7 ГБ. Вариант Q4_K_M заявлен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем размере. К сильным сторонам относятся возможность локального развертывания, широкий выбор уровней квантования и адаптация для диалоговых и инструкционных сценариев. Ограничения включают англоязычную специализацию, контекст в 4096 токенов и неизбежную потерю качества при более агрессивном квантовании; вариант Q2_K прямо не рекомендуется для большинства задач. Модель распространяется по лицензии Apache-2.0.

EXAONE-3.5-7.8B-Instruct-AWQ — инструкционно дообученная двуязычная языковая модель, разработанная LG AI Research. Она предназначена для генерации текста, диалоговых сценариев и общего использования в качестве виртуального ассистента на английском и корейском языках, включая задачи с длинным контекстом до 32 768 токенов. Модель поддерживает системные промпты и может запускаться в Transformers, TensorRT-LLM, vLLM, SGLang, llama.cpp и Ollama. Модель содержит 7,8 млрд параметров, из которых 6,98 млрд указаны без учёта эмбеддингов, 32 слоя и словарь размером 102 400 токенов. В архитектуре внимания используется GQA с 32 Q-головами и 8 KV-головами. Данная версия содержит AWQ-квантизацию весов в формате W4A16g128: 4-битную групповую квантизацию без квантизации активаций, что снижает требования к памяти и подходит для более эффективного развёртывания. К сильным сторонам относятся поддержка английского и корейского языков, длинного контекста и оптимизированного квантизованного инференса. Ограничения включают возможную генерацию вредного, предвзятого, фактически неверного или синтаксически некорректного текста; модель также не располагает актуальными сведениями и может выдавать ответы, противоречащие действительности. Модель распространяется по лицензии EXAONE AI Model License Agreement 1.1 - NC, предусматривающей некоммерческое использование.

satgeze/Gemma4-12B-Uncensored-HauhauCS-1.5M-GGUF — GGUF-квантованная версия 12-миллиардной Gemma 4 без фильтрации, разработанная SatGeze на базе модели HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced. Базовые модель и QAT предоставлены Google, снятие ограничений выполнено HauhauCS, а расширение контекста и сертификация — SatGeze. Модель предназначена для генерации текста, обработки очень длинных документов и поиска заданной информации в больших контекстах; также поддерживает работу с изображениями через отдельную vision-модель mmproj и ускорение декодирования с помощью MTP draft head. Нативный контекст составляет 262 144 токена, а с использованием YaRN с коэффициентом 6 расширен до 1 572 864 токенов. Для конфигурации f16 KV модель сертифицирована на контекстах до 1 310 720 токенов с результатом 10/10 в тестах needle-in-a-haystack; при q8_0 KV на максимальном контексте достигнут результат 9/10. Файл основной модели имеет размер около 7,4 ГБ и использует 4-битное квантование Google QAT. Для запуска предусмотрена интеграция с llama.cpp и Ollama. Сильные стороны модели — исключительно длинный контекст, подтверждённая устойчивость поиска информации за пределами миллиона токенов, поддержка vision и возможность ускорения генерации. Ограничения включают снижение качества на предельных длинах, особенно около 2 миллионов токенов, значительные требования к вычислительной памяти и времени предварительной обработки, а также зависимость результата от типа KV-кэша и выбранного квантования. Модель распространяется по лицензии Gemma; условия базовой лицензии применяются к производным компонентам.

GLM-4.7-Flash-FP8 — это FP8-квантизированная версия модели GLM-4.7-Flash, разработанной zai-org. Модель предназначена для задач генерации текста и инференса через библиотеку Transformers и сервер vLLM; в README также указана поддержка архитектуры glm4_moe_lite, что указывает на использование MoE-подхода. Сведения о поддерживаемых языках и модальностях отсутствуют. Квантизация выполнена методом FP8 E4M3 с масштабами, встроенными в тензоры. Размер исходной модели в формате BF16 составляет около 62 ГБ, квантизированной версии — около 30 ГБ. В формате BF16 сохранены lm_head, embed_tokens, layernorms и веса маршрутизатора. В README приведён контекст длиной 8192 токена: на двух видеокартах RTX 3090 по 24 ГБ модель потребляла около 14,7 ГБ VRAM на GPU и достигала пропускной способности 19,4 токена в секунду при использовании vLLM 0.13.0 и tensor parallelism на двух GPU. Основное преимущество модели — существенно меньший объём хранения и потребление видеопамяти по сравнению с версией BF16 при сохранении ключевых компонентов в BF16. На GPU с аппаратной поддержкой FP8, включая RTX 40xx и более новые Ada Lovelace, ожидается более высокая производительность; RTX 3090 использует Marlin kernel для распаковки весов. Для запуска требуются vLLM версии 0.13.0 или новее и Transformers 5.0 или новее. Ограничения включают зависимость от совместимого оборудования и программного стека, а также отсутствие в README подробностей о качестве, результатах бенчмарков, языковой поддержке и максимальном контексте базовой модели. Лицензия — MIT.

RedHatAI/GLM-5.3-NVFP4 — текстовая генеративная языковая модель, разработанная Red Hat AI на основе модели zai-org/GLM-5.3. Она предназначена для генерации текста, следования инструкциям и решения задач, требующих рассуждений, включая математические и научные вопросы. Заявлены поддерживаемые языки английский и китайский, а входом и выходом модели является текст. Модель использует архитектуру GlmMoeDsaForCausalLM и формат compressed-tensors. Это вариант с квантованием весов и активаций в NVFP4/FP4 E2M1 с двухуровневым масштабированием; слои вне маршрутизируемых экспертов оставлены без квантования. Чекпойнт оптимизирован для инференса на GPU Blackwell и создан с применением LLM Compressor и калибровочных данных perfectblend. Для запуска рекомендуется vLLM; в примере конфигурации используются четыре устройства B200, FP8 E4M3 KV-кэш и speculative decoding. По приведённым оценкам, модель сохраняет близкую к базовой FP8-версии точность на задачах следования инструкциям, математики, рассуждений и научных вопросов. Наиболее сильные результаты показаны на GSM8K Platinum и MATH-500, однако на IFEval, AIME 2025 и GPQA Diamond она уступает базовой модели в FP8. Ограничения включают зависимость от совместимой инфраструктуры Blackwell и специализированного стека инференса; размер модели, длина контекста и точные требования к памяти в README не указаны. Модель распространяется по лицензии glm-5.3, обозначенной как other.

GPT-OSS-Nano — компактная языковая модель с архитектурой Mixture of Experts, опубликованная пользователем squ11z1 и дообученная на базе openai/gpt-oss-20b. Модель ориентирована на пошаговое рассуждение и решение задач, включая математические вопросы, объяснение концепций и общий текстовый диалог. Для обучения использовались QLoRA, Unsloth и TRL на наборе Superior-Reasoning с примерами цепочек рассуждений. Модель содержит около 9 млрд параметров, из которых примерно 3 млрд активируются на каждом проходе. Архитектура включает 12 экспертов, 4 активных эксперта на токен, 24 слоя, скрытое измерение 2880, 64 attention heads с 8 KV-головами и GQA. Заявлена поддержка контекста до 131 072 токенов и точности BFloat16. Основной язык — английский; качество на других языках может варьироваться. Доступны форматы GGUF для локального запуска через llama.cpp и Ollama, а также интеграция с Transformers и 4-битной загрузкой через Unsloth. Сильными сторонами модели являются относительно экономичное разреженное вычисление, большой контекст и специализация на пошаговом reasoning. Ограничения включают преимущественно англоязычную оптимизацию, риск правдоподобных ошибок и непригодность для критически важных сценариев без дополнительной проверки. Модель распространяется по лицензии Apache-2.0.

Granite-Embedding-311M-Multilingual-R2 — модель эмбеддингов текста, разработанная командой Granite Embedding компании IBM. Она использует плотный bi-encoder на архитектуре ModernBERT с 311,6 млн параметров и выдаёт векторы размерностью 768 для запросов, документов, фрагментов текста и кода. Максимальная длина контекста — 32 768 токенов; эмбеддинги можно сокращать до 512, 384, 256 или 128 измерений с постепенным снижением качества. Модель предназначена для семантического поиска, сопоставления запросов и документов, поиска по длинным текстам и межъязыкового поиска. Она поддерживает более 200 языков, а для 52 языков, включая русский, и ряда языков программирования прошла дополнительное обучение на парах для поиска и межъязыкового сопоставления. Поддерживаются Python, Go, Java, JavaScript, PHP, Ruby, SQL, C и C++. Векторы можно сравнивать, например, по косинусному сходству. В README указаны контрастивное дообучение, дистилляция знаний и слияние моделей. Доступны форматы Safetensors, ONNX и OpenVINO; лицензия Apache 2.0. Качество зависит от языка: для низкоресурсных языков оно может быть ниже, чем для языков с расширенной поддержкой; длинные входы сверх лимита контекста обрезаются. Фильтрация обучающих данных и синтетические данные могут вносить смещения.

Hermes-3-Llama-3.1-70B-lorablated — диалоговая модель mlabonne на архитектуре Llama 3.1, созданная слиянием Hermes-3-Llama-3.1-70B от NousResearch с адаптером abliteration. Модель предназначена для генерации ответов в диалоге и выполнения инструкций; версия lorablated настроена на снижение отказов отвечать на допустимые запросы. В карточке приведены результаты оценивания на IFEval и BBH. Модель содержит 69,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; максимальный контекст — 131 072 токена. Для работы с ней нужны текстовые запросы, ответы генерируются в текстовом виде. Указана библиотека Transformers. Сведений о лицензии в доступных данных нет.

IberianLLM-7B-Instruct — мультиязычная авторегрессионная языковая модель на архитектуре Llama, разработанная LangTech. Модель содержит 6,7 млрд параметров, обучена с нуля на текстах и предназначена для генерации текста и диалогов на иберийских языках, английском и коде. Версия Instruct настроена для следования инструкциям и использует шаблон диалога ChatML; длина контекста составляет 8192 токена. Модель подходит для создания общего разговорного помощника, генерации текста и помощи с кодом. В README указано, что это ранняя демонстрационная версия без выравнивания с помощью RLHF; она может выдавать вредный или неподходящий контент, а качество может различаться между языками и диалектами. Выпущена под лицензией Apache 2.0, допускающей исследовательское и коммерческое использование.

Это набор GGUF-квантизованных версий Granite 3.2 8B Instruct — инструкционной языковой модели, разработанной IBM под именем ibm-granite. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия в приложениях, поддерживающих llama.cpp, включая LM Studio и другие совместимые проекты. Модель имеет размер 8 миллиардов параметров и относится к текстовым моделям: сведения о поддержке изображений, аудио или других модальностей в README отсутствуют. Также не указаны поддерживаемые языки и размер контекстного окна. Доступны варианты квантования от Q8_0 до Q3 и IQ3/IQ4, размером примерно от 3,59 до 8,68 ГБ. Более высокие варианты обычно обеспечивают лучшее качество, а менее точные позволяют снизить требования к оперативной памяти; в README рекомендуются, в частности, Q4_K_M, Q5 и Q6 версии. Сильные стороны модели — локальный запуск, широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с экосистемой llama.cpp. Ограничения связаны с потерями качества при низком уровне квантования и зависимостью от совместимого программного обеспечения и аппаратных ресурсов. Для корректного диалога следует использовать указанный в README шаблон prompt format. Для набора указана лицензия Apache-2.0.

Instruct Mixtral 8X7B V0.1 Dolly15K — это инструкционная языковая модель на архитектуре Mixtral, дообученная компанией Brillibits на наборе данных databricks-dolly-15k. Представленная версия распространяется в формате GGUF и подготовлена TheBloke с использованием квантования. Модель предназначена для генерации текста по инструкциям и может использоваться в локальных приложениях для диалога, ответов на вопросы и других задач text-generation. В названии указано 8 экспертов по 7B параметров, однако README не содержит дополнительных сведений о фактическом числе активируемых параметров, размере контекста, языках и поддерживаемых модальностях. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Формат совместим с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All и LM Studio. Сильной стороной модели является возможность локального запуска на CPU и GPU благодаря GGUF и нескольким уровням квантования. Ограничения включают возможные потери качества при сильном квантовании, а также отсутствие в README подробных результатов оценки и характеристик производительности. Лицензия модели — Apache-2.0.

KRONOS-8B-V3 — языковая модель, созданная командой T145 слиянием нескольких предварительно обученных моделей методом TIES в mergekit; базой слияния служит unsloth/Meta-Llama-3.1-8B. В состав также вошли mukaj/Llama-3.1-Hawkish-8B, KRONOS-8B-V1-P1, KRONOS-8B-V1-P3 и Meta-Llama-3.1-8B-Instruct. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров. Модель предназначена для генерации текста и диалогов, а также имеет интерфейс для вызова инструментов. Поддерживает контекст до 131 072 токенов. В карточке приведены результаты оценок на IFEval и BBH, но сведений о поддерживаемых естественных языках и лицензии нет. Доступные веса размещены в формате safetensors.

Apollo Raines представляет эту модель как вариант Llama 3.1 8B Instruct, изменённый инструментом jBlaze для усиления следования контексту и аналитического рассуждения. По README, изменения внесены непосредственно в веса без дополнительного обучения; метаданные каталога классифицируют происхождение как дообучение. Модель предназначена для диалоговой генерации текста и анализа предоставленных материалов с опорой на контекст. Она может отвечать на вопросы, объяснять вычисления и писать код; карточка также указывает интерфейс вызова инструментов. Модель использует плотную архитектуру LlamaForCausalLM, распространяется в формате safetensors, имеет 7,5 млрд параметров по метаданным и контекст до 131 072 токенов. В карточке указан английский язык; базовая Llama 3.1 8B Instruct описана как многоязычная. Автор предупреждает, что публичная версия намеренно ослаблена и выпущена как демонстрация возможностей jBlaze. Лицензия — llama3.1.

Llama-3.1-8B-Ultra-Instruct-GGUF — это квантизированное представление инструкционной языковой модели Llama-3.1-8B-Ultra-Instruct, разработанное Dampfinchen и опубликованное в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и работы с инструкциями; её можно запускать локально через llama.cpp и LM Studio. В README также указано, что исходная модель является merge-моделью, собранной с использованием mergekit. Модель содержит 8 миллиардов параметров и работает в текстовой модальности. Для неё доступны варианты от F16 размером 16,07 ГБ до квантизаций Q4, Q5, Q6 и Q8 размером примерно от 4,92 до 8,54 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как компромисс между размером и качеством. В README приведён специальный формат промпта Llama 3.1. Языки и размер контекстного окна не указаны. Сильная сторона модели — возможность локального запуска на менее мощном оборудовании благодаря нескольким уровням квантизации при сохранении высокого качества. На Open LLM Leaderboard для исходной модели указаны результаты: 80,81% на IFEval, 32,49% на BBH, 14,95% на MATH Level 5, 5,59% на GPQA, 8,61% на MuSR и 31,4% на MMLU-PRO; эти показатели зависят от методики оценки и не гарантируют аналогичные результаты конкретного квантизированного файла. Лицензия указана как llama3.

MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1-GGUF — это набор файлов модели в формате GGUF для MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1. Модель создана и квантована MaziyarPanahi; исходная архитектура и точные параметры в предоставленной карточке не раскрыты, однако из названия следует, что это instruct-модель семейства Llama с заявленным размером 8B и контекстом до 32k токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Формат GGUF ориентирован на использование с llama.cpp и поддерживается, среди прочего, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и Candle; возможна работа с GPU-ускорением в зависимости от выбранного инструмента и конфигурации. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Ограничения включают возможные потери качества из-за квантования, зависимость производительности от оборудования и программного окружения, а также отсутствие в README сведений о языках, точных характеристиках архитектуры, результатах тестирования и лицензии.

QuantFactory/Meta-Llama-3.1-8B-GGUF — это квантованная версия большой языковой модели Llama 3.1 с 8 млрд параметров, представленная в формате GGUF. Базовую модель разработала Meta, а QuantFactory подготовила её распространение в квантованном формате. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-ботах, ассистентах, системах обработки естественного языка и других сценариях, где требуется текстовая генерация. Модель поддерживает текстовую модальность. В карточке заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Дополнительные сведения об архитектуре, размере контекстного окна, конкретном методе и уровне квантования, производительности, формате инструкционного дообучения и системных требованиях не указаны, поэтому её характеристики в этих аспектах требуют проверки по файлам модели. Главные преимущества — компактность по сравнению с полноразмерной версией, возможность запуска через совместимые инструменты для GGUF и многоязычная текстовая генерация. Ограничения включают возможные потери качества из-за квантования, зависимость результатов от выбранного варианта квантования и отсутствие заявленных возможностей работы с изображениями или другими модальностями. Модель распространяется по лицензии Llama 3.1 Community License от Meta; при использовании и распространении необходимо соблюдать её условия, включая требования к атрибуции, маркировке «Built with Llama», Acceptable Use Policy и специальные коммерческие ограничения.

Phi-4-mini-reasoning-GGUF — это GGUF-квантизированная версия языковой модели Phi-4-mini-reasoning, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, решения математических задач и работы с кодом; поддерживает сценарии локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В репозитории представлены варианты от BF16 размером 7,68 ГБ до низкобитных квантов размером около 1,90 ГБ. Доступны форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, IQ и другие; варианты с более высокой разрядностью обычно обеспечивают лучшее качество, а низкоразрядные требуют меньше оперативной памяти. Указан английский язык. Архитектура исходной модели, число параметров, поддерживаемые модальности и размер контекста в README не описаны. Сильными сторонами являются локальный запуск, широкий выбор компромиссов между качеством и требованиями к памяти, а также специализация исходной модели на математическом рассуждении. Ограничения включают возможное снижение качества при использовании низкоразрядных квантов и отсутствие в README подробных результатов оценки. Модель распространяется по лицензии MIT.

Это набор GGUF-квантизованных файлов модели Mistral Nemo Instruct 2407, разработанной Mistral AI и квантизованной командой featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций, поэтому может использоваться в диалоговых приложениях, локальных ассистентах и других сценариях text-generation при наличии совместимого ПО для работы с форматом GGUF. В репозитории представлены варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 4,6 до 12,4 ГБ. Квантизация позволяет выбирать компромисс между размером файла, требованиями к ресурсам и сохранением качества, однако README не содержит сведений об архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста. Сильная сторона представленной версии — широкий выбор уровней квантизации для развёртывания на оборудовании с разными ограничениями по памяти. Ограничения качества и производительности зависят от выбранного варианта и среды запуска; конкретные результаты в README не приведены. Лицензия модели и условия её использования в предоставленных данных не указаны.

Mistral-Large-Instruct-2407-IMat-GGUF — это набор квантованных версий Mistral-Large-Instruct-2407, разработанной Mistral AI. Квантование выполнил legraphista с использованием llama.cpp версии b3452 и метода IMatrix. Модель предназначена для генерации текста и запуска в совместимой инфраструктуре llama.cpp и других инструментах, поддерживающих формат GGUF. Модель рассчитана на работу с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; размеры файлов составляют примерно от 45,20 до 245,23 ГБ. Версии Q4_K и более компактные используют IMatrix, что предназначено для сохранения качества при квантовании. Все варианты представлены в виде разделённых файлов. Сильная сторона набора — широкий выбор точностей и размеров, позволяющий подобрать компромисс между качеством, требованиями к памяти и производительностью. Ограничения — значительный объём файлов, необходимость специального программного обеспечения для запуска и отсутствие в README сведений о размере контекста, числе параметров, конкретных результатах тестирования и поддержке мультимодальных входов. Модель распространяется по лицензии Mistral Research License 0.1 (MRL-0.1).

Mistral-T5-7B-v1-Mistral-7B-Instruct-v0.1 — слитая чат-модель на архитектуре Mistral, созданная объединением Mistral-7B-Instruct-v0.1 и Mistral-T5-7B-v1 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; заявленный контекст составляет 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста по запросу. В README описаны смешивание слоёв внимания и MLP и формат bfloat16; в репозитории веса представлены в safetensors. Лицензия — Apache-2.0. README и метаданные не сообщают о языковом охвате и оценках качества, поэтому результаты для конкретных языков и задач требуют проверки.

Muse-Glimmer-30B-CoreAI — это квантованный текстовый декодер модели Meta Muse-Glimmer-30B, подготовленный для запуска в Apple Core AI, преемнике Core ML. Модель предназначена для локальной генерации текста на устройствах Apple с macOS 27 и соответствующей поддержкой Core AI; заявлены сценарии диалога, работы с кодом, пошаговых рассуждений и вызова инструментов. Перцептивный энкодер исходной агентной VLM в комплект не входит, поэтому данная версия работает только с текстом. Модель имеет около 30 млрд параметров; используется формат Core AI .aimodel и 4-битная квантизация int4hu. Размер артефакта составляет 16,35 ГБ. В описании упоминается окно контекста до 2048 токенов и запуск на GPU или Neural Engine через Apple Core AI. На Mac Studio с M4 Max заявлена скорость декодирования около 26,69 токена в секунду без спекулятивного декодирования, а для отдельных задач с n-gram drafting — до 53,71 токена в секунду. Спекулятивное декодирование не требует дополнительных весов и, по приведённым тестам, сохраняет побайтно идентичный результат. Сильными сторонами являются локальный запуск, сравнительно небольшой для 30B-модели размер, поддержка Apple Silicon и высокая скорость генерации; результаты зависят от сценария, длины генерации, охлаждения устройства и параметров спекулятивного декодирования. Ограничения включают отсутствие визуального энкодера, ограниченное контекстное окно, зависимость производительности от оборудования и отсутствие универсальности приведённых бенчмарков. Модель распространяется по лицензии Apache-2.0.

Nemostein-3-Nano-Omni-30b-a3b-i1-GGUF — это GGUF-квантизированная версия модели GestaltLabs/Nemostein-3-Nano-Omni-30b-a3b. Квантизацию выполнил mradermacher с использованием weighted/imatrix-подхода. Модель предназначена для генерации текста на английском языке, диалоговых сценариев, задач рассуждения, использования инструментов и function calling. В метаданных модель отмечена как mixture-of-experts и связана с архитектурой Nemotron-H; обозначение базовой модели содержит параметры 30b-a3b, однако точное число активных параметров, размер контекста и подробности архитектуры в README не указаны. Поддержка других модальностей, кроме текстовой, также не подтверждена, несмотря на слово Omni в названии. Доступно множество вариантов GGUF-квантизации размером примерно от 18 до 33,6 ГБ, что позволяет выбирать компромисс между размером, скоростью и качеством. Сильными сторонами являются поддержка англоязычной генерации, reasoning, conversational use, tool use и function calling, а также широкий выбор уровней квантизации. Ограничения связаны с потерями качества, зависящими от выбранного варианта квантизации; некоторые низкобитные варианты в README прямо характеризуются как имеющие низкое качество. Лицензия указана как other, без дополнительных условий в представленном README.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это GGUF-квантизированная версия языковой модели NVIDIA Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA и подготовленной для запуска с llama.cpp. Квантизацию выполнил bartowski с использованием imatrix. Модель предназначена для генерации текста и поддерживает только текстовый ввод; заявленное количество параметров — 33 млрд. Вариант включает поддержку MTP. Модель подходит для локального запуска и задач текстовой генерации, включая диалоговые сценарии при использовании рекомендованного шаблона промпта. Доступны варианты квантизации от BF16 и Q8_0 до более компактных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. В README рекомендуются Q4_K_M как сбалансированный вариант, а также варианты Q5 и Q6 для более высокого качества. Заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков. Ограничения модели включают отсутствие мультимодального ввода и неизвестный из предоставленных данных размер контекстного окна. Более сильное сжатие уменьшает требования к памяти, но может снижать качество по сравнению с BF16 и вариантами с более высокой точностью. Модель распространяется по лицензии openmdw-1.1; в README она обозначена как license: other, с дополнительной ссылкой на условия лицензии.

o1-pro — модель из серии o1 от OpenAI, обученной с применением обучения с подкреплением для решения задач, требующих рассуждений перед ответом. Вариант o1-pro использует больше вычислительных ресурсов для более глубокого обдумывания ответа. Модель предназначена для сложных задач рассуждения и подготовки ответов на запросы пользователя. Доступный фрагмент карточки не описывает архитектуру, размер, поддерживаемые языки и длину контекста, поэтому эти характеристики не приводятся. Лицензия в предоставленных данных не указана.

Карточка модели mayflowergmbh/occiglot-7b-it-en-instruct-hf на Hugging Face совпадает с карточкой occiglot/occiglot-7b-it-en-instruct, поэтому описание составлено по ней. Occiglot-7B-it-en-Instruct — генеративная языковая модель Occiglot Research Collective, дообученная следовать инструкциям и поддерживать диалог. Это плотный decoder-only трансформер Mistral с 7,1 млрд параметров; модель принимает текст и имеет контекст до 32 768 токенов. Карточка описывает поддержку английского и итальянского языков, а также кода; обучение включало многоязычные и программные инструкции, а взаимодействие рассчитано на шаблон ChatML. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, генерации текста и помощи с кодом на английском и итальянском. Это ранний выпуск исследовательского проекта, обученный на дополнительных инструкционных данных; приведённые оценки названы предварительными, а неанглоязычные результаты ограничены особенностями тестовых наборов. Модель не прошла safety alignment и может выдавать проблемный контент. Лицензия — Apache 2.0.