II.7DevOps, облако и эксплуатация IT-систем

Yi-1.5-6B — базовая языковая модель семейства Yi, разработанная 01.AI. Она создана на архитектуре Llama с плотной архитектурой и содержит 5,8 млрд параметров; модель распространяется в формате safetensors. Для версии в этом репозитории метаданные указывают контекст до 4096 токенов. Модель предназначена для генерации текста и может служить основой для задач понимания языка, чтения, следования инструкциям, рассуждений, математики и программирования. Семейство Yi-1.5 прошло дополнительное предварительное обучение на 500 млрд токенов и настройку на разнообразных примерах, однако README не уточняет отдельные результаты именно версии 6B. Лицензия репозитория — Apache-2.0. В предоставленных данных не заявлена мультимодальная поддержка.

Airoboros 13B GPT-4 1.4.1 QLoRA — языковая модель семейства LLaMA с 12,9 млрд параметров, дообученная jondurbin с помощью QLoRA на синтетических данных, созданных GPT-4. Модель предназначена для диалогов с ассистентом и генерации текста; обучение выполнено на fork FastChat, а данные взяты из набора jondurbin/airoboros-gpt4-1.4.1. Модель рассчитана на ответы на вопросы, следование инструкциям, работу с предоставленным контекстом, программирование, ролевые диалоги, шутки, загадки и викторины. Для диалогов используется шаблон Vicuna 1.1; карточка также описывает формат запросов с контекстом, призванный ограничить ответы предоставленными материалами. Контекст — 2048 токенов. Модель работает с текстом и поддерживает генерацию текста. В карточке указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое использование. Автор отмечает, что модель обучена отвечать без отказов независимо от законности или морали запроса; ответы по контексту всё равно могут содержать выдуманные сведения, поэтому для неизвестных ответов рекомендуется явно просить не придумывать их.

airoboros-m-7b-3.0 — экспериментальная универсальная языковая модель, созданная jondurbin на основе датасета airoboros-3.0, преимущественно синтетических данных. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она принимает текст и выдаёт текст. Модель рассчитана прежде всего на следование инструкциям, ответы по заданному контексту и многошаговый диалог, а не на непринуждённую беседу. Среди заявленных сценариев — суммаризация, помощь с программированием, генерация структурированных аргументов функций и составление планов выполнения задач с инструментами. Для математических вопросов описан экспериментальный подход MathJSON: модель формулирует выражение, которое можно вычислить внешним средством. В карточке также отмечены данные для многоходового ролевого диалога. Для формата диалога используется шаблон Llama 2 chat. Модель выпущена под лицензией Apache-2.0. Автор характеризует её как экспериментальную; для MathJSON требуется внешний вычислитель, а сам подход описан как неполный. Карточка рекомендует низкую температуру генерации; ответы по контексту могут быть ненадёжны, поэтому следует явно просить модель не выдумывать сведения.

Bagel 7B v0.4 — текстовая диалоговая модель, созданная Джоном Дёрбином путём дообучения Mistral 7B. Это версия до DPO-обучения; автор отмечает её пригодность для ролевых диалогов. Модель рассчитана на генерацию ответов, выполнение инструкций, вопросы и ответы по контексту, творческое письмо, программирование, математику и вызов функций. В README описан широкий набор обучающих данных: от чатов и ролевых сценариев до задач по Python, SQL, естественным наукам и пониманию прочитанного. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она принимает и генерирует текст. Для диалогов предусмотрены форматы Vicuna, Llama 2, Alpaca и ChatML; автор указывает, что примеры обучения преобразовывались в несколько форматов. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии Apache 2.0. Обучающие данные охватывают несколько языков, но карточка не уточняет полный список языков, на которых качество проверено. Как и другие языковые модели, Bagel может выдавать неверные ответы; README также предупреждает о токсичных примерах в обучающих данных. Версия v0.4 не включает описанное в карточке DPO-дообучение.

Карточка модели Oscilla/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Карточка модели thoddnn/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

CerebrumDolphin-2.0-Mistral-7B-v0.2 — языковая модель на архитектуре Mistral, созданная объединением моделей cognitivecomputations/dolphin-2.8-mistral-7b-v02 и Locutusque/OpenCerebrum-2.0-7B методом SLERP с помощью mergekit. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов. В описании базовой модели упоминаются программирование, математика и естественно-научные вопросы; карточка этой модели не приводит отдельных результатов оценки качества. Доступны веса в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

meituan/DeepSeek-R1-Block-INT8 — это версия DeepSeek-R1 с блочным квантованием весов в формат INT8. Исходная модель DeepSeek-R1 разработана DeepSeek AI и предназначена для задач рассуждения, включая математику, программирование и другие сложные интеллектуальные сценарии. Она обучалась с применением крупномасштабного reinforcement learning и демонстрирует способности к самопроверке, рефлексии и построению длинных цепочек рассуждений. В данной версии веса исходного BF16-чекпойнта преобразуются в INT8 с использованием блочных масштабов для блоков размером 128×128. README не содержит точных сведений о числе параметров, архитектуре, поддерживаемых языках, размере контекста и мультимодальности. Для инференса предусмотрена интеграция с SGLang и требуется конфигурация с динамическим квантованием активаций и методом blockwise_int8. По приведённым результатам на A100 квантованная версия показала 95,8% на GSM8K и 87,1% на MMLU, а пропускная способность составила 4450,02 запросов в секунду против 3342,29 у BF16-варианта, что соответствует приросту до 33%; при этом заявлена отсутствие потери точности. Ограничения связаны с необходимостью совместимого оборудования и программного стека, а также с тем, что результаты приведены для конкретной конфигурации. Лицензия — MIT.

DeepSeek-R1-Distill-Llama-8B-GGUF — это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Llama-8B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, решения задач, требующих рассуждений, и локального использования в инструментах, совместимых с форматом GGUF. Модель дистиллирована из reasoning-модели DeepSeek-R1 и настроена на рассуждения и генерацию цепочек рассуждений. Заявлена поддержка контекста до 128k токенов. В основе используется архитектура Llama с размером 8B параметров; модель относится к текстовой модальности. Другие характеристики, включая перечень поддерживаемых языков и конкретный тип квантизации, в README не указаны. Лицензия и точные условия использования в README не указаны. Модель может быть полезна для локального запуска и задач, где важны рассуждения, однако, как и другие генеративные модели, способна выдавать неточные, вредные или неподходящие ответы; надёжность результатов требует проверки.

DeepSeek-R1-Distill-Qwen-14B-GGUF — квантизированная GGUF-версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной deepseek-ai и подготовленной компанией Second State Inc. Модель предназначена для текстового диалога и генерации ответов, а также может использоваться в локальных приложениях и сервисах на базе LlamaEdge. Для взаимодействия применяется шаблон запросов ChatML. Модель содержит 14 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации Q2_K–Q8_0 и f16 размером примерно от 5,77 до 29,5 ГБ. Варианты с меньшим числом бит требуют меньше памяти, но могут заметно терять в качестве; README рекомендует Q4_K_M как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с небольшими потерями качества. Модель рассчитана на работу через llama.cpp и LlamaEdge, включая запуск как локального чат-приложения или API-сервиса. Сильными сторонами являются большой контекст, возможность локального развертывания и широкий выбор компромиссов между размером, требованиями к ресурсам и качеством. Ограничения связаны с потерями качества при низкой квантизации и значительными требованиями к памяти для крупных вариантов. Сведения о поддерживаемых языках, точной архитектуре, назначении обучения и лицензии в README не указаны.

DeepSeek-V2-Lite-Chat-GGUF — это квантизированная GGUF-версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek-ai и подготовленной компанией Second State Inc. Модель предназначена для локального запуска и генерации ответов в формате чат-ассистента; в README также указана совместимость с LlamaEdge версии 0.12.3 и выше. Модель поддерживает контекст размером до 128 000 токенов и использует шаблон запросов deepseek-chat-2. В репозитории доступны варианты квантования от Q2_K до Q8_0, а также f16, с размером файлов примерно от 6,43 до 31,4 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Более сильное квантование уменьшает требования к памяти, но может заметно снижать качество ответов. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках и модальностях, поэтому эти характеристики нельзя уточнить. Модель распространяется по лицензии DeepSeek с обозначением other; ссылка на условия лицензии приведена в исходном описании.

MLX-версия модели DeepSeek-V4-Flash, преобразованная сообществом mlx-community из оригинальной модели deepseek-ai/DeepSeek-V4-Flash. Модель предназначена для генерации текста и может использоваться в сценариях, требующих локального запуска через библиотеку MLX и пакет mlx-lm. Это Mixture-of-Experts модель с 284 млрд общих параметров и 13 млрд активируемых параметров. Она поддерживает контекст длиной до 1 млн токенов. Данная версия представлена в 8-битном формате MLX; README не содержит сведений о поддерживаемых языках, модальностях, конкретных задачах, производительности и ограничениях. Модель распространяется по лицензии MIT. Для использования требуется MLX-совместимая среда и библиотека mlx-lm.

Deepthink-Reasoning-7B — дообученная PrithivMLmods языковая модель на базе Qwen2.5-7B-Instruct с 7,1 млрд параметров. Она предназначена для диалоговой генерации текста с упором на рассуждения, решение логических задач, математику и программирование; также подходит для творческого письма, следования инструкциям и формирования структурированных ответов, включая JSON. Модель использует архитектуру Qwen2 и принимает текстовые запросы, выдавая текст. В метаданных указан контекст до 32 768 токенов, тогда как README заявляет поддержку до 128 тысяч токенов и генерацию до 8 тысяч; это расхождение стоит учитывать при настройке. Карточка заявляет поддержку более 29 языков, включая русский и английский, но метаданные подтверждают английский. Модель распространяется по лицензии CreativeML Open RAIL-M. Заявления README об улучшениях в математике, коде, следовании инструкциям и длинном контексте не сопровождаются результатами оценивания, поэтому фактическое качество на конкретных задачах следует проверять отдельно.

Falcon-H1R-7B-GGUF — языковая модель для рассуждений, разработанная Technology Innovation Institute (TII) на основе Falcon-H1-7B-Base. Это авторегрессионная decoder-only модель с гибридной архитектурой, объединяющей Transformers и Mamba2. Модель обучалась с применением supervised fine-tuning на длинных цепочках рассуждений и последующего обучения с подкреплением методом GRPO. Модель предназначена для генерации текста, решения математических задач, программирования, следования инструкциям и задач общей логики. В README заявлена поддержка английского и многоязычного использования. Для запуска предусмотрен формат GGUF и совместимость с llama.cpp; рекомендуются temperature 0.6, top-p 0.95 и до 65536 новых токенов, что указывает на ориентацию на длинные рассуждения. Сильной стороной модели являются результаты на ряде тестов рассуждений, включая высокие показатели на AIME24, HMMT25, AMO-BENCH и MATH500, а также конкурентные результаты в программировании и общих задачах. При этом приведённые бенчмарки не гарантируют аналогичное качество в конкретных прикладных сценариях, а подробные сведения о размере контекстного окна, точном варианте квантования GGUF и ограничениях по языкам в README не указаны. Модель распространяется по лицензии Falcon-LLM License; условия доступны по ссылке, указанной разработчиком.

FuseChat-7B-VaRM — диалоговая языковая модель, разработанная Fanqi Wan и коллегами из Университета Сунь Ятсена. Она объединяет знания трёх чат-моделей: NH2-Mixtral-8x7B, NH2-Solar-10.7B и OpenChat-3.5-7B. В каталоге Hugging Face указаны архитектура Mistral с плотной моделью MistralForCausalLM и 7,1 млрд параметров; для инференса используется библиотека Transformers. Модель предназначена для генерации ответов в диалоге и выполнения общих текстовых инструкций, включая написание текстов, ролевые сценарии, рассуждения, математику и программирование. В README сообщается о среднем результате 8,22 на MT-Bench. Модель принимает текст и генерирует текст; заявленный контекст — 8192 токена, язык карточки — английский. Модель опубликована в форматах PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может давать ошибочные или непроверенные ответы; в предоставленных материалах отдельные дополнительные ограничения не описаны.

FuseAI/FuseChat-Llama-3.2-3B-Instruct — диалоговая языковая модель семейства Llama, разработанная FuseAI в рамках серии FuseChat-3.0. Это плотная авторегрессионная модель с 3,2 млрд параметров и контекстом до 131 072 токенов, предназначенная для генерации текста в ответ на инструкции и диалоговые запросы. Модель построена на основе Llama-3.2-3B-Instruct и улучшена методом неявного слияния возможностей нескольких крупных языковых моделей. Обучение включало supervised fine-tuning на лучших ответах и direct preference optimization на предпочтительных и менее предпочтительных ответах, сформированных с участием более крупных моделей. В карточке описаны улучшения для общего диалога, следования инструкциям, математики, программирования и китайского языка. Модель принимает текст и генерирует текст. В репозитории указаны веса Safetensors; метаданные не содержат сведений о лицензии, поэтому условия использования следует сверить с карточкой Hugging Face и лицензией базовой модели. Описание серии сообщает об улучшениях на бенчмарках, но приведённые количественные результаты относятся к отдельной конфигурации Llama-3.1-8B и не должны переноситься на эту версию 3B.

FuseMix-3.2-3B — объединённая языковая модель, опубликованная bunnycore и созданная с помощью mergekit методом passthrough на основе FuseAI/FuseChat-Llama-3.2-3B-Instruct и bunnycore/Llama-3.2-3B-General-lora_model. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров, рассчитанная на диалоговое взаимодействие и генерацию текста; заявленная длина контекста — 131 072 токена. Модель доступна в формате safetensors и использует библиотеку Transformers. Она подходит для диалогов, ответов на инструкции и генерации текста; описание базовой FuseChat также указывает на задачи математики и программирования. Языковые возможности с достаточной определённостью не перечислены, поэтому конкретные языки не указаны. Данных о лицензии в предоставленной карточке нет.

gghfez/gemma-3-4b-novision — текстовая версия Gemma 3 4B IT, созданная автором репозитория на основе google/gemma-3-4b-it. Из модели удалены компоненты обработки изображений, а мультимодальная архитектура преобразована в Gemma3ForCausalLM; сохранена генерация текста. Модель содержит 4 млрд параметров, использует Transformers и распространяется в формате safetensors. Модель предназначена для диалогов и генерации текста по текстовым запросам. Она наследует базовую модель Gemma 3 4B IT, а её контекст составляет до 131 072 токенов. Лицензия — Gemma. Поскольку компоненты зрения удалены, модель не принимает изображения; карточка не приводит отдельных оценок качества или дополнительных ограничений.

GLM-Z1-9B-0414 — компактная языковая модель семейства GLM-4 от Z.ai с 8,8 млрд параметров. Она предназначена для диалогов и генерации текста, включая математические рассуждения, решение задач на логику и код, а также общие запросы. Модель поддерживает интерфейс вызова инструментов и рассчитана на локальное развёртывание в условиях ограниченных ресурсов. Модель обучена на базе серии GLM-Z1 с дополнительной подготовкой для рассуждений; README отмечает применение холодного старта и расширенного обучения с подкреплением на задачах математики, кода и логики. Контекст составляет 32 768 токенов. Указаны китайский и английский языки. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Для длинных входов свыше 8 192 токенов README рекомендует при необходимости включать YaRN; статическое масштабирование может немного ухудшить результаты на коротких текстах. Модель выпущена под лицензией MIT.

GPT-5.6 Terra Pro — вариант GPT-5.6 Terra от OpenAI, работающий с параметром reasoning.mode, установленным в значение pro. Он предназначен для получения более качественных ответов на сложные задачи. В карточке модели не приведены сведения об архитектуре, размере, модальностях, языках или лицензии.

QuantFactory/granite-7b-instruct-GGUF — квантизированная версия instruct-модели IBM Granite-7B-Instruct, созданная с использованием llama.cpp. Базовая модель — ibm/granite-7b-base; исходная модель разработана IBM Research и обучена с применением метода LAB (Large-scale Alignment for chatBots), использующего синтетические данные от Mixtral-8x7B-Instruct в качестве учителя. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и других текстовых сценариях. Указанный язык — английский. Модель содержит около 7 млрд параметров; формат GGUF и квантизация ориентированы на более эффективный запуск с совместимыми инструментами и меньшими требованиями к памяти. В карточке не указаны размер контекстного окна, конкретный вариант квантизации, поддерживаемые модальности помимо текста и точные требования к аппаратному обеспечению. К сильным сторонам относятся использование структурированной таксономии задач, синтетической генерации данных, поэтапного обучения и replay buffer для добавления знаний и навыков с уменьшением риска катастрофического забывания. В приведённых тестах Granite-7b-lab получил средний результат 6,69 на MTBench и 51,91 на MMLU (5-shot), однако эти показатели относятся к исходной LAB-модели и не обязательно напрямую характеризуют данный квантизированный вариант. Модель распространяется по лицензии Apache-2.0.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная версия языковой модели Hermes 2 Pro, созданной на базе Meta-Llama-3-8B командой NousResearch. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых систем и задач ассистирования, включая function calling и формирование структурированных ответов в JSON. Модель имеет около 8 млрд параметров, работает с текстом и ориентирована на английский язык. Она обучена с применением дообучения, DPO, RLHF, синтетических данных и дистилляции; в качестве набора данных указан OpenHermes-2.5. Для взаимодействия используется шаблон ChatML. Доступны варианты квантизации от Q8_0 до Q2 и IQ-квантов размером примерно от 2,75 до 8,54 ГБ, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Сильными сторонами являются поддержка диалогового режима, function calling, JSON-ответов и возможность локального запуска через совместимые инструменты, включая llama.cpp. Более агрессивная квантизация уменьшает требования к памяти, но может снижать качество генерации; точные ограничения контекстного окна и результаты бенчмарков в представленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

Hyper-Yi-1.5-9B — объединённая плотная авторегрессионная языковая модель семейства Yi-1.5, опубликованная bunnycore. Она создана методом Model Stock с помощью mergekit на основе 01-ai/Yi-1.5-9B и объединяет веса четырёх вариантов Yi-1.5-9B, включая модели для инструкций и чата. Модель содержит 8,6 млрд параметров, построена на архитектуре LlamaForCausalLM и рассчитана на генерацию текста с контекстом до 4096 токенов. Модель предназначена для диалогов и генерации ответов по текстовым инструкциям; базовая модель также ориентирована на рассуждения, математику и программирование. В репозитории указаны веса safetensors и библиотека Transformers. Сведения о лицензии и языках в предоставленных источниках отсутствуют.

InternLM2-Base-20B — базовая языковая модель второго поколения InternLM, разработанная командой InternLM. Это плотная авторегрессионная модель на 19,3 млрд параметров для генерации и продолжения текста; она предназначена прежде всего для адаптации к предметным областям и может служить основой для последующего дообучения. Репозиторий содержит веса PyTorch, а заявленная длина контекста составляет 32 768 токенов. Модель рассчитана на работу с длинными текстами и демонстрирует способности к рассуждениям, математике и программированию. В README заявлена поддержка входов до 200 000 символов и приведены результаты оценивания InternLM2-20B на бенчмарках, включая MMLU, AGIEval и BBH; этот показатель длины в символах не следует смешивать с контекстом в 32 768 токенов из метаданных. Карточка описывает семейство InternLM2, но не перечисляет конкретные языки обучения или поддержки. Модель может генерировать предвзятый, дискриминационный или иной вредоносный текст, поэтому её ответы требуют проверки. Код распространяется по Apache-2.0; веса открыты для академических исследований, а для коммерческого использования требуется запросить бесплатную лицензию.

Menlo/Jan-nano-gguf — это квантизированная версия языковой модели Jan Nano, разработанной в экосистеме Jan авторами Alan Dao и Bach Vu Dinh. Модель дообучена на архитектуре Qwen3 и предназначена для генерации текста, работы с инструментами и function calling, а также исследовательских задач и обработки информации. Формат GGUF ориентирован на эффективный локальный запуск, включая устройства с ограниченными ресурсами и встраиваемые среды. Ключевыми особенностями модели являются компактность, сниженные требования к VRAM, поддержка интеграции с инструментами и увеличенный контекст, однако точный размер модели, объём контекстного окна, поддерживаемые языки и перечень модальностей в предоставленных данных не указаны. Jan Nano является non-thinking model, поэтому её не следует рассматривать как модель с отдельным режимом глубокого рассуждения. Ограничения и результаты сравнительных тестов также не приведены. Модель распространяется по лицензии Apache-2.0.

Jantrit-7B — языковая модель на архитектуре Mistral, созданная автором репозитория с помощью LazyMergekit путём слияния OpenHermes-2.5-Mistral-7B и Dolphin-2.6-Mistral-7B методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; заявленная длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст. Базовые модели предназначены для общения, генерации текста и помощи с кодом, однако README не приводит отдельной оценки качества Jantrit-7B. Сведения о лицензии в предоставленных данных отсутствуют.

T145/KRONOS-8B-V5 — объединённая языковая модель, созданная автором репозитория методом TIES с помощью mergekit. В качестве основы использована unsloth/Meta-Llama-3.1-8B; в объединение также вошли mukaj/Llama-3.1-Hawkish-8B, T145/KRONOS-8B-V1-P2, T145/KRONOS-8B-V1-P3 и unsloth/Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, рассчитанная на генерацию текста и диалоги. Она принимает текст и генерирует текст, поддерживает интерфейс вызова инструментов и контекст до 131 072 токенов. Карточка приводит результаты Open LLM Leaderboard, включая среднее значение 25,43 и IFEval 54,05; они характеризуют оценивание, но сами по себе не гарантируют качество в конкретных задачах. Лицензия в предоставленных данных не указана. Как и другие генеративные языковые модели, она может выдавать неточные или неподходящие ответы; результаты оценивания ограничены указанными тестами.

duyntnet/Llama-3.1-SuperNova-Lite-imatrix-GGUF — набор GGUF-квантизаций модели Llama-3.1-SuperNova-Lite, разработанной Arcee.ai на основе архитектуры Llama-3.1-8B-Instruct. Модель предназначена для генерации текста, выполнения инструкций и широкого спектра прикладных задач, где важны высокая производительность и сниженные требования к ресурсам. Она может использоваться через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель содержит около 8 млрд параметров и представляет собой дистиллированную версию Llama-3.1-405B-Instruct: при обучении использовались офлайн-логиты крупной 405B-модели и набор инструкционных данных, созданный с помощью EvolKit. Заявлены сильные стороны в следовании инструкциям, производительности на бенчмарках и адаптации к предметным областям при компактном размере. В README указан английский язык; другие языки, размер контекста и точные характеристики отдельных квантизаций не приведены. Репозиторий содержит именно квантизированные варианты в формате GGUF с использованием imatrix, поэтому фактические требования к памяти и качество зависят от выбранной версии. Лицензия обозначена как other, но её конкретные условия в README не раскрыты.

Это дообученная модель генерации текста artificialguybr на базе Meta Llama 3.2 1B, настроенная на наборе инструкций и диалогов OpenHermes-2.5. Она построена на плотной авторегрессионной архитектуре LlamaForCausalLM и содержит около 1,2 млрд параметров; заявленная длина контекста — 131 072 токена. Модель принимает и генерирует текст, включая код, и рассчитана прежде всего на английский язык, с возможностью работы на других языках Llama 3.2. Модель предназначена для диалогового помощника и агентных сценариев: следования инструкциям, поиска знаний, суммаризации и переформулирования запросов. Компактный размер упрощает запуск по сравнению с крупными моделями, но качество и надёжность могут быть ограничены размером базовой модели и данными дообучения. Возможны смещения и неподходящие ответы; для чувствительных сценариев необходима проверка результатов. Лицензия — Llama 3.2 Community License (llama3.2), с соблюдением её условий и Acceptable Use Policy.

RedHatAI/Llama-3.2-3B-Instruct-FP8 — языковая модель для генерации текста и ассистентского диалога, разработанная Neural Magic на базе Meta Llama-3.2-3B-Instruct. Модель принимает текст и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Она предназначена для исследовательского и коммерческого использования в многоязычных чат- и текстовых приложениях. Модель содержит около 3 миллиардов параметров и использует архитектуру Llama-3. Для весов и активаций применена FP8-квантизация линейных операторов в трансформерных блоках: веса квантизированы по каналам, активации — по всему тензору. Это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных операций. В README указана длина контекста до 8192 токенов для развертывания через vLLM. Сильной стороной модели является близкая к неквантизированной версии точность: на перечисленных бенчмарках заявлено восстановление результатов в пределах 0,7%. FP8-формат делает модель более удобной для эффективного инференса, в частности с использованием vLLM и OpenAI-совместимой серверной подачи. Ограничения включают меньший размер и потенциально более низкие возможности по сравнению с крупными моделями Llama, а также зависимость качества от языкового сценария и квантизации; сведения о специализированных ограничениях безопасности в README не приведены. Модель распространяется по лицензии Llama3.2.