II.7DevOps, облако и эксплуатация IT-систем

FireFunction v2 — модель для генерации текста и вызова функций, разработанная Fireworks AI и представленная в формате GGUF в репозитории bartowski. Это квантизированная версия исходной модели firefunction-v2, подготовленная с использованием llama.cpp и метода imatrix. Модель предназначена для интеграции с приложениями, где ассистент должен отвечать обычным текстом или выбирать и вызывать одну или несколько внешних функций на основе запроса пользователя. Модель поддерживает сценарии function calling: формирование вызовов функций в формате JSON, выбор подходящих функций и передачу аргументов согласно заданной JSON-схеме. В README приведён специальный шаблон промпта с системными инструкциями для принятия решения о вызове функции. Доступны варианты квантования от IQ1_M до Q8_0, различающиеся размером файла и ожидаемым качеством; рекомендуются, в частности, Q6_K, Q5_K_M и Q4_K_M. Квантизация уменьшает требования к ресурсам, но низкобитные варианты могут заметно терять в качестве. В README не указаны размер исходной модели, архитектура, максимальная длина контекста, поддерживаемые языки и результаты сравнительных тестов, поэтому эти характеристики нельзя надёжно определить. Модель распространяется по лицензии llama3.

AMD разработала эту модель как 4-битную квантизированную версию Gemma 4 12B IT от RedHatAI. Она предназначена для генерации текста и CPU-инференса на процессорах AMD EPYC, прежде всего в Linux-среде с использованием vLLM и оптимизаций ZenDNN. Указанный язык — английский. Модель построена на архитектуре Gemma4UnifiedForConditionalGeneration и имеет размер 12 миллиардов параметров в исходной версии. Для весов применяется GPTQ-квантизация W4A16: веса хранятся в формате INT4, симметрично и по группам размера 128, а активации остаются в BF16. Визуальные и аудиокомпоненты, мультимодальный проектор и lm_head сохранены в BF16, однако в карточке явно описан сценарий с текстовым вводом и выводом. Калибровка выполнена на 128 примерах датасета ultrachat_200k при максимальной длине последовательности 2048 токенов; в конфигурации оценки использовался максимальный контекст 4096 токенов. Ключевое преимущество модели — снижение требований к памяти и возможность оптимизированного инференса на AMD CPU при сохранении высокой близости к BF16-базовой версии: на GSM8K она получила 0,9249 против 0,9401 у BF16, то есть восстановила 98,38% результата. Ограничения связаны с зависимостью от конкретного программного стека и аппаратной платформы: заявлена совместимость с AMD EPYC, ZenDNN 6.1.0, ZenTorch 2.11.0.3, PyTorch 2.11.0, LLM Compressor 0.12.0 и vLLM 0.26.0. Для оптимальной производительности требуется настройка OpenMP через LD_PRELOAD. Модель распространяется по лицензии Gemma.

Olafangensan/GLM-4.7-Flash-heretic — разговорная текстовая модель семейства GLM-4.7-Flash, созданная удалением части отказов методом ablation (abliteration). В README приведено сравнение с исходной моделью zai-org/GLM-4.7-Flash: частота отказов в указанной оценке снизилась с 50 до 15 из 100, а KL-дивергенция составила 0,0039. Метаданные указывают архитектуру GLM-4 MoE Lite, 4,1 млрд параметров и контекст до 202 752 токенов; README описывает исходную GLM-4.7-Flash как модель MoE 30B-A3B. Модель предназначена для генерации текста в диалоге и локального развертывания; среди возможных сценариев — ответы на вопросы, написание текстов и помощь в программировании. Исходная карточка приводит результаты на математических, научных и кодовых бенчмарках, однако они относятся к GLM-4.7-Flash и не подтверждают напрямую качество heretic-версии. В метаданных указаны английский и китайский языки, формат safetensors и библиотека Transformers; README также упоминает запуск через vLLM и SGLang. Лицензия — MIT. Уменьшение числа отказов не означает отсутствия отказов или гарантии безопасности и качества; опубликованные сравнительные замеры ограничены приведённой оценкой и не заменяют независимую проверку модели.

WhiskyAKM/LFM2.5-2.6B-NVFP4-GGUF — квантованная GGUF-сборка текстовой модели Liquid AI LFM2.5-2.6B, подготовленная для локального запуска через llama.cpp на CPU и GPU. В основе лежит LiquidAI/LFM2.5-2.6B-Base; в карточке указаны архитектура LFM2, около 2,69 млрд параметров и гибридная структура из 30 слоёв, включая свёрточные слои и GQA. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и агентных сценариев с вызовом инструментов. Она поддерживает контекст до 131 072 токенов и ориентирована на эффективный запуск на устройстве. Файл NVFP4 использует 4-битное представление для уменьшения требований к памяти. Репозиторий указывает лицензию `other`; конкретные условия следует сверять с карточкой базовой модели и файлами лицензии. В README заявлены сильные стороны в использовании инструментов и длинном контексте, но независимые результаты оценки не приведены.

Карточка модели NostraEmpire/mirror-deepseek-r1-distill-qwen-32b на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

OpenThinker3-7B-F32-GGUF — текстовая модель рассуждений на 7 млрд параметров, опубликованная prithivMLmods в формате GGUF. Это вариант OpenThinker3-7B, дообученной на наборе OpenThoughts3-1.2M методом SFT; каталог указывает семейство архитектуры Qwen2. Модель предназначена для генерации ответов и диалогового использования, в частности для математических, программных и научных задач. Файлы доступны в точностях F32, F16 и BF16; README рекомендует запускать их через llama.cpp или совместимые движки. Карточка заявляет улучшение относительно предыдущих версий OpenThinker и высокие результаты среди моделей рассуждений класса 7B, однако независимые условия и метрики сравнения не приведены. Модель принимает текст и генерирует текст, поддерживаемый язык по карточке — английский. Лицензия — Apache-2.0.

orca_mini_v2_13b — языковая модель Pankaj Mathur, созданная в сотрудничестве с Eric Hartford на основе LLaMA-13B. Это плотная авторегрессионная модель с 12,9 млрд параметров, предназначенная для генерации текста и выполнения инструкций. Для обучения использованы наборы WizardLM, Alpaca и Dolly-V2, подготовленные с подходами из исследовательской работы Orca; в README также отмечено улучшение генерации кода по сравнению с предыдущей версией orca_mini_13b. Модель рассчитана на текстовые запросы и ответы на английском языке; максимальная длина контекста составляет 2048 токенов. Автор публикует результаты оценивания на наборах задач ARC и HellaSwag и указывает на uncensored-настройку. Модель распространяется в форматах PyTorch и safetensors по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование.

Ornith 1.0 35B AEON Ultimate Uncensored GGUF — это набор квантованных GGUF-версий языковой модели AEON-7/Ornith-1.0-35B-AEON-Ultimate-Uncensored-BF16. Квантизация выполнена пользователем vcruz305 из исходных весов BF16 с применением калибровки importance matrix. Модель предназначена для генерации текста, рассуждений и программирования и запускается преимущественно через llama.cpp. Модель имеет архитектуру Qwen3 MoE (mixture of experts) и заявленный размер 35B параметров. Доступны варианты с разными уровнями квантования — от Q8_0 до IQ1_M — с размером файлов примерно от 8,2 до 35 ГБ. Предлагаются стандартные версии для обычной авторегрессионной генерации и MTP-grafted версии со встроенным блоком Multi-Token Prediction для speculative decoding. В MTP-варианты добавлены 785 тензоров из Qwen/Qwen3.5-35B-A3B; заявленное ускорение генерации в отдельных тестах достигает 1,8 раза. В README приведены конфигурации с контекстом до 32768 токенов, однако поддерживаемые языки и точный общий объём параметров не уточнены. Сильные стороны модели — широкий выбор квантований для GPU с 8–48 ГБ памяти, поддержка MoE и возможность ускоренной генерации через встроенный MTP-блок. Ограничения включают зависимость от совместимой версии llama.cpp для MTP-режима, компромиссы качества при низких уровнях квантования и отсутствие подробных данных о языковом покрытии, качестве на бенчмарках и безопасности uncensored-настройки. Указана нестандартная лицензия aeon-ultimate; подробные условия следует уточнять по ссылке на лицензию или базовую модель.

Phi-3-mini-mango-1 — экспериментальная instruct-дообученная языковая модель Rhys Jones на базе Microsoft/Phi-3-mini-4k-instruct. Она предназначена для диалоговой генерации текста и кода, а также для изучения свойств и поведения Phi-3 после дообучения. Модель имеет плотную архитектуру Phi-3, около 3,7 млрд параметров и контекст до 4096 токенов; принимает текст и генерирует текст. Карточка указывает на использование того же формата чата, что и у Phi-3 Mini-4K-Instruct, без системного промпта. Это первая экспериментальная версия дообучения. Она распространяется в формате Safetensors, а отдельная версия GGUF доступна в другом репозитории. Лицензия — MIT. Для запуска README рекомендует Transformers версии 4.41.0 или новее.

Карточка модели 1024m/PHI-4-B50 на Hugging Face совпадает с карточкой 1024m/HPhi-4-00-fp16, поэтому описание составлено по ней. 1024m/HPhi-4-00-fp16 — дообученная 1024m модель для генерации текста и диалогов. Она основана на unsloth/phi-4 и обучалась с использованием Unsloth и библиотеки TRL; архитектура в метаданных указана как LlamaForCausalLM, плотная, размер — 14,1 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 16 384 токенов и ориентирована на английский язык. Модель подходит для ведения диалога и генерации англоязычных ответов, рассуждений и кода. В репозитории представлены веса в формате safetensors. Лицензия — Apache-2.0.

Phi-4-reasoning-plus — открытая по весам языковая модель Microsoft Research, дообученная на базе microsoft/phi-4 с помощью supervised fine-tuning на цепочках рассуждений и последующего обучения с подкреплением. Это плотный decoder-only Transformer семейства Phi-3 с 14,1 млрд параметров и контекстом до 32 768 токенов; модель принимает текст и генерирует текст в диалоговом формате. Модель предназначена прежде всего для рассуждений и решения задач по математике, науке и программированию, а также для использования в генеративных ИИ-приложениях с ограничениями по памяти и вычислениям. Основной язык — английский. Обучение с подкреплением повышает точность, но в среднем модель генерирует примерно на 50% больше токенов, что увеличивает задержку. Microsoft предупреждает, что модель специально разработана и оценивалась для математических рассуждений, поэтому для других применений нужно отдельно проверять точность, безопасность и справедливость ответов. Модель распространяется по лицензии MIT.

Карточка модели Openintelligent123/Phi-4-reasoning-plus на Hugging Face совпадает с карточкой microsoft/Phi-4-reasoning-plus, поэтому описание составлено по ней. Phi-4-reasoning-plus — открытая по весам языковая модель Microsoft Research, дообученная на базе microsoft/phi-4 с помощью supervised fine-tuning на цепочках рассуждений и последующего обучения с подкреплением. Это плотный decoder-only Transformer семейства Phi-3 с 14,1 млрд параметров и контекстом до 32 768 токенов; модель принимает текст и генерирует текст в диалоговом формате. Модель предназначена прежде всего для рассуждений и решения задач по математике, науке и программированию, а также для использования в генеративных ИИ-приложениях с ограничениями по памяти и вычислениям. Основной язык — английский. Обучение с подкреплением повышает точность, но в среднем модель генерирует примерно на 50% больше токенов, что увеличивает задержку. Microsoft предупреждает, что модель специально разработана и оценивалась для математических рассуждений, поэтому для других применений нужно отдельно проверять точность, безопасность и справедливость ответов. Модель распространяется по лицензии MIT.

mergekit-community/Qwen2-1.5B-RHSD — объединённая модель на архитектуре Qwen2, созданная сообществом с помощью mergekit методом Model Stock. В основе объединения лежит trollek/Qwen2-1.5B-Instruct-Abliterated; также использованы Replete-AI/Replete-Coder-Qwen2-1.5b, cognitivecomputations/dolphin-2.9.3-qwen2-1.5b, macadeliccc/Samantha-Qwen2-1.5B и M4-ai/Hercules-5.0-Qwen2-1.5B. Модель содержит 1,5 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Модель использует плотную архитектуру Qwen2 с классом Qwen2ForCausalLM, работает через библиотеку Transformers и хранится в формате safetensors. Заявленная длина контекста — 32 768 токенов. Объединённые модели ориентированы на инструкции, программирование и диалог, однако README не приводит оценок качества или подробных результатов тестирования. Язык модели отдельно не описан в карточке и метаданных. Условия лицензирования в предоставленных данных не указаны.

MMOPD/Qwen3-4B-OT3-2ep — плотная языковая модель семейства Qwen3, дообученная командой проекта MMOPD на наборе OpenThoughts3-1.2M. Это чекпойнт после двух эпох обучения на трассах рассуждений по математике, программированию и науке; в проекте его также используют как основу для специализированных моделей и экспериментов с дистилляцией. Модель содержит 3,7 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации ответов с пошаговым рассуждением, в том числе при решении математических задач, написании кода и ответах на научные вопросы. Она использует шаблон чата Qwen3 и формат thinking; для работы с ним README рекомендует включать `enable_thinking=True` и использовать сэмплирование. В карточке приведены результаты тестов на общих и доменных бенчмарках, включая медицинские и финансовые наборы, но это не означает специализацию модели в этих областях. Лицензия — Apache-2.0.

Sky-T1-32B-Flash-GGUF — GGUF-квантизированная версия текстовой генеративной модели Sky-T1-32B-Flash, разработанной NovaSky-AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio. Модель имеет 32 миллиарда параметров и ориентирована на работу с английским языком. В репозитории доступны варианты от BF16 и Q8_0 до низкобитных Q2_K и IQ2_M, поэтому можно выбирать между качеством ответов, требованиями к памяти и скоростью инференса. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q5, Q6 и близкие к ним; более компактные версии подходят для систем с ограниченным объёмом RAM, но обеспечивают более низкое качество. Ключевые сведения об архитектуре, размере контекста, мультимодальности и специализированных возможностях в README не указаны. Модель является текстовой, поэтому данные о поддержке изображений или других модальностей отсутствуют. Для использования требуются совместимое ПО и значительные вычислительные ресурсы, особенно для BF16 и высококачественных квантизаций. Распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-GGUF — квантованная версия причинной языковой модели Qwen3-235B-A22B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, написания кода, творческих задач, ролевого общения, перевода и создания агентных приложений с интеграцией внешних инструментов. Это MoE-модель общим объёмом 235 млрд параметров, из которых 22 млрд активируются при обработке запроса; 234 млрд параметров относятся к не-embedding части. Архитектура включает 94 слоя, 128 экспертов, 8 активных экспертов и Grouped-Query Attention с 64 Q- и 4 KV-головами. Модель поддерживает более 100 языков и диалектов, нативный контекст до 32 768 токенов и до 131 072 токенов с использованием YaRN. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. К сильным сторонам относятся переключение между режимами рассуждения и обычного ответа, развитые способности к математике, программированию, многошаговому рассуждению, диалогам и работе с инструментами. Ограничения связаны с большими требованиями к вычислительным ресурсам из-за общего размера модели, а использование YaRN на относительно коротких текстах может снижать производительность. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-72B-Instruct-GPTQ-Int4 — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen при Alibaba Cloud. Это каузальная текстовая модель для диалогов, генерации текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также формирования структурированных ответов, включая JSON. Модель поддерживает более 29 языков, среди которых английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Модель содержит 72,7 млрд параметров, из которых 70,0 млрд приходятся на неэмбеддинговую часть, и включает 80 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV attention; применяется GQA с 64 головами для Q и 8 для KV. Это GPTQ-квантизированная версия с точностью 4 бита, предназначенная для более экономичного развёртывания по сравнению с полноразмерной моделью. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако текущая конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется настройка YaRN. Сильные стороны модели — развитые возможности в кодировании и математике, улучшенное следование инструкциям, генерация длинных текстов, устойчивость к разнообразным системным промптам и работа со структурированными данными. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели, возможное снижение качества из-за 4-битного квантования и потенциальное ухудшение производительности на коротких текстах при статическом масштабировании YaRN. Модель распространяется по лицензии Qwen; точные условия определяются файлом лицензии в репозитории.

Qwen3-32B-GGUF — квантизированная версия крупной языковой модели Qwen3-32B, разработанной Alibaba Cloud. Это авторегрессионная causal language model для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Модель содержит 32,8 млрд параметров, из них 31,2 млрд не относятся к embedding, и включает 64 слоя. Используется Grouped-Query Attention: 64 головы для запросов и 8 для ключей и значений. Поддерживаются режимы thinking для сложного рассуждения и non-thinking для более быстрых общих диалогов; между ними можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN модель протестирована на контекстах до 131 072 токенов. Основные преимущества — сочетание рассуждения, следования инструкциям, многоязычности и агентских возможностей, а также возможность выбирать баланс между качеством рассуждений и скоростью ответа. Модель распространяется в форматах GGUF с вариантами квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что облегчает локальный запуск через llama.cpp или Ollama. Ограничения включают возможное снижение качества на коротких текстах при неподходящей статической настройке YaRN, риск повторов при неоптимальных параметрах генерации и потенциальное смешение языков при чрезмерном presence penalty. Лицензия — Apache-2.0.

unsloth/gemma-4-31B-it-unsloth-bnb-4bit — это 4-битная квантизированная версия instruction-tuned модели Gemma 4 31B, подготовленная Unsloth на базе google/gemma-4-31B-it и разработанная Google DeepMind. Модель относится к семейству открытых мультимодальных моделей Gemma 4 и предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений с выдачей текстового ответа. Модель использует плотную архитектуру с 30,7 млрд параметров, 60 слоями, словарём размером 262 тыс. токенов и гибридным механизмом внимания, сочетающим локальное скользящее окно на 1024 токена с глобальным вниманием. Контекстное окно составляет до 256 тыс. токенов. Поддерживаются текст и изображения; аудио для версии 31B не заявлено. Gemma 4 также поддерживает более 140 языков, режимы настраиваемого рассуждения, системные инструкции и нативный function calling. Ключевые преимущества — большой контекст, мультимодальное понимание, возможности рассуждения и кодирования, а также сниженные требования к памяти благодаря 4-битной квантизации. Ограничения включают возможную потерю точности по сравнению с полноразмерной версией и зависимость качества от совместимого программного обеспечения и оборудования для BNB 4-bit. Модель распространяется по лицензии Apache 2.0.

Granite-4.1-8B (FP8) — это FP8-версия 8-миллиардной инструкционной языковой модели Granite-4.1, разработанной командой Granite компании IBM. Модель предназначена для генерации текста, диалогов и использования в качестве основы AI-ассистентов и LLM-агентов, включая корпоративные сценарии. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation, программирование, вызовы функций, многоязычный диалог и Fill-In-the-Middle для кода. Базовая модель построена на decoder-only dense Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными embeddings. Для 8B-варианта указаны 40 слоёв, размер embedding 4096, 32 attention heads, 8 KV heads и контекст до 131072 токенов. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. FP8-квантизация ориентирована на более эффективное развёртывание при сохранении совместимости с инструментами text generation. Сильные стороны модели — улучшенные instruction following, tool calling, чат-возможности, генерация и объяснение кода, математическое рассуждение и поддержка длинного контекста. Ограничения включают возможное снижение качества на языках, отличных от английского, а также риск неточных, предвзятых или небезопасных ответов; IBM рекомендует проводить собственное тестирование безопасности и настройки под конкретные задачи. Модель распространяется по лицензии Apache 2.0.

casperhansen/llama-3.3-70b-instruct-awq — это AWQ-квантизированная версия языковой модели Llama 3.3 70B Instruct, разработанной Meta и подготовленной в формате AWQ с использованием AutoAWQ. Модель предназначена для многоязычного диалога, генерации текста и кода, рассуждений, решения математических задач, программирования и сценариев с использованием инструментов. Она работает только с текстом на входе и выходе. Модель построена на авторегрессионной оптимизированной архитектуре Transformer, имеет 70 миллиардов параметров, поддерживает Grouped-Query Attention (GQA) и контекст длиной до 128 тысяч токенов. Она обучена на более чем 15 триллионах токенов из общедоступных онлайн-данных, а instruction-версия дополнительно использует supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; дата отсечения знаний — декабрь 2023 года. Сильными сторонами модели являются большой контекст, многоязычность и высокие заявленные результаты в задачах следования инструкциям, программирования, математики и понимания текста. К ограничениям относятся текстовая модальность, статичный характер модели и фиксированная дата отсечения знаний; качество и безопасность ответов могут зависеть от конкретного применения и квантизации AWQ. Использование регулируется пользовательской коммерческой лицензией Llama 3.3 Community License Agreement.

Это GGUF-квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Meta и предназначенная для запуска с llama.cpp. Модель представляет собой авторегрессионную большую языковую модель на базе оптимизированной архитектуры Transformer. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности ответов. Модель работает только с текстом на входе и генерирует многоязычный текст и код. Она предназначена прежде всего для диалоговых ассистентов, генерации и обработки текста, программирования, синтетической генерации данных и дистилляции других моделей. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель содержит 70 млрд параметров, поддерживает Grouped-Query Attention и контекст длиной до 128 тысяч токенов. Данные обучения включают более 15 трлн токенов, срез знаний — декабрь 2023 года. Сильными сторонами являются большой контекст, многоязычный режим, поддержка кода и оптимизация для диалоговых сценариев. Это статическая модель, обученная на офлайн-данных, поэтому она не обладает актуальными знаниями после даты отсечения и может требовать проверки ответов. Репозиторий содержит квантизированный формат GGUF; для полной поддержки необходима llama.cpp версии 5e2727f или новее. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License и применимой Acceptable Use Policy.

Mistral-Large-Instruct-2411 — плотная большая языковая модель Mistral AI с 122,2 млрд параметров, представленная в ноябре 2024 года. Она предназначена для диалоговой генерации текста, сложных рассуждений, работы с кодом и задач с длинным контекстом. По сравнению с Mistral-Large-Instruct-2407 улучшены обработка длинного контекста, вызов функций и следование системным инструкциям. Модель поддерживает контекст до 131 072 токенов и многоязычную работу; карточка перечисляет английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Также заявлены структурированный вывод JSON, вызов функций и применение в сценариях RAG. Для запуска рекомендована библиотека vLLM; карточка указывает, что для инференса на GPU требуется более 300 ГБ видеопамяти. Модель выпущена Mistral AI по Mistral Research License, разрешающей использование и модификацию в некоммерческих целях. Это текстовая модель общего назначения; заявленные возможности и результаты зависят от сценария и развертывания.

RedHatAI/Qwen2.5-14B-Instruct-FP8-dynamic — производная FP8 dynamic-квантизованная версия Qwen2.5-14B-Instruct, опубликованная Red Hat AI. Исходная модель разработана командой Qwen и представляет собой инструкционно дообученную авторегрессионную языковую модель для генерации текста и диалогового взаимодействия. Модель предназначена для чат-ботов, следования инструкциям, генерации длинных и структурированных ответов, включая JSON, а также для задач программирования, математики, анализа таблиц и других текстовых сценариев. Это текстовая, не мультимодальная модель с архитектурой Qwen2ForCausalLM; в исходной версии около 14,7 млрд параметров. Заявлена поддержка контекста до 128K токенов и генерации до 8K токенов. Модель мультиязычная; среди явно указанных языков есть английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта RedHatAI — FP8 dynamic-квантизация, рассчитанная на уменьшение требований к памяти и ускорение инференса при сохранении назначения исходной instruct-модели. Ограничения включают типичные для языковых моделей риск ошибок, галлюцинаций и зависимости качества от формулировки запроса; конкретные результаты тестирования именно этой квантизованной версии в найденном репозитории не приведены. Для исходной Qwen2.5-14B-Instruct указана лицензия Apache 2.0; отдельная карточка модели RedHatAI лицензионные условия явно не описывает.

RedHatAI/Qwen2.5-32B-Instruct-FP8-dynamic — это опубликованная Red Hat AI FP8-квантизованная версия Qwen2.5-32B-Instruct, исходная модель разработана командой Qwen компании Alibaba. Она предназначена для диалогов, следования инструкциям, генерации текста и структурированных ответов, а также задач программирования, математики и работы с длинными текстами. Модель относится к causal language models и поддерживает только текстовые входы и выходы. В основе используется архитектура Qwen2ForCausalLM с 64 слоями, 40 attention heads для Q и 8 для KV по схеме GQA; размер исходной модели составляет около 32,5 млрд параметров. Репозиторий RedHatAI содержит формат compressed-tensors с FP8-представлением весов и динамическим квантованием активаций; в конфигурации указано максимальное положение на 32 768 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский, английский, китайский и другие. Сильные стороны — сочетание крупного размера, улучшенных возможностей следования инструкциям, программирования, математики и более экономичного инференса благодаря FP8-квантизации. Ограничения включают возможные потери качества по сравнению с полной точностью, необходимость совместимого ПО для compressed-tensors и отсутствие отдельной карточки модели с подробными бенчмарками и описанием ограничений. Для исходной Qwen2.5-32B-Instruct указана лицензия Apache 2.0; отдельная лицензия производного репозитория RedHatAI в найденных материалах явно не указана.

unsloth/Qwen3-14B-128K-GGUF — формат GGUF модели Qwen3-14B, опубликованный Unsloth на основе модели Qwen/Qwen3-14B. Это причинная языковая модель с 14,8 млрд параметров, предназначенная для генерации текста, диалогов, следования инструкциям, математических рассуждений, программирования, творческого письма и агентских сценариев с интеграцией внешних инструментов. Модель поддерживает переключение между режимом рассуждений и нерассуждающим режимом, что позволяет выбирать между качеством решения сложных задач и более эффективным общим диалогом. Указана поддержка более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Архитектура включает 40 слоёв и Grouped-Query Attention с 40 головами запросов и 8 головами ключей и значений. Базовый контекст составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Сильными сторонами являются развитые способности к рассуждениям, коду, многошаговому диалогу, следованию инструкциям и работе с инструментами, а также возможность локального запуска в формате GGUF. Ограничения и требования к аппаратному обеспечению для этой конкретной сборки в README подробно не указаны; характеристики длинного контекста зависят от корректной поддержки YaRN и используемого программного обеспечения. Лицензия — Apache-2.0.

unsloth/Qwen3-8B-FP8 — FP8-квантизированная версия языковой модели Qwen3-8B, разработанной командой Qwen и опубликованной в репозитории Unsloth. Это авторегрессионная causal language model для генерации текста, диалогов, следования инструкциям, математических задач, программирования, рассуждений, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding, и включает 36 слоёв. Используется Grouped-Query Attention: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов. Модель допускает переключение между режимами thinking для сложных задач и рассуждений и non-thinking для более быстрых обычных ответов. FP8-квантизация выполнена методом fine-grained FP8 с размером блока 128, что ориентировано на повышение эффективности инференса. Модель совместима с Transformers, SGLang и vLLM, однако для распределённого инференса через Transformers указаны известные ограничения. Лицензия — Apache 2.0.

DeepSeek-V4-Pro — крупная языковая модель семейства DeepSeek-V4, разработанная DeepSeek AI. Это предварительная версия модели с архитектурой Mixture-of-Experts (MoE), предназначенная для работы с текстом, задачами рассуждения, программированием, обработкой больших документов и агентскими сценариями. Модель поддерживает контекст длиной до одного миллиона токенов. Модель содержит около 1,6 трлн параметров, из которых 49 млрд активируются при обработке отдельного токена. Она использует гибридную архитектуру внимания с механизмами Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections для повышения стабильности передачи сигналов. Обучение проводилось более чем на 32 трлн токенов с последующей донастройкой посредством SFT, reinforcement learning с GRPO и on-policy distillation. Доступна в смешанной точности FP4 и FP8: параметры MoE-экспертов используют FP4, а большинство остальных параметров — FP8. К сильным сторонам относятся эффективная работа с очень длинным контекстом, высокая ёмкость модели, развитые возможности в области знаний, программирования, рассуждений и агентских задач. По сравнению с DeepSeek-V3.2 в режиме контекста на один миллион токенов заявлено существенное снижение вычислительных затрат и объёма KV-кэша. Ограничения включают чрезвычайно большой общий размер модели и, как следствие, высокие требования к инфраструктуре; конкретные поддерживаемые языки и подробные системные требования в README не указаны. Модель распространяется по лицензии MIT.

Kimi K2 Thinking — открытая reasoning-модель, разработанная Moonshot AI. Она предназначена для задач, требующих глубокого пошагового рассуждения и длительного автономного взаимодействия с инструментами: исследований, поиска информации, программирования, написания текстов и многоэтапных агентских рабочих процессов. Модель умеет чередовать рассуждение и вызовы функций, сохраняя целенаправленное поведение примерно на протяжении 200–300 последовательных вызовов инструментов. Модель построена на архитектуре Mixture-of-Experts (MoE) и содержит около 1 трлн параметров, из которых 32 млрд активируются для обработки одного токена. Архитектура включает 61 слой, 384 эксперта с выбором 8 экспертов на токен, один общий эксперт, 64 attention heads, механизм внимания MLA и функцию активации SwiGLU. Размер словаря составляет 160 тыс. токенов, контекстное окно — 256 тыс. токенов. Модель использует нативную INT4-квантизацию, заявленную как обеспечивающую двукратное ускорение в низколатентном режиме и снижение требований к памяти без потери качества. Сильные стороны модели — глубокое рассуждение, стабильное использование инструментов на длинных дистанциях, работа с большими контекстами и высокие результаты в математических, исследовательских, поисковых и coding-бенчмарках. README не указывает поддерживаемые естественные языки и не содержит подробностей о мультимодальности, поэтому модель следует считать текстовой в рамках доступных данных. Также заявленные преимущества и результаты зависят от сценария, наличия инструментов и настроек оценки. Модель распространяется по лицензии Modified MIT.

Muse Glimmer-30B — каузальная языковая модель примерно на 29,6 млрд параметров, разработанная Meta Superintelligence Lab и представленная в версии unsloth компанией Unsloth. Модель основана на плотном каузальном Transformer с выделенным энкодером восприятия и предназначена для локального запуска на пользовательском оборудовании без облачной инфраструктуры и сетевого доступа. Данная версия использует 4-битную квантизацию и базовую модель meta-models/Muse-Glimmer-30B. Модель ориентирована на автономные агентные сценарии: многошаговое рассуждение, выполнение задач от начала до конца, вызов инструментов, написание и отладку кода, работу в многоходовых диалогах и восстановление после ошибок инструментов. Она принимает текст и изображения, поэтому может анализировать скриншоты, графики и документы, а генерирует текст. Поддерживаются различные уровни усилий рассуждения, совместимость с агентскими оркестраторами и более 100 языков. Архитектура включает 52 слоя, скрытое измерение 6656, механизм GQA с 32 головами запросов и 2 KV-головами, SwiGLU, локально-глобальный шаблон внимания и контекст длиной от 131 072 токенов. Энкодер восприятия — ViT-G/14 примерно на 1,8 млрд параметров; на одно изображение допускается до 4096 визуальных токенов. Дата отсечения знаний — 4 января 2026 года. Сильные стороны модели — сочетание мультимодального понимания, инструментального использования, длительного планирования и восстановления после сбоев, а также возможность запуска на потребительском оборудовании. Квантизация позволяет разместить языковую часть менее чем в 20 ГБ и ориентироваться на конфигурации с 24 или 32 ГБ памяти, однако для полноценной работы также необходимы память под KV-кэш, энкодер восприятия и speculative decoding drafter. Версия распространяется по лицензии Apache 2.0.