II.7DevOps, облако и эксплуатация IT-систем

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF — квантованная GGUF-версия модели Qwen3.8-27B-Cold-Fusion-GAIN-V1.1, разработанная DavidAU при участии Nightmedia и TeichAI. Модель обучалась с использованием авторского метода COLD FUSION, объединяющего GAIN и инструменты Unsloth, а также датасетов Polar-STRICT-Datasets и Reasoning-STRICT-Datasets. Заявленные языки — английский и китайский; лицензия — Apache-2.0. Модель предназначена для широкого спектра сценариев: диалогов, следования инструкциям, решения задач, рассуждений, программирования, творческого письма, создания историй и ролевых взаимодействий. Она поддерживает работу с изображениями и текстом, а также три режима рассуждения — xhigh, medium и low. По заявлению разработчика, настройка направлена на сокращение объёма внутренних рассуждений и ускорение генерации при сохранении подробности ответов и качества решения задач. Поддержка MTP дополнительно ориентирована на повышение скорости вывода. Ключевые характеристики включают 27 миллиардов параметров, архитектурное семейство Qwen3.8 и форматы GGUF с различными уровнями квантования. Разработчик заявляет, что 4-битные и 8-битные варианты сохраняют около 99% производительности BF16, однако эти показатели требуют самостоятельной проверки на конкретных задачах. Ограничения включают возможные особенности и непредсказуемость изменённого поведения рассуждений, а также отсутствие в представленном README сведений о размере контекстного окна, точной архитектуре, системных требованиях и конкретных вариантах квантования.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF-etheroi — это квантизированная GGUF-версия модели на базе DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1. Модель создана с применением метода COLD FUSION, объединяющего GAIN и инструменты Unsloth. В разработке и тестировании участвовали автор настройки, Nightmedia и TeichAI; репозиторий опубликован пользователем developerjeremylive. Заявлены поддержка английского и китайского языков, а также мультимодальность с обработкой изображений. Модель предназначена для широкого круга сценариев: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, создания историй, ролевого взаимодействия и работы с различными жанрами. Она поддерживает три режима рассуждений — xhigh, medium и low — и ориентирована на сокращение объёма внутренних рассуждений без существенного снижения детализации ответа. Заявлены улучшенные интеллект, способность к решению задач, следование инструкциям и скорость генерации, включая режим MTP (multi-token prediction). Точные сведения о размере контекста и конфигурации архитектуры в README не указаны; из названия и описания следует, что это модель класса 27B с GGUF-квантизацией и MTP-тензорами. Используются NEO IMATRIX-квантизации, заявляющие повышение точности и качества работы в длинном контексте, а выходной тензор сохранён в 16-битной точности. Для MTP рекомендуется температура не выше 1 и отключённый repetition penalty. Ключевое ограничение — существенная модификация механизма рассуждений, поэтому модель необходимо отдельно тестировать под конкретный сценарий. Лицензия Apache-2.0.

AtomicChat/Qwen3.8-27B-MLX-AD-3.50bpw-DWQ-12.7GB — это MLX-квантизированная версия Qwen3.8-27B, выпущенная командой AtomicChat. Базовую модель разработала команда Qwen компании Alibaba. Это открытая плотная мультимодальная модель с поддержкой текста и изображений, предназначенная для генерации текста, визуального понимания, программирования, агентских рабочих процессов и автоматизации офисных задач. Модель содержит около 27 млрд параметров. Вариант AtomicChat использует формат MLX, 3-битное представление с параметром 3.50 bpw и занимает примерно 12,7 ГБ, поэтому ориентирован на локальный запуск, в частности на совместимое оборудование Apple через MLX. На странице модели указана категория Image-Text-to-Text и языковой тег English. Для исходной Qwen3.8-27B заявлено нативное контекстное окно 262 000 токенов с возможностью расширения до 1 млн токенов посредством YaRN. Главное преимущество варианта — существенное уменьшение размера и требований к памяти по сравнению с полной моделью при сохранении мультимодальных возможностей. Ограничения связаны с потерями качества, возможными для 3-битной квантизации, зависимостью от MLX-совместимого окружения и отсутствием на странице AtomicChat подробных независимых тестов, перечня поддерживаемых языков и детального описания архитектуры именно этого квантизированного варианта. Для базовой Qwen3.8-27B указана лицензия Apache 2.0; отдельные условия для производного репозитория AtomicChat следует проверять дополнительно.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-версия плотной языковой модели Qwen3.8-27B, подготовленная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео при использовании отдельного BF16-проектора. Указаны поддержка английского, китайского и других языков, а также мультимодальный режим image-text-to-text. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408, словарь на 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Она сохраняет встроенный механизм NextN/MTP и дополнительно поставляется с профилем HauhauCS FastMTP 32K для ускорения спекулятивного декодирования. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Доступны квантизации от Q8_K_P до IQ2_M; для изображений и видео требуется отдельный vision projector. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказного поведения, что может быть полезно для свободного исследования, автоматизации и сценариев, где важна максимальная отзывчивость. При этом отсутствие защитных отказов повышает риски при работе с вредоносными или чувствительными запросами, а для критически важных длинноконтекстных агентских задач автор рекомендует более сбалансированный вариант. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-MTPLX-Optimized-Speed — квантованная версия базовой модели Qwen/Qwen3.8-Flash-Next, подготовленная Youssofal для запуска через MTPLX на компьютерах Apple Silicon. Модель предназначена для локальной генерации текста, диалогов и программирования, включая работу с OpenCode и другими локальными AI-инструментами. Модель основана на архитектуре поколения Qwen4 с гибридной MoE-структурой GDN, Qwen Sparse Attention и 51-миллиардной n-gram memory. Всего заявлено 125B параметров, из которых 6B активируются на токен. Основные веса используют динамическую 4-битную квантизацию, проекции внимания — 8-битную, а отдельные компоненты и MTP-голова сохраняют 16-битную точность. Поддерживается контекст до 262 144 токенов, мультимодальная vision tower сохранена, однако конкретные языки и поддерживаемые форматы ввода в карточке не указаны. Ключевое преимущество — нативное multi-token speculative decoding с адаптивной глубиной до 3 токенов, обеспечивающее заявленное ускорение по сравнению с обычной авторегрессионной генерацией при сохранении распределения вывода. Загрузка занимает около 115,1 ГБ, из них 32 ГБ n-gram-таблицы могут размещаться на SSD; рекомендуются Mac с Apple Silicon и минимум 96 ГБ unified memory. Ограничения включают высокие требования к памяти и зависимость от MTPLX и совместимого оборудования. Лицензия указана как qwen-community-1.0; также обозначено поле license: other.

Qwen3-VL-12B-Thinking-Brainstorm20x-NEO-MAX-GGUF — мультимодальная instruct-модель в формате GGUF, созданная DavidAU на базе Qwen3-VL-8B-Thinking с адаптером Brainstorm 20x и дополнительной обработкой квантов NEO Imatrix. Модель предназначена для работы с текстом и изображениями, включая image-to-text, описание изображений, программирование, генерацию кода, чат, творческие задачи и рассуждения. В метаданных указан английский язык; заявлена поддержка видео, однако подробности о формате и ограничениях видеовхода не приведены. После применения адаптера размер модели увеличен до 12B параметров; указаны 55 слоёв и 608 тензоров. Максимальный контекст составляет 256k токенов. Для полноценной мультимодальной работы требуется отдельный файл mmproj в формате GGUF, размещённый вместе с основной моделью. Поддерживаются шаблоны Jinja или ChatML. Brainstorm 20x заявлен как модификация, улучшающая детализацию, связность, качество прозы, творческую генерацию и глубину рассуждений, но автор отдельно отмечает, что это не означает кратного повышения интеллектуальных способностей. Сильными сторонами модели являются сочетание обработки текста и изображений, пригодность для сложного многошагового программирования, подробных инструкций, творческих сценариев и работы с длинным контекстом. К ограничениям относятся отсутствие опубликованных в README бенчмарков и примеров, а также возможное зацикливание генерации; для его уменьшения рекомендуются повышенная температура, repetition penalty около 1.1 и presence penalty 2.0. Модель распространяется по лицензии Apache-2.0.

Карточка модели exolabs/Step-3.7-Flash-IQ3_XXS-dequant-bf16-vllm на Hugging Face совпадает с карточкой stepfun-ai/Step-3.7-Flash, поэтому описание составлено по ней. StepFun разработала Step 3.7 Flash — мультимодальную модель со смесью экспертов (MoE), предназначенную для высоконагруженных рабочих процессов. Она содержит 198 млрд параметров, из которых около 11 млрд активируются на каждом токене; включает языковую часть на 196 млрд параметров и визуальный энкодер на 1,8 млрд. Модель принимает изображения и текст, поддерживает контекст до 256 тыс. токенов и три уровня рассуждений: низкий, средний и высокий. Модель предназначена для понимания изображений, анализа больших документов, многошагового поиска и проверки фактов, оркестрации инструментов и API, а также для задач разработки ПО — например, поиска ошибок в репозиториях и подготовки исправлений. Заявленная скорость генерации достигает 400 токенов в секунду. Карточка описывает её как модель для производственных нагрузок; доступны варианты развёртывания через облачные платформы и локальные средства инференса. Репозиторий использует библиотеку Transformers и формат Safetensors. Лицензия — Apache-2.0. В метаданных указан английский язык; README не подтверждает поддержку других естественных языков.

Swift-Qwen3.8-27B-MIX_GGUF — набор смешанных GGUF-квантизаций модели ukisai/Swift-Qwen3.8-27b, подготовленный пользователем vmarcelo. Исходная модель является дообученной версией Qwen/Qwen3.8-27B — плотной мультимодальной модели на 27 млрд параметров с гибридной архитектурой GatedDeltaNet и Gated Attention, а также встроенной головой Multi-Token Prediction (MTP). Модель предназначена для работы с текстом и изображениями, включая мультимодальные сценарии, при наличии отдельного файла vision encoder mmproj-F16.gguf. Заявлена поддержка multilingual-задач; точный перечень языков не указан. В набор входят варианты IQ4-MIX размером 14,16 ГБ, IQ3-MIX размером 12,87 ГБ и IQ2-MIX размером 10,12 ГБ. Они рассчитаны на потребительские видеокарты с 16 ГБ VRAM, например AMD Radeon RX 9070 XT. IQ4 ориентирован на лучшее качество при умеренном контексте, IQ3 обеспечивает больший запас памяти и более длинный контекст, а IQ2 предназначен для максимального контекста примерно 131–262 тыс. токенов, но имеет экспериментальное качество и слабее подходит для программирования. Встроенная MTP-голова позволяет использовать speculative decoding без загрузки второго файла. Квантизация выполнена с помощью llama.cpp и importance matrix, при этом наиболее чувствительные компоненты сохраняются в более высокоточных форматах. Основные ограничения связаны с потерей качества из-за квантизации, особенно у IQ2; README прямо предупреждает о заметном ухудшении по сравнению с IQ3. Для обработки изображений требуется загрузка mmproj-файла, а фактическая поддерживаемая длина контекста зависит от выбранного варианта, настроек KV-кэша и доступной памяти. Модель распространяется по лицензии Swift Open License 1.0; в метаданных также указано общее обозначение лицензии other.

Trillion-7B-preview — предварительная версия языковой модели, представленная командой TrillionLabs. Это плотная авторегрессионная модель семейства Llama с архитектурой Transformer Decoder, RoPE, SwiGLU и RMSNorm; в README указано 7,76 млрд параметров, 32 слоя и контекст 4096 токенов. Модель прошла предварительное обучение и последующее обучение для диалогов и выполнения инструкций. Модель предназначена для генерации текста, общения, ответов на вопросы, рассуждений и помощи с кодом. Разработчики заявляют поддержку английского, корейского, японского и китайского языков и отмечают особенно сильные результаты на корейских тестах. В опубликованных оценках модель показывает конкурентные результаты, однако качество зависит от задачи и языка. Это предварительный выпуск без комплексных механизмов безопасности; сведения модели ограничены данными до августа 2023 года, а для языков помимо английского, корейского, японского и китайского возможно снижение качества. Лицензия репозитория — Apache-2.0.

Whittle-Qwen-3.8-35B-A3B-GGUF — это GGUF-квантизированная версия модели Whittle-Qwen-3.8-35B-A3B, разработанной logic65 и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач. В описании указаны архитектура Mixture-of-Experts, механизмы n-gram memory и conditional memory, hyper-connections и knowledge distillation. Поддерживаются текстовые запросы; заявлены английский, китайский и многоязычный режимы. Размер контекстного окна не указан. Модель распространяется в формате GGUF для запуска через llama.cpp и совместимые инструменты. Доступны варианты квантизации от Q2_K размером около 13,1 ГБ до Q8_0 размером около 37,9 ГБ; варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q6_K — как обеспечивающий очень хорошее качество. Более сильная квантизация обычно требует больше памяти, но лучше сохраняет качество, тогда как малые варианты экономичнее, однако могут заметнее уступать в точности. В README не приведены результаты бенчмарков и подробные ограничения по производительности. Лицензия модели — Apache-2.0.

mncai/yi-34B-v2 — инструкционно дообученная модель MindsAndCompany на базе Yi-34B для генерации текста и ответов на запросы. В карточке приводится пример вопроса на корейском языке; модель может использоваться в диалоговых и корпоративных приложениях, включая чат-ботов и помощников по коду, которые разрабатывает компания. Модель имеет плотную архитектуру LlamaForCausalLM и около 33,9 млрд параметров. Она принимает текст, выдаёт текст и поддерживает контекст до 8192 токенов. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0.

ZEUS-8B-V26 — объединённая языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом DARE TIES. В объединение вошли instruct- и reasoning-модели, включая HuatuoGPT-o1, Skywork-o1, Llama-3.1-Storm, SauerkrautLM и другие; базой в README названа unsloth/Meta-Llama-3.1-8B-Instruct. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов; интерфейс также поддерживает вызов инструментов. Метаданные указывают библиотеку Transformers и формат safetensors. В README приведены результаты Open LLM Leaderboard, включая 67,08% на IFEval и 32,25% на BBH; эти показатели относятся к указанной оценке и сами по себе не гарантируют качество в других сценариях. Данные о лицензии и поддерживаемых языках в предоставленных источниках отсутствуют. В README также не описаны специальные ограничения на применение.

Ziya2-13B-Chat 是由 Fengshenbang-LM 团队开发的中文和英文对话模型，基于 LLaMA2 系列的 Ziya2-13B-Base 构建。它采用约 12.9B 参数的稠密 LLaMA 架构，以 PyTorch 格式提供，原生上下文长度为 4096 个 token。 模型先经过通用指令和知识增强指令的监督微调，再使用人类偏好数据进行全参数 RLHF 训练，面向问答、推理、写作、代码、常识、对话、自然语言理解和安全相关场景。 README указывает, что в supervised fine-tuning использовалось окно 8k токенов; указанная в метаданных нативная длина контекста модели — 4096 токенов. Модель рассчитана на текстовый ввод и генерацию текста на китайском и английском языках. Карточка сообщает о сравнительных человеческих оценках, но не даёт оснований считать ответы всегда точными или безопасными; длинные запросы сверх нативного контекста могут быть ограничены. Лицензия — Apache-2.0.

BlueLM-7B-Chat — диалоговая языковая модель vivo AI Lab, подразделения исследований искусственного интеллекта компании vivo. Это плотная авторегрессионная модель семейства BlueLM с 6,9 млрд параметров, предназначенная для генерации ответов в чате и других текстовых задач. Для этой версии заявлен контекст 2 048 токенов; отдельно в семействе выпущены варианты с контекстом 32K. Модель обучалась на корпусе объёмом 2,6 трлн токенов, преимущественно на китайском и английском текстах, с небольшим количеством японских и корейских данных. Разработчик сообщает о конкурентных результатах на C-Eval и CMMLU, а также об оценке общих, математических и программных способностей на наборах бенчмарков. Весами разрешено пользоваться для академических исследований и коммерческих приложений; в метаданных лицензия обозначена как other, поэтому перед использованием следует свериться с условиями LICENSE разработчика.

BrainCog-8B-0.1-Instruct — диалоговая языковая модель, разработанная группой BrainCog. Это дообученная версия Meta-Llama-3-8B с плотной архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; модель рассчитана на генерацию текста и работу в формате чат-ассистента. В качестве обучающего набора указан BAAI/Infinity-Instruct, а среди возможностей отмечена генерация кода. Модель принимает текстовые сообщения и генерирует текстовые ответы, включая ответы на вопросы и фрагменты кода. В метаданных указаны китайский и английский языки, а также многоязычная поддержка; базовая Meta-Llama-3-8B предназначена для английского текста и кода. Контекст составляет 8192 токена. Для загрузки и запуска README приводит пример с Transformers. Модель распространяется по лицензии Apache-2.0. Разработчики предупреждают, что поведение и вывод модели не контролируются и не обязательно отражают их мнение; качество ответов и кода может зависеть от запроса и требовать проверки.

Это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp release b4514; модель распространяется в рамках программы Community Model от LM Studio, которое не является её создателем или владельцем. Модель предназначена для генерации текста с акцентом на рассуждения и задачи, требующие пошагового анализа. Она дистиллирована из reasoning-модели DeepSeek-R1 и настроена для работы с chain-of-thought. Формат GGUF ориентирован на запуск через совместимое программное обеспечение, включая llama.cpp и LM Studio. Заявленная длина контекста составляет 128k токенов. В README не указаны точный вариант архитектуры Qwen, поддерживаемые языки, конкретные модальности, параметры выбранного уровня квантизации или результаты бенчмарков. Лицензия также не указана, поэтому условия использования следует уточнять в документации исходной модели и конкретного файла GGUF. Как и другие языковые модели, она может генерировать неточные, вредные или вводящие в заблуждение ответы.

Dolphin-2.6-FC_Hermes-2-Pro — объединённая модель, созданная с помощью LazyMergekit из cognitivecomputations/fc-dolphin-2.6-mistral-7b-dpo-laser и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и примерно 7,1 млрд параметров. Модель предназначена для генерации текста и диалогов по текстовым запросам. Наследует ориентированные на инструкции и диалоговые сценарии возможности базовых моделей; описание базовой модели в каталоге также указывает на вызов функций и генерацию структурированного JSON. Заявленная длина контекста — 32 768 токенов. Файлы опубликованы в формате Safetensors. Языковая поддержка, лицензия и отдельные ограничения в предоставленных материалах не описаны.

Gixtral 100B — разговорная языковая модель для генерации текста и выполнения инструкций, созданная ehristoforu путём объединения нескольких моделей семейства Mixtral и WizardLM, включая Mixtral-8x22B-Instruct-v0.1, Mixtral-8x7B-Instruct-v0.1, Dolphin и WizardLM-2-8x22B. Архитектура — Mixtral с разреженной экспертной структурой (MoE); в метаданных указано 9,7 млрд параметров и контекстное окно 32 768 токенов. Модель подходит для диалогов, ответов на запросы, следования инструкциям и генерации текста на английском, французском, немецком, испанском и итальянском языках. Для объединения использованы наборы данных, включающие примеры для программирования и инструктивных диалогов. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. README описывает модель как объединение моделей, хотя в метаданных среди базовых моделей также указаны Dolphin и WizardLM. Практические результаты объединения и сравнительные оценки в карточке не приведены; фактическое качество может зависеть от запроса и используемой конфигурации.

GLM-5.2-JANGTQ4 — версия модели zai-org/GLM-5.2, подготовленная автором репозитория bearzi для запуска через MLX на компьютерах Apple с чипами Apple silicon. Это языковая модель с архитектурой GLM MoE DSA и 30,4 млрд параметров, предназначенная для генерации текста и диалогов; базовая GLM-5.2 также рассчитана на программирование и длительные задачи. Контекст модели составляет до 1 048 576 токенов. Профиль JANGTQ4 использует смешанную точность: внимание и общие эксперты хранятся в FP16, а маршрутизируемые эксперты квантизированы до 4 бит методом JANG TurboQuant. Для загрузки требуются jang-tools или vMLX; обычные MLX, LM Studio и Ollama не поддерживаются. Для токенизатора нужны tiktoken, blobfile и разрешение удалённого кода Transformers. Репозиторий распространяется по лицензии MIT.

GLM-5.3-W4A8 — квантизированная версия модели GLM-5.3, разработанная на базе официального чекпойнта zai-org/GLM-5.3. Это генеративная текстовая модель для англоязычных и китайскоязычных сценариев, включая рассуждения и другие задачи генерации текста. Модель предназначена для развёртывания через vLLM и SGLang. Модель сохраняет около 753 млрд параметров и использует архитектуру Mixture-of-Experts. Маршрутизируемые экспертные веса представлены в INT4 с размером группы 128, активации и неэкспертные слои — в FP8. Формат хранения — compressed-tensors; чекпойнт занимает около 372,3 GiB вместо 703,7 GiB у официальной FP8-версии. На конфигурации из 8 GPU H20 это примерно вдвое увеличивает доступный KV-кэш — до 1,26 млн токенов, что полезно для длинного контекста и высокой параллельности запросов. Поддерживается MTP-спекулятивное декодирование. По опубликованным измерениям, заметного ухудшения качества относительно официальной FP8-версии не обнаружено: показатели GPQA-Diamond находятся в пределах статистического шума, а прирост teacher-forced NLL составляет около 0,001 натов на токен. Основное преимущество — экономия памяти и возможность запускать две реплики с TP4 на тех же восьми GPU. Ограничения включают требование GPU с архитектурой SM90, использование CUTLASS W4A8 и необходимость включать expert parallelism; на одной конфигурации TP8 модель может быть медленнее FP8-версии. Лицензия указана как glm-5.3; подробные условия приведены в лицензии базовой модели на странице zai-org/GLM-5.3.

GPT-OSS-Swallow 120B SFT v0.1 — двуязычная языковая модель Токийского технологического института, дообученная на базе GPT-OSS. Она предназначена для диалогов на японском и английском языках, перевода между ними, а также решения задач по математике, программированию и естественным наукам. Модель использует архитектуру GPT-OSS с разреженной смесью экспертов (MoE); в метаданных указано 2,1 млрд параметров и контекст до 131 072 токенов. Для инференса разработчики рекомендуют vLLM и советуют ограничивать контекст 32 768 токенами или менее. Обучение включало продолжение предобучения, supervised fine-tuning и последующее обучение с проверяемыми наградами для семейства моделей; этот репозиторий содержит вариант SFT. Авторы сообщают об улучшении японского языка и перевода при сохранении математических и кодовых навыков. Модель не обучали специально для вызова инструментов, управления уровнем reasoning effort и надежной работы с длинным контекстом; ранний выпуск также не настроен на полное соответствие человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

Hermes 2 Pro — диалоговая языковая модель Nous Research, созданная совместно с Interstellarninja и Fireworks.AI на основе дообучения Meta Llama 3 70B. Модель с плотной архитектурой Llama содержит 69,5 млрд параметров, принимает текст и генерирует текст; родной размер контекста — 8192 токена. Для диалога используется формат ChatML. Модель предназначена для общения, выполнения инструкций, вызова функций и формирования структурированных ответов в JSON по заданной схеме. По данным разработчиков, обучение включало обновлённый набор OpenHermes 2.5, а также специально подготовленные данные для вызова функций и JSON Mode. Для использования этих возможностей нужны соответствующие системные инструкции и обработка вызовов инструментов в приложении. В метаданных указан английский язык. Модель наследует возможности базовой Llama 3 70B для генерации текста и кода, однако карточка отдельно не описывает языковую поддержку сверх английского. Доступна в формате safetensors; лицензия в предоставленных данных не указана.

Hy4 preview — экспериментальная предварительная версия языковой модели Tencent Hy Team для диалогов и генерации текста. В README описана MoE-архитектура: 770 млрд параметров в основной модели, из которых активируются 49 млрд на токен; также упоминается дополнительный слой MTP для ускорения декодирования. Метаданные каталога указывают архитектуру HYV4ForCausalLM и 33,9 млрд параметров, что расходится с числом в README; поэтому размер модели здесь нельзя считать однозначным. Модель предназначена для разработки программного обеспечения, анализа документов и данных, подготовки офисных материалов, прототипирования игр и исследовательских задач. Заявлен контекст длиной до 1 048 576 токенов. В README не указаны поддерживаемые естественные языки. Известные ограничения ранней версии — избыточно долгие рассуждения по сложным задачам и склонность к повторной проверке уже выполненной работы. Модель распространяется по лицензии Apache-2.0.

Infinity-Instruct-3M-0613-Mistral-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0613. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров с контекстом 32 768 токенов, предназначенная для диалогов и следования инструкциям. Она принимает текст и генерирует текст; карточка указывает английский язык. Модель обучена методом supervised instruction tuning без обучения с подкреплением по человеческим оценкам (RLHF). Авторы сообщают о результатах 25,5 на AlpacaEval 2.0 и 8,1 на MT-Bench, сопоставляя её с рядом более крупных и близких по размеру моделей. Эти результаты приведены авторами и не гарантируют качество на пользовательских задачах. Модель подходит для многошаговых диалогов, ответов на вопросы, написания текстов, а также задач по коду и математике. В README нет подробных сведений об ограничениях по конкретным сценариям; авторы предупреждают, что точность ответов не гарантируется. Лицензия метаданных — Apache-2.0, однако README ограничивает использование связанных ресурсов, включая веса, академическими исследованиями и запрещает коммерческое применение; это ограничение следует учитывать при использовании модели.

NVIDIA Kimi-K2-Thinking-Eagle3 — текстовая авторегрессионная модель NVIDIA, представляющая собой Eagle3 speculative decoding head для Moonshot AI Kimi-K2-Thinking. Она основана на трансформерной архитектуре DeepSeek V3 и обучена с NVIDIA Model Optimizer. Веса модели занимают 1,8 млрд параметров; метаданные указывают контекст до 262 144 токенов, тогда как README приводит длину 4096 токенов. Эти значения расходятся, поэтому фактическую длину контекста следует сверить с выбранной конфигурацией запуска. Модель предназначена для разработчиков чат-ботов, AI-агентов, RAG-систем и других приложений, а также для выполнения инструкций, генерации кода и рассуждений. Она принимает текст и генерирует текст; для ускоренного инференса NVIDIA указывает TensorRT-LLM и совместимость с GPU Blackwell. Лицензия обозначена как other; README требует соблюдать NVIDIA Open Model License и упоминает Modified MIT License Kimi-K2-Thinking. Перед использованием следует проверить условия обеих лицензий и протестировать модель на целевых данных.

LeoScorpius-GreenNode-Platypus-7B-v1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и ignos/LeoScorpius-GreenNode-Platypus-7B-v1 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Карточка не приводит оценки качества или подробных ограничений, поэтому пригодность для конкретных сценариев следует проверять на собственных данных.

Ling-lite — разговорная языковая модель на архитектуре Mixture of Experts (MoE), разработанная и опубликованная InclusionAI. Карточка описывает версию Ling-lite-0415; модель содержит 16,8 млрд параметров, из которых активируется 2,75 млрд. Метаданные репозитория указывают 1,5 млрд параметров и контекст 32 768 токенов, тогда как README сообщает для Ling-lite контекст 128K; эти характеристики источников расходятся. Модель предназначена для диалогов и широкого круга языковых задач, включая генерацию текста, программирование и математику. В README приведены результаты сравнительных тестов, в том числе HumanEval и GPQA; это свидетельствует о заявленных возможностях в коде и решении сложных задач, но не гарантирует качество в конкретном применении. Репозиторий использует Transformers и формат safetensors. Лицензия — MIT.

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — крупная языковая модель для генерации текста, разработанная NVIDIA на основе Llama 3.1 Nemotron 70B Instruct. Представленная версия распространяется в формате GGUF; квантизация выполнена bartowski с использованием llama.cpp версии b3901. Модель ориентирована на повышение полезности ответов на пользовательские запросы и предназначена для диалоговых приложений, ассистентов и других сценариев текстовой генерации. Модель содержит 70 миллиардов параметров, поддерживает контекст длиной до 128 тысяч токенов и предназначена прежде всего для работы с английским языком. В README указана специализация на текстовой модальности и приведены результаты оценки: Arena Hard — 85,0, AlpacaEval 2 LC — 57,6 и GPT-4-Turbo MT-Bench — 8,98. В качестве набора данных указан NVIDIA HelpSteer2. К сильным сторонам относятся большой контекст, высокая заявленная полезность ответов и возможность использования GGUF-версии в совместимых инструментах локального запуска. Модель может генерировать неточные, вредные или неподходящие ответы, а README не содержит подробностей о требованиях к аппаратному обеспечению и конкретном варианте квантизации. Лицензия указана как llama3.1; условия её применения следует проверять в исходной карточке модели NVIDIA.

QuantFactory/Llama-3-8B-Instruct-Gradient-1048k-GGUF-v2 — квантованная GGUF-версия модели gradientai/Llama-3-8B-Instruct-Gradient-1048k, созданная QuantFactory с использованием llama.cpp. В основе лежит Meta Llama 3 8B Instruct, дообученная Gradient при спонсорской поддержке вычислительной инфраструктуры Crusoe Energy. Версия v2 использует обновлённые веса исходной модели и дополнительно усиливает диалоговые возможности ассистента. Модель предназначена для генерации текста и кода, диалоговых сценариев и обработки исключительно текстовых входных данных. Её ключевая особенность — расширенный контекст длиной более 1,04 млн токенов вместо стандартных 8 тысяч у базовой Llama 3. Для этого применялись NTK-aware interpolation, оптимизация параметра RoPE theta и прогрессивное обучение на последовательно увеличивающихся длинах контекста. Архитектурно это авторегрессионная модель на основе оптимизированного Transformer с Grouped-Query Attention; размер — 8 млрд параметров. Заявлена поддержка английского языка. Сильная сторона модели — способность работать с очень большими текстовыми контекстами; в README приведены результаты тестов Needle-in-a-Haystack на длинах до 1 040 200 токенов, включая высокую точность на описанных сценариях. Ограничения включают текстовую модальность, зависимость практической производительности от используемой квантовки и аппаратного обеспечения, а также отсутствие подробных сведений о конкретном формате квантования, требованиях к памяти и скорости инференса. Модель распространяется по лицензии Llama 3.

Это общественная квантованная версия Meta-Llama-3.1-70B-Instruct, разработанной Meta AI и подготовленной сообществом hugging-quants. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в качестве инструкционного чат-ассистента. Она поддерживает текстовый ввод и вывод и ориентирована на многоязычное применение. Модель содержит 70 миллиардов параметров и использует архитектуру Llama 3.1. Версия преобразована из FP16 в INT4 с помощью AutoAWQ: применяется GEMM-квантизация с нулевой точкой и размером группы 128. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Для загрузки контрольной точки требуется около 35 GiB видеопамяти без учёта KV-кэша и CUDA-графов, поэтому фактические требования выше. README не указывает размер контекста исходной модели. К сильным сторонам относятся существенно сниженные требования к памяти по сравнению с FP16-версией и совместимость с Transformers, AutoAWQ и Text Generation Inference, включая оптимизацию инференса с Marlin kernels. Ограничения связаны с потерями точности, возможными для INT4-квантизации, значительными требованиями к видеопамяти и отсутствием заявленной поддержки мультимодальных входов. Модель распространяется по лицензии Llama 3.1.