II.4Отладка, тестирование и качество ПО

Granite-3.0-1B-A400M-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов, в том числе для бизнес-сценариев. Это дообученная версия Granite-3.0-1B-A400M-Base: обучение включало supervised fine-tuning, выравнивание с помощью обучения с подкреплением и слияние моделей. Модель использует декодерный разреженный Transformer с архитектурой Mixture of Experts (MoE); в метаданных указан размер 163,6 млн параметров и контекст до 4096 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова функций и многоязычного диалога. Карточка заявляет поддержку английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Лицензия — Apache 2.0. Качество на языках кроме английского может быть ниже; few-shot-примеры могут улучшить ответы в многоязычных сценариях. Модель способна выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует проверять и настраивать для конкретного применения.

Saxo (Джи Юнсон), специалист по данным и руководитель Linkbricks Horizon-AI, дообучил эту плотную языковую модель на основе Qwen2.5-32B-Instruct. Модель содержит 32 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; для работы с ней используется библиотека Transformers. В обучении применялись этапы CPT, SFT, DPO и ORPO, а также данные из многоязычных новостных и wiki-корпусов и наборы для отдельных задач. Модель предназначена для диалога и генерации текста, в том числе для анализа отзывов и публикаций в социальных сетях, написания текстов и кода, математических и логических задач, а также вызова функций и инструментов. В README заявлена работа с корейским, английским, японским и китайским языками; датасеты также включают перевод и суммаризацию. Репозиторий содержит веса в формате safetensors. Лицензия Apache 2.0.

ThomasBaruzier/Meta-Llama-3.1-70B-Instruct-GGUF — это версия большой языковой модели Meta Llama 3.1 70B Instruct, опубликованная пользователем ThomasBaruzier в формате GGUF. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям, включая ответы на вопросы, написание и преобразование текстов, суммирование и другие задачи обработки естественного языка. Модель относится к семейству Llama 3.1, содержит около 70 миллиардов параметров и поддерживает текстовую модальность. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Формат GGUF ориентирован на локальный запуск и совместимость с соответствующими инструментами инференса, однако конкретный тип квантования, требования к памяти и размер контекстного окна в предоставленных данных не указаны. Сильными сторонами модели являются большой размер, инструкционное дообучение и многоязычная поддержка. Ограничения включают высокие потенциальные требования к вычислительным ресурсам, а также возможные ошибки, неточности и нежелательные результаты, характерные для генеративных моделей. Модель распространяется по Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, требования к атрибуции и маркировке «Built with Llama», а также применимую Acceptable Use Policy.

MyAwesomeModel — языковая модель, представленная в репозитории qf-iquest/MyAwesomeModel-TestRepo. README не указывает разработчика или организацию, стоящую за моделью. Модель предназначена для диалогового использования через веб-интерфейс и API, а также для локального запуска с библиотекой Transformers. Заявленные сценарии включают математическое и логическое рассуждение, ответы на вопросы, понимание текста, классификацию, анализ тональности, генерацию кода, творческих текстов и диалогов, суммаризацию, перевод, извлечение знаний и выполнение инструкций. Также заявлены поддержка системного промпта, function calling, загрузки файлов и генерации с использованием результатов веб-поиска. В обновлённой версии улучшены рассуждение и вывод, снижена частота галлюцинаций; на тесте AIME 2025 приведён рост точности с 70% до 87,5% и увеличение среднего объёма рассуждений с 12K до 23K токенов на вопрос. README не содержит надёжных сведений об архитектуре, количестве параметров, размере, поддерживаемых языках, модальностях и длине контекста. Упоминается вариант MyAwesomeModel-Small с архитектурой, идентичной базовой модели, и отдельной конфигурацией tokenizer, однако подробности не раскрыты. Рекомендованная температура генерации — 0,6; специальный токен в начале ответа не требуется. Лицензия модели — MIT.

Qwen1.5-4B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2 на архитектуре Transformer с декодером для авторегрессионной генерации текста; в репозитории указано около 3,6 млрд параметров. Модель предназначена для диалогов и генерации текста по запросу. Модель поддерживает несколько естественных языков, а её контекстное окно составляет 32 768 токенов. Карточка описывает улучшенную для разных языков и программного кода токенизацию и отмечает улучшение предпочтений пользователей в чат-сценариях относительно предыдущей версии Qwen. Для запуска рекомендуется Transformers версии 4.37.0 или новее. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с лицензией репозитория. В карточке также отмечено, что при переключении между языками и некоторых других проблемах генерации могут помочь параметры из generation_config.json.

Qwen3.6-27B-Jormungandr-i1-GGUF — это квантизированная в формате GGUF версия модели Qwen3.6-27B-Jormungandr, разработанной nightmedia и подготовленной пользователем mradermacher. Модель основана на архитектуре Qwen3.6 с 27 млрд параметров и распространяется в виде imatrix-квантов различных уровней точности и размера. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, исследовательских сценариев, рассуждений, творческого и художественного письма, а также ролевого взаимодействия. В метаданных заявлена поддержка английского, китайского, японского и испанского языков. README указывает, что это vision-модель; для работы с визуальными данными могут потребоваться mmproj-файлы из статического репозитория. Также заявлена поддержка контекста до 256 тысяч или 1 миллиона токенов, однако конкретные ограничения зависят от исходной модели и используемого программного обеспечения. Главное преимущество — широкий выбор квантов GGUF, позволяющий выбирать баланс между размером, скоростью и качеством: от вариантов примерно на 11 ГБ до 22,5 ГБ. Для части вариантов приведены рекомендации по качеству и скорости, но независимые бенчмарки в README отсутствуют. Ограничения включают возможную потерю качества из-за квантования, необходимость совместимого GGUF-движка и дополнительных mmproj-файлов для мультимодальной работы; точные возможности и производительность зависят от выбранного кванта и оборудования. Модель и квантизированные файлы распространяются по лицензии Apache-2.0.

AMAImedia выпустила эту модель в рамках платформы автоматизации многоязычного дубляжа NOESIS; исходную модель создала команда OBLITERATUS. Это дообученная версия Qwen3.8-27B с плотной архитектурой Qwen3_5ForConditionalGeneration, поддержкой чата и изображений. В репозитории указаны формат safetensors и лицензия Apache-2.0. Модель предназначена для диалогов, ответов на вопросы, генерации кода и работы с изображениями. README описывает изменение поведения отказов с помощью удаления направлений отказа из весов и сообщает о результатах внутренних тестов на MMLU и задачах генерации кода. Метаданные перечисляют поддержку многих языков, включая русский, английский, китайский, вьетнамский и японский. README рекомендует температуру 0 и repetition_penalty 1.15 для обычной генерации; при агентном использовании советует температуру 0.1–0.3 и короткие ответы на ход. По данным README, в сравнении с исходной моделью V3 показывает снижение MMLU на 2,1 процентного пункта, а при генерации возможны повторы без настройки repetition_penalty. Модель описана как намеренно менее склонная к отказам на ограниченные запросы, поэтому её ответы требуют самостоятельной проверки.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео, а также работы с длинным контекстом. Профиль Aggressive ориентирован на прямые ответы без выраженного поведения отказа и с минимальными предварительными пояснениями в сложных запросах. Это плотная causal language model на 27 млрд параметров с vision encoder: 64 слоями, размером скрытого представления 5120, FFN размером 17408, словарём 248 320 токенов, 48 слоями Gated DeltaNet и 16 слоями gated attention. Поддерживаются английский, китайский и другие языки; заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. В текстовых GGUF сохранён встроенный NextN/MTP, а отдельный FastMTP-профиль предназначен для ускорения спекулятивного декодирования. Для входных изображений и видео требуется отдельный vision projector BF16. К сильным сторонам относятся широкий набор текстовых и мультимодальных возможностей, очень длинный контекст, несколько вариантов квантизации и ускорение FastMTP. Агрессивный профиль может быть менее подходящим для надёжно контролируемых и критичных к безопасности агентских задач, поскольку он специально уменьшает склонность к отказам. Доступны квантизованные файлы GGUF размером примерно от 10,32 до 31,46 ГБ; K_P-квантизации оптимизированы под эту модель. Лицензия — Apache-2.0.

Qwen3-Next-80B-A3B-Thinking — языковая модель с открытыми весами от команды Qwen, предназначенная для сложных задач рассуждения и диалогового применения. Она работает только в режиме размышления и может формировать длинные цепочки рассуждений. Модель построена на причинной архитектуре Qwen3-Next с разреженной смесью экспертов (MoE) и сочетает Gated DeltaNet с Gated Attention для работы с длинным контекстом. Всего в ней 80 млрд параметров, из которых активны около 3 млрд; метаданные каталога указывают 2,3 млрд параметров. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000 токенов. Поддерживаются генерация текста, чат и интерфейс вызова инструментов. Модель подходит для многошагового анализа, решения сложных задач и работы с большими текстовыми контекстами. В README заявлены высокие результаты на тестах рассуждения и эффективность инференса, но эти сравнения приведены разработчиком. Для запуска нужны совместимые версии Transformers, SGLang или vLLM и значительные вычислительные ресурсы; README рекомендует несколько GPU и отмечает риск нехватки памяти при длинном контексте. Лицензия — Apache 2.0.

cyankiwi/Qwen3-VL-30B-A3B-Instruct-AWQ-4bit — это квантизированная 4-битная версия мультимодальной instruction-модели Qwen3-VL-30B-A3B-Instruct, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, а также для понимания видео, генерации ответов по визуальному содержимому, анализа документов, OCR, STEM- и математических задач, пространственного рассуждения и взаимодействия с графическими интерфейсами и инструментами. Модель использует архитектуру Mixture-of-Experts (MoE) и относится к семейству с заявленным масштабом 30B параметров и 3B активных параметров. В архитектуре применяются Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. Заявлена длина контекста 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — объединённое текстово-визуальное понимание, распознавание объектов и документов, анализ пространственных отношений и длительных видео, генерация HTML/CSS/JS и Draw.io по изображениям или видео, а также выполнение задач визуального агента. Ограничения и требования к ресурсам для данной AWQ-квантизации, равно как и подробные результаты тестирования, в README не описаны. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-32B-Thinking-GGUF — GGUF-версия мультимодальной модели Qwen3-VL-32B-Thinking, разработанной командой Qwen и подготовленной Unsloth. Модель предназначена для обработки текста, изображений и видео, включая визуальный вопросно-ответный диалог, анализ документов, распознавание текста, STEM- и математическое рассуждение, пространственный анализ, понимание длительных видеосцен и взаимодействие с графическими интерфейсами через инструменты. Модель относится к reasoning-ориентированной версии Qwen3-VL и содержит 32B параметров в базовой конфигурации. Заявлена поддержка контекста длиной 256K токенов с возможностью расширения до 1M, а также видео с временной привязкой событий. Среди архитектурных особенностей указаны Interleaved-MRoPE для позиционного кодирования по времени, ширине и высоте, DeepStack для объединения многоуровневых визуальных признаков и Text–Timestamp Alignment для временного анализа видео. OCR поддерживает 32 языка; при этом полный перечень языков в README не приведён. Сильные стороны модели — объединённое понимание текста и визуальных данных, расширенные возможности рассуждения, детальное восприятие объектов и пространственных отношений, анализ длинных документов и видео, а также генерация кода и разметки по визуальным материалам. Ограничения включают высокие требования к вычислительным ресурсам, характерные для модели такого размера, возможные потери качества из-за GGUF-квантизации и отсутствие в README точных сведений о конкретном варианте квантизации, системных требованиях и результатах бенчмарков. Модель распространяется по лицензии Apache-2.0.

Seed-OSS-36B-Base — базовая большая языковая модель команды ByteDance Seed, опубликованная под лицензией Apache-2.0. Это плотная авторегрессионная модель на архитектуре Seed-OSS с 31,7 млрд параметров по метаданным; в карточке семейства указаны RoPE, групповое внимание GQA, RMSNorm и активация SwiGLU. Модель принимает текст и генерирует текст. Модель предназначена для дообучения и применения в задачах общего назначения, рассуждений, работы с длинными контекстами и построения агентных систем. Она обучена на 12 трлн токенов, нативно поддерживает контекст до 524 288 токенов и позволяет управлять бюджетом рассуждений. Версия Base включает синтетические инструкционные данные в предобучение; команда также выпустила вариант без этих данных и отдельную версию Instruct. Семейство ориентировано на международное использование. Карточка рекомендует выбирать длину рассуждений с учётом сложности задачи; результаты зависят от бюджета и настроек генерации. Для запуска доступны Transformers и vLLM.

airoboros-33b-3.1.2 — экспериментальная разговорная модель jondurbin на архитектуре Llama, дообученная на наборе airoboros-3.1, в основном состоящем из синтетических данных. Она предназначена для следования инструкциям и многошаговым запросам, ответов на вопросы по предоставленному контексту, суммаризации, извлечения сведений из журналов и генерации кода. Модель использует шаблон диалога Llama 2 и поддерживает контекст до 2048 токенов по метаданным; в README автор указывает, что при дообучении применял rope scaling для увеличения контекста до 4096 токенов. В репозитории указаны 32,3 млрд параметров и формат safetensors. Среди заявленных сценариев также генерация аргументов для вызова функций и построение текстовых планов выполнения. Это только генерация текста: для реального вызова инструментов требуется внешняя система, которая разбирает и исполняет такой план. Модель ориентирована на инструкции, а не на непринуждённый чат или ролевую игру; автор рекомендует низкую температуру генерации. Базовая модель — llama-30b-hf. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

OnlyTextLLMs выпустила текстовую версию Gemma 4 31B IT, полученную из google/gemma-4-31B-it удалением компонентов обработки изображений и аудио, а также связанных мультимодальных токенов. Текстовая часть модели и языковая голова сохранены; это плотная авторегрессионная модель Gemma4ForCausalLM с 27,4 млрд параметров по метаданным и весами bfloat16. Модель предназначена для диалогов и генерации текста. Она поддерживает контекст длиной до 262 144 токенов и работает через библиотеку Transformers. Обучение не проводилось: репозиторий содержит производную версию весов Google, из которой удалены мультимодальные компоненты. Модель распространяется по лицензии Apache 2.0. После удаления аудио- и визуальных компонентов она принимает текст и выдаёт текст; возможности исходной мультимодальной модели для анализа изображений и аудио здесь недоступны.

Granite-3.3-2B-Base — базовая языковая модель, разработанная командой Granite компании IBM. Это плотный decoder-only трансформер с 2,5 млрд параметров и контекстом до 131 072 токенов. Архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Поддержка Fill-in-the-Middle позволяет генерировать фрагмент текста с учётом контекста до и после него, в том числе для автодополнения кода. Модель предназначена для генерации текста, суммаризации, классификации и извлечения информации, ответов на вопросы и работы с длинным контекстом. Она обучена на данных из веба, кода, академических источников, книг и математики, а также на многоязычных, инструкционных и синтетических длинноконтекстных данных. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель выпущена под лицензией Apache 2.0. Она не прошла safety-выравнивание, поэтому может генерировать проблемный контент; возможны предвзятость, недостоверные ответы и дословное воспроизведение обучающих данных.

Granite-4.0-H-Micro-Base — базовая языковая модель IBM Granite Team для генерации текста и продолжения кода. Это decoder-only плотная архитектура на 2,6 млрд параметров с компонентами GQA, Mamba2, SwiGLU и RMSNorm. Модель обучена с нуля на смеси открытых и проприетарных данных; контекст составляет до 131 072 токенов. Модель рассчитана на суммаризацию, классификацию и извлечение информации, ответы на вопросы, генерацию текста с длинным контекстом и дополнение кода, включая Fill-in-the-Middle. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Это базовая модель без safety alignment, поэтому ответы могут содержать предвзятость, недостоверные сведения или проблемный контент; также отмечен риск дословного воспроизведения данных обучения. Лицензия Apache 2.0.

unsloth/inkling-GGUF — это GGUF-версия открытой мультимодальной модели Inkling, разработанной Thinking Machines и опубликованной в формате GGUF командой Unsloth. Модель предназначена для локального запуска, исследований, дообучения и интеграции в сторонние продукты. Inkling принимает текст, изображения и аудио, а генерирует текст. Она рассчитана на разработку AI-приложений, включая агентные и инструментальные системы, ассистентов программиста, чат-ботов, retrieval-augmented generation, следование инструкциям и универсальное мультимодальное общение. Поддерживаются английский язык, другие языки в многоязычном режиме, а также несколько языков программирования. Архитектура представляет собой авторегрессионный decoder-only Transformer из 66 слоёв с разреженной Mixture-of-Experts: всего 975B параметров, из которых активно 41B; для каждого токена выбираются 6 из 256 экспертов и используются 2 общих эксперта. Внимание сочетает локальные и глобальные слои. Изображения и видео обрабатываются иерархическим patch-энкодером, аудио — дискретными токенами, после чего модальности проецируются в общее скрытое пространство. Поддерживаются BF16 и NVFP4. Для оптимальной работы рекомендуются изображения размером от 40 до 4096 пикселей по каждой стороне и WAV-аудио с частотой 16 кГц длительностью менее 20 минут. Сильные стороны модели — сочетание текстовых, визуальных и аудиовходов, масштабная MoE-архитектура и пригодность для локального развертывания через совместимые инструменты. Ограничения включают исключительно текстовый вывод, очень большой общий размер и высокие требования к вычислительным ресурсам; точное окно контекста в README не указано. Модель распространяется по лицензии Apache 2.0; также указано наличие отдельной политики допустимого использования.

RedHatAI/Llama-3.1-8B-Instruct — текстовая инструкционно настроенная модель Meta на архитектуре Llama 3.1, опубликованная Red Hat AI. Это авторегрессионный трансформер с 7,5 млрд параметров, использующий Grouped-Query Attention; карточка описывает настройку SFT и RLHF для диалоговых задач. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и оснащена интерфейсом для вызова инструментов. Модель предназначена для многоязычного общения в роли ассистента, ответов на запросы и генерации текста, в том числе в коммерческих и исследовательских сценариях. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Метаданные указывают на производность от meta-llama/Llama-3.1-8B-Instruct; основание этой связи с описанным в README инструкционным вариантом Meta не уточняется. Карточка сообщает о проверке на платформах Red Hat AI и описывает меры безопасности, но не приводит результаты бенчмарков именно этой копии. К ограничениям относятся возможные ошибки и риски небезопасных ответов, а также рекомендованная поддержка только перечисленных языков; интеграцию и защиту инструментов должен обеспечивать разработчик приложения. Лицензия — Llama 3.1 Community License с условиями допустимого использования.

NVIDIA Nemotron-UltraLong-8B-Instruct — языковая модель на архитектуре Llama 3.1 с 7,5 млрд параметров, предназначенная для работы с длинными текстами и следования инструкциям. Модель принимает текст и генерирует текст; её контекстное окно достигает 1 073 152 токенов. Для запуска используется Transformers. Модель дообучена на основе meta-llama/Llama-3.1-8B-Instruct: обучение включало продолжение предобучения на длинных последовательностях и настройку на инструкциях по общим темам, математике и программированию. Модель подходит для анализа больших документов и контекстов, а также для диалогов и ответов на вопросы с опорой на предоставленный текст. Карточка сообщает о конкурентных результатах на стандартных тестах и сильных результатах на задачах с очень длинным контекстом. Модель рассчитана прежде всего на английский язык. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование; перед применением необходимо соблюдать её условия. Указанный размер контекста не гарантирует одинаковую точность на всём диапазоне длины, а качество может зависеть от задачи и содержимого запроса.

RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w8a16 — это квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Модель предназначена для коммерческого и исследовательского использования в сценариях диалогового ассистента и генерации текста. Она поддерживает текстовый ввод и вывод, а также английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует архитектуру Meta-Llama-3 и содержит около 8 миллиардов параметров. Веса линейных операторов внутри блоков трансформера квантизированы в INT8 по схеме W8A16 с применением симметричной поканальной квантизации и алгоритма GPTQ; выходной слой lm_head не квантизирован. Это примерно вдвое уменьшает размер модели на диске и требования к GPU-памяти по сравнению с 16-битной версией. Модель оптимизирована для эффективного развёртывания с использованием vLLM; в примере конфигурации указан максимальный размер контекста 8192 токена. По заявленным оценкам, квантизация сохраняет качество в пределах 1% от исходной модели на MMLU, ARC-Challenge, GSM-8K, Hellaswag, Winogrande и TruthfulQA. Основные ограничения связаны с меньшим размером и возможными особенностями качества 8-битной квантизации по сравнению с полной версией, а также с тем, что модель предназначена прежде всего для текстовых, а не мультимодальных задач. Модель распространяется по лицензии Llama 3.1; использование не должно нарушать применимое законодательство и требования экспортного контроля.

Furiosa-AI Qwen3-30B-A3B-FP8 — оптимизированная сборка модели Qwen3-30B-A3B-FP8, распространяемая вместе с Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD с помощью Furiosa-LLM. Исходная модель относится к семейству Qwen3; карточка Furiosa-AI предназначена для работы с этой моделью в специализированной инфраструктуре. Это авторегрессионный текстовый Transformer с архитектурой Mixture-of-Experts (MoE): всего около 30,5 млрд параметров, из которых примерно 3,3 млрд активируются для каждого токена. Модель работает в режимах с рассуждением и без него, поддерживает переключение режима для каждого запроса, генерацию текста, следование инструкциям, мультиязычные сценарии и вызов инструментов. Входная и выходная модальности — текст; конкретный размер контекста и перечень поддерживаемых языков в README не указаны. Веса статически квантизованы в FP8, активации во время выполнения используют динамическую FP8-квантизацию, а KV-кэш сохраняется в 16-битной точности. Поддерживаются reasoning-parser для отделения рассуждений от ответа и hermes-парсер для вызова функций. Сборка рассчитана на Furiosa-LLM и FuriosaAI RNGD; на этой платформе используется тензорный параллелизм на 32 вычислительных элементах, что соответствует четырём картам RNGD. Это ограничивает непосредственную применимость сборки вне совместимой аппаратной и программной инфраструктуры, хотя исходная модель также запускается в других фреймворках. Модель распространяется по лицензии Apache 2.0.

QuantTrio/Qwen3.5-27B-AWQ — это квантизированная версия мультимодальной модели Qwen3.5-27B, разработанная на основе базовой модели Qwen/Qwen3.5-27B. Репозиторий содержит веса в формате Hugging Face Transformers и использует data-free квантизацию AWQ, для которой не требуется калибровочный набор данных. Модель предназначена для генерации текста и обработки изображений вместе с текстом, включая задачи рассуждения, программирования, визуального понимания и создания агентных приложений. Модель имеет архитектуру causal language model с vision encoder, около 27 млрд параметров, 64 слоя и гибридную структуру из Gated Delta Networks, sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для запуска рекомендуются vLLM и совместимые инструменты, однако README указывает на необходимость актуальных экспериментальных версий зависимостей, CUDA 12.8 и настройки с двумя GPU. Сильными сторонами являются мультимодальность, большой контекст, широкое языковое покрытие и оптимизация AWQ для более эффективного использования памяти. Ограничения включают существенные аппаратные требования, зависимость от экспериментальных версий программного обеспечения и необходимость включения remote code. Модель распространяется по лицензии Apache-2.0.

Gemma-4-31B-it 4-bit W4A16 AWQ — это квантизированная версия мультимодальной instruction-tuned модели Google Gemma-4-31B-it, опубликованная ebircak. Модель предназначена для генерации текста, диалоговых приложений, программирования, вызова инструментов и обработки задач, требующих работы с текстом и изображениями. Она оптимизирована для развертывания через vLLM. Модель использует архитектуру Gemma4ForConditionalGeneration с 60 декодерными слоями и размером скрытого представления 5376. Текстовый декодер квантизирован до 4-битных асимметричных весов W4A16 с активациями FP16 или BF16, размером группы 128 и форматом compressed-tensors. Vision tower на базе SigLIP и мультимодальный проектор сохранены в BF16 и не квантизированы. Заявлено контекстное окно до 262 тысяч токенов, при этом работа с контекстом 128 тысяч токенов подтверждена. Поддерживаемые языки в README не указаны. Ключевые преимущества — существенно сниженные требования к памяти по сравнению с полноразмерной моделью, сохранение мультимодальных компонентов и поддержка длинного контекста. Для работы рекомендуется vLLM с параметром --quantization compressed-tensors; указание режима awq несовместимо с используемой схемой сериализации. Для коротких контекстов требуется около 24 ГБ VRAM, для 128K токенов — около 48 ГБ, а для производственного использования с длинным контекстом рекомендуется 48 ГБ и более. Ограничения включают зависимость от совместимых сборок vLLM и GPU, а также отсутствие в README данных о качестве, бенчмарках и влиянии квантизации на точность. Модель распространяется по лицензии Apache-2.0.

pszemraj/granite-4.0-h-7b-heretic — производная диалоговая модель на основе IBM Granite 4.0 H Tiny. В метаданных указаны архитектура GraniteMoeHybridForCausalLM (гибридная MoE), 500,2 млн параметров, контекст до 131 072 токенов и формат Safetensors; README описывает абляцию, направленную на снижение отказов отвечать. По приведённому сравнению доля отказов составляет 6 из 100 против 98 из 100 у базовой модели, а KL-дивергенция — 0,03. Модель предназначена для генерации диалоговых ответов и может использоваться для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного общения. Наследует возможности Granite по следованию инструкциям и вызову инструментов, однако результаты приведены для ограниченного набора проб и сами по себе не подтверждают качество на других задачах. В карточке указаны английский как язык модели; README базовой модели перечисляет также немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский, но не устанавливает их поддержку именно этой производной модели. Лицензия — Apache 2.0. Как и базовая модель, она может выдавать неточные, предвзятые или небезопасные ответы; снижение числа отказов требует тщательной проверки применения.

Hermes-2 Θ (Theta) 70B — языковая модель Nous Research, созданная совместно с Charles Goddard и Arcee AI. Это плотная авторегрессионная модель семейства Llama 3 с 69,5 млрд параметров, полученная слиянием Hermes 2 Pro и Llama 3 Instruct с последующим дообучением с помощью RLHF. Репозиторий содержит веса SafeTensors; лицензия — llama3. Модель предназначена для многошагового диалога в формате ChatML и поддерживает контекст до 32 768 токенов. Она обучена вызову функций, выдаче структурированных ответов по JSON-схеме и извлечению признаков из документов для RAG. В метаданных указан английский язык. Эти возможности помогают создавать чат-ассистентов, связывать модель с инструментами и получать ответы в заданном формате. В README приведены результаты нескольких бенчмарков, включая IFEval и MTBench, но они не гарантируют качество на конкретных запросах. Для вызова функций требуется внешняя логика, которая разбирает вызов, выполняет функцию и передаёт результат обратно модели. Для эксплуатации нужно учитывать значительный размер модели: в README также упоминается вариант инференса в 4-битном режиме.

duyntnet/internlm2_5-7b-chat-1m-imatrix-GGUF — это GGUF-квантизации чат-модели InternLM2.5-7B-Chat-1M, разработанной командой InternLM. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, следование инструкциям, математическое рассуждение, работу с длинными документами и использование инструментов. Модель содержит около 7 миллиардов параметров и работает с текстовой модальностью. Заявлено контекстное окно до 1 миллиона токенов, а также улучшенные способности к рассуждению, выбору инструментов, следованию инструкциям и рефлексии. Для длинного контекста рекомендуется LMDeploy; заявленная конфигурация на 1 миллион токенов требует 4 GPU A100 с 80 ГБ памяти. Для обычного запуска доступны llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. К сильным сторонам относятся большой контекст, математическое рассуждение и поддержка сценариев с инструментами. Ограничения включают высокие вычислительные требования при использовании максимального контекста, а также зависимость от совместимого ПО и параметров квантизации. В метаданных указаны английский язык и лицензия «other»; точные условия лицензии README не уточняет.

aifeifei798/Meta-Llama-3.1-8B-Instruct — мультиязычная инструктивная языковая модель, разработанная Meta на архитектуре Llama 3.1. Это авторегрессионный трансформер с 7,5 млрд параметров и механизмом Grouped-Query Attention; репозиторий содержит веса в формате safetensors. Модель принимает и генерирует текст, настроена на диалог с помощью дообучения по инструкциям и обучения с обратной связью от людей. Контекстное окно — до 131 072 токенов. Модель предназначена для диалоговых помощников, ответов на запросы и других задач генерации текста. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; метаданные также включают китайский, корейский и японский. Возможен интерфейс вызова инструментов, но его интеграцию и безопасность должен обеспечивать разработчик приложения. Условия использования определяет пользовательская лицензия Meta Llama 3.1 Community License; действуют её ограничения и Acceptable Use Policy.

RedHatAI/Meta-Llama-3.1-8B-quantized.w8a8 — квантизированная версия языковой модели Meta-Llama-3.1-8B, разработанная Neural Magic. Модель предназначена для генерации текста и ассистентских диалогов, а также для коммерческого и исследовательского использования в многоязычных сценариях. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует архитектуру Meta-Llama-3 и работает только с текстовыми входами и выходами. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8 по схеме W8A8 с применением GPTQ. Используются статическая поканальная квантизация весов и динамическая потокенная квантизация активаций. Заявленная максимальная длина контекста при развертывании составляет 8192 токена. Модель оптимизирована для работы с vLLM и совместимого с OpenAI API сервинга. Ключевые преимущества — примерно двукратное снижение требований к памяти GPU и увеличение пропускной способности матричных умножений примерно в два раза, а также сокращение размера модели на диске примерно на 50%. При этом качество близко к исходной модели: средний результат на OpenLLM Leaderboard составляет 62,71 против 63,03 у неквантизированной версии. Ограничения включают возможное небольшое снижение точности из-за квантизации, текстовую модальность и зависимость от совместимого окружения развертывания. Модель распространяется по лицензии Llama 3.1.

solidrust/Mistral-7B-Instruct-v0.3-AWQ — это 4-битно квантованная версия Mistral-7B-Instruct-v0.3, разработанной компанией Mistral AI (mistralai) и опубликованной в формате AWQ пользователем Suparious. Модель представляет собой большую языковую модель с авторегрессионной архитектурой для генерации текста и была дообучена на выполнение инструкций. Модель предназначена для диалоговых сценариев, ответов на запросы пользователей, генерации и обработки текста, а также задач, где требуется следование инструкциям. Базовая версия Mistral-7B-v0.3 получила расширенный словарь размером 32768 токенов, поддержку токенизатора v3 и function calling. README не указывает поддерживаемые языки и размер контекстного окна. Ключевое преимущество версии AWQ — снижение требований к памяти и потенциально высокая скорость инференса при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Ограничением является поддержка преимущественно Linux и Windows с графическими процессорами NVIDIA; для macOS рекомендуется использовать модели в формате GGUF. Для запуска доступны AutoAWQ, vLLM, Text Generation Inference, Transformers и Text Generation WebUI. Модель распространяется по лицензии Apache-2.0.

Mixtral-8x22B-Instruct-v0.1 — инструктивная языковая модель от команды Mistral AI на архитектуре Mixtral с причинным декодированием и смесью экспертов (MoE). Это дообученная версия Mixtral-8x22B-v0.1; в метаданных указан размер 22B параметров и контекст до 65 536 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, объяснений и взаимодействия с инструментами через предусмотренный формат function calling. Метаданные указывают поддержку английского, испанского, итальянского, немецкого и французского языков. Для запуска README описывает токенизацию и инференс через mistral-common и mistral-inference; в метаданных также указана библиотека vLLM. Модель распространяется по лицензии Apache-2.0. README отмечает, что для function calling нужно корректно применять специальные токены и формат токенизатора SentencePieceTokenizerV3; результаты вызова инструментов зависят от совместимой обработки этого формата.