II.8Инженерия данных и аналитика

Это конвертированная версия открытой весовой модели gpt-oss-20b, разработанной OpenAI и опубликованной axolotl-ai-co. Модель предназначена для генерации текста, диалога, рассуждений и агентных сценариев, включая вызов функций и работу с инструментами. Архитектура — разреженная смесь экспертов (MoE); карточка модели указывает 21 млрд параметров, из которых активно 3,6 млрд, тогда как метаданные репозитория содержат значение 1,6 млрд. Контекст составляет 131 072 токена. Модель обучена работать в формате Harmony и может запускаться через Transformers и vLLM. Среди возможностей — настройка уровня рассуждений, дообучение под специализированные задачи и использование для локальных сценариев с меньшей задержкой. В README заявлена нативная точность MXFP4 для слоёв MoE и возможность работы в пределах 16 ГБ памяти. Модель принимает текст и выдаёт текст. Лицензия Apache-2.0 допускает коммерческое использование. Следует применять формат Harmony: вне него модель может работать некорректно; цепочку рассуждений не следует показывать конечным пользователям.

K-EXAONE-2.0-750B-A37B-FP8 — квантизированная FP8-версия большой мультиязычной языковой модели K-EXAONE 2.0, разработанной LG AI Research. Модель предназначена для генерации текста, сложного рассуждения, агентных рабочих процессов, программирования и задач, требующих понимания длинного контекста. Она ориентирована на использование в исследовательских и производственных системах искусственного интеллекта. Модель имеет архитектуру Mixture-of-Experts (MoE): 750 млрд параметров всего, из которых 37 млрд активируются для обработки одного входа. Конфигурация включает 78 основных слоёв, 256 экспертов, одного общего эксперта и 8 активируемых экспертов. Используются 64 query-heads и 8 key-value-heads, а также комбинация глобального внимания и скользящего внимания. Заявлена поддержка десяти языков: корейского, английского, испанского, немецкого, японского, вьетнамского, французского, итальянского, польского и португальского. Точная длина контекста в представленном README не указана. К сильным сторонам относятся масштаб модели, мультиязычность, улучшенные возможности рассуждения, агентного кодирования и извлечения информации из длинного контекста, а также заявленная повышенная безопасность. Для ускорения вывода поддерживаются методы speculative decoding MTP и DSpark, которые, согласно README, могут увеличить скорость генерации примерно в 3–5 раз. Главные практические ограничения — чрезвычайно большой общий размер модели и, несмотря на MoE, высокие требования к инфраструктуре для развёртывания; конкретные требования к памяти и производительности не указаны. Модель распространяется по лицензии Apache License 2.0.

Mistral-Small-Instruct-2409 — плотная языковая модель на 22 млрд параметров от команды Mistral AI, дообученная следовать инструкциям. Она предназначена для диалогов, генерации текста и вызова функций в приложениях и inference-сервисах. Модель поддерживает контекст до 32 768 токенов и, согласно карточке, функцию вызова инструментов; для запуска рекомендуются vLLM или mistral-inference. Для работы на одном GPU требуется не менее 44 ГБ видеопамяти, либо можно распределить нагрузку между несколькими устройствами. В карточке перечислена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому условия использования следует проверять в материалах модели на Hugging Face.

MyAwesomeModel — языковая модель, представленная в репозитории david123TJP/MyAwesomeModel-TestRepo. README не указывает имя разработчика или организацию, создавшую модель. Модель реализована с использованием библиотеки Transformers и распространяется по лицензии MIT. Модель предназначена для сложных задач рассуждения, математических и логических задач, программирования, понимания и генерации текста, классификации, анализа тональности, суммаризации, перевода, ответов на вопросы и диалогового взаимодействия. Также заявлена поддержка function calling, системных промптов, загрузки файлов и генерации с использованием результатов веб-поиска. По данным README, после обновления были улучшены глубина рассуждений, возможности вывода и снижена частота галлюцинаций. Точные сведения об архитектуре, количестве параметров, модальностях, языках и размере контекстного окна не приведены. Указано, что модель использует увеличенную глубину рассуждений: в тесте AIME 2025 среднее использование выросло примерно с 12K до 23K токенов на вопрос, а точность повысилась с 70% до 87,5%. Для работы рекомендуется temperature 0,6 и системный промпт с текущей датой. README также упоминает вариант MyAwesomeModel-Small, архитектура которого идентична базовой модели, но подробности о нём не раскрыты.

RedHatAI/Qwen3-4B-Instruct-2507-quantized.w8a8 — это квантизированная версия языковой модели Qwen/Qwen3-4B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель построена на архитектуре Qwen3ForCausalLM, работает с текстом на входе и генерирует текст на выходе. Размер базовой модели — 4 млрд параметров; поддерживается контекст до 262 144 токенов в конфигурации развертывания, указанной в README. Модель предназначена для рассуждений, следования многоязычным инструкциям, перевода и function calling. Её также можно адаптировать под предметные области с помощью дообучения. Языки перечислены обобщённо как многоязычные, без указания конкретного набора языков. Поддерживается эффективное развертывание через vLLM, включая OpenAI-совместимый API. Веса и активации линейных операторов в блоках Transformer квантизированы в INT8; применяются SmoothQuant и GPTQ. Это примерно вдвое снижает требования к памяти и размер модели на диске, а также может увеличить пропускную способность матричных умножений примерно в 2 раза. Ограничение модели — использование квантованного представления и текстовая модальность; сведения о конкретном влиянии квантования на качество и подробные результаты оценки в README не приведены. Модель распространяется по лицензии Apache 2.0.

Mungert/Qwen3.5-122B-A10B-GGUF — это GGUF-квантизированная версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen. Репозиторий подготовлен Mungert с использованием llama.cpp и предназначен для локального запуска и эффективного инференса в совместимых инструментах, включая llama.cpp и связанные экосистемы GGUF. Модель представляет собой авторегрессионную языковую модель с vision encoder, поддерживающую обработку текста и изображений. Она рассчитана на рассуждения, программирование, работу с агентами, визуальное понимание и другие универсальные задачи. Заявлена поддержка 201 языка и диалекта. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture of Experts: всего 122 млрд параметров, из которых при генерации активируются около 10 млрд. Модель содержит 48 слоёв и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Ключевое преимущество этой сборки — специальная стратегия квантизации: важные слои вручную переводятся в более высокую точность сверх стандартной конфигурации IMatrix. По заявлению автора, это особенно улучшает точность при низкой разрядности и для MoE-моделей, но увеличивает размер файлов. Фактические характеристики зависят от выбранного GGUF-варианта и аппаратного обеспечения; README не приводит подробностей о конкретных уровнях квантизации, требованиях к памяти или независимых результатах тестирования. Исходная модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-8B-FP8-dynamic — это квантизированная FP8-версия языковой модели Qwen3-8B, разработанная Red Hat совместно с Neural Magic на базе модели Alibaba Cloud Qwen/Qwen3-8B. Модель предназначена для генерации текста, рассуждений, многоязычного следования инструкциям, перевода, вызова функций и создания предметно-ориентированных решений с помощью дообучения. Она поддерживает tool calling и рассчитана на работу с текстовыми входами и выходами. Модель использует архитектуру Qwen3ForCausalLM и поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский и ряд других языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: для весов применяется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокенная схема. По заявлению разработчиков, это примерно на 50% снижает требования к видеопамяти и размер на диске, а также примерно вдвое увеличивает пропускную способность матричных вычислений. Длина контекста в README не указана. Модель оптимизирована для эффективного развёртывания с использованием vLLM, включая OpenAI-совместимый сервер, и валидирована в Red Hat OpenShift AI 2.24, Red Hat AI Inference Server 3.2.1 и vLLM 0.10.0. Ограничения FP8-квантизации и отсутствие сведений о конкретных показателях качества следует учитывать при выборе модели. Распространяется по лицензии Apache 2.0; использование не должно нарушать применимое законодательство и требования экспортного контроля.

Solar-Open2-250B-Nota-INT4 — 4-битная квантованная версия языковой модели Solar-Open2-250B от Upstage, подготовленная компанией Nota AI. Модель предназначена для генерации текста, диалоговых приложений, рассуждений, программирования, вызова инструментов и других задач обработки естественного языка. Заявлены языки английский, корейский и японский. Модель основана на архитектуре Mixture-of-Experts (MoE) и использует квантование весов W4A16 с форматом INT4, размером группы 128 и упаковкой AutoRound, совместимой с GPTQ. Весовой объём составляет около 142,9 ГБ против 500,6 ГБ в формате BF16. Модель рассчитана на развёртывание через vLLM; в README приведена конфигурация с tensor parallelism для четырёх GPU. Размер контекста в предоставленных данных не указан. Ключевое преимущество — снижение требований к памяти при сохранении близкого к BF16 качества: средний результат на приведённых бенчмарках составляет 81,17 против 81,57 у BF16. Для квантования применены методы Nota AI, ориентированные на сохранение маршрутизации экспертов, включая DREAM-MoE и SRA-MoE. Ограничениями являются необходимость значительных вычислительных ресурсов для запуска, зависимость от совместимой версии vLLM и возможное небольшое снижение качества на отдельных задачах по сравнению с BF16. Модель распространяется по лицензии Upstage Solar License. Для производных моделей требуется использовать префикс Solar в названии, указывать формулировку Built with Solar в публичных материалах и включать копию лицензии Upstage Solar.

cyberneurova-gemma-4-26B-A4B-GGUF — квантизированная GGUF-версия модели cyberneurova-gemma-4-26B-A4B, разработанная CyberNeurova на базе google/gemma-4-26B-A4B. Модель предназначена для локального и self-hosted развертывания, генерации текста, диалоговых сценариев, программирования, tool calling, агентных приложений и задач, где требуется режим рассуждений. Она также поддерживает обработку изображений и относится к мультимодальным моделям. Архитектура модели — Gemma-4 MoE (mixture-of-experts): всего 26 млрд параметров, из которых при обработке активны 4 млрд. Доступны варианты квантизации от 2 до 8 бит, включая специализированный MXFP4_MOE; рекомендуемым универсальным вариантом указан Q4_K_M. Файлы рассчитаны на использование с llama.cpp и Ollama. В README приведён пример контекста 32 768 токенов, однако не уточняется, является ли это максимальным размером контекста модели. Ключевая особенность сборки — abliteration, то есть удаление из весов направления, связанного с типичным отказным поведением. Поэтому у модели снижены встроенные ограничения безопасности, и она может отвечать на запросы, которые стандартная Gemma-4 отклоняет. Это может быть полезно для red teaming, исследований безопасности, разработки управляемых агентов и контролируемых локальных ассистентов, но повышает риск вредоносных или небезопасных результатов; для публичного доступа рекомендуется прикладная модерация. Указан английский язык. Распространение осуществляется по Gemma Terms of Use; ответственность за соблюдение законодательства и условий лицензии несёт оператор.

unsloth/gemma-3-12b-it-qat-bnb-4bit — 12-миллиардная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind. Она создана на основе Google Gemma и использует Quantization Aware Training (QAT). Модель мультимодальная: принимает текст и изображения, а генерирует текст. Контрольные веса в данном репозитории указаны как соответствующие базовой модели google/gemma-3-12b-it-qat-q4_0-unquantized. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений, анализа изображений и извлечения визуальной информации. Она поддерживает более 140 языков и контекст до 128 000 токенов; максимальный объём генерируемого ответа составляет 8192 токена. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Благодаря относительно небольшому размеру модель подходит для развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ключевое преимущество QAT — сохранение качества, близкого к bfloat16, при существенно меньших требованиях к памяти после квантования. При этом README уточняет, что размещённый checkpoint является неквантованным и его необходимо самостоятельно квантовать в формат Q4_0 подходящим инструментом. Модель распространяется по лицензии Gemma; для доступа к ней на Hugging Face требуется войти в аккаунт и принять условия использования Google.

Inkling-Small-GGUF — квантованная версия Inkling-Small, разработанного Thinking Machines и опубликованная в формате GGUF с использованием подходов Unsloth. Это мультимодальная авторегрессионная модель с открытыми весами, предназначенная для исследований, дообучения и интеграции в сторонние продукты. Модель принимает текст, изображения и аудио, а генерирует текст. Она рассчитана на диалоговые сценарии, следование инструкциям, создание AI-агентов и систем с использованием инструментов, разработку кодовых ассистентов, чат-ботов и решений с retrieval-augmented generation. Поддерживаются английский и другие языки с общими мультиязычными возможностями, а также различные языки программирования. Изображения должны быть пиксельными; рекомендуемый размер каждой стороны составляет от 40 до 4096 пикселей. Аудио подаётся в формате WAV с частотой 16 кГц, предпочтительно длительностью менее двух минут. Архитектура представляет собой 42-слойный decoder-only transformer со sparse Mixture-of-Experts: всего 276 млрд параметров, из которых для каждого токена активно около 12 млрд. Каждый токен направляется к 6 из 256 экспертов, дополнительно используются 2 общих эксперта; механизм внимания сочетает локальные и глобальные слои. Изображения обрабатываются иерархическим patch encoder, аудио — через дискретное токенизирование, после чего все модальности переводятся в общее скрытое пространство. Поддерживаются числовые форматы BF16 и NVFP4. Ограничения включают отсутствие заявленного в карточке размера контекстного окна и зависимость качества и требований к ресурсам от выбранного уровня квантования и среды запуска. Модель распространяется по лицензии Apache-2.0. Для локального запуска заявлена совместимость с SGLang, vLLM, TokenSpeed, Unsloth и Hugging Face; также доступны API и сторонние провайдеры инференса.

nvidia/Kimi-K2.5-NVFP4 — квантизированная версия мультимодальной авторегрессионной языковой модели Kimi-K2.5, разработанной Moonshot AI. Квантизация выполнена NVIDIA с использованием Model Optimizer; NVIDIA подчёркивает, что не является владельцем или разработчиком базовой модели. Модель предназначена для разработчиков и исследователей, создающих приложения и системы на базе LLM. Модель построена на архитектуре Transformers с сетевой архитектурой DeepSeek V3 и заявленным числом параметров около 1 трлн. Она принимает текст, изображения и видео, генерируя текст, поддерживает контекст длиной до 256 тыс. токенов. Версия NVFP4 получена преобразованием и квантизацией весов и активаций из INT4 через BF16 в формат NVFP4; квантизации подвергнуты линейные операторы внутри MoE-блоков трансформера. Для запуска заявлена интеграция с vLLM на Linux и GPU NVIDIA Blackwell. К сильным сторонам относятся мультимодальность, очень длинный контекст, совместимость с аппаратным ускорением NVIDIA и сохранение близких к базовой модели результатов на указанных тестах: MMLU Pro, LiveCodeBench V6, SciCode и AIME 2025. Точные языки, размер обучающего набора и подробные характеристики тестовых данных в README не раскрыты. Для безопасного внедрения требуется дополнительное тестирование на данных конкретного сценария. Использование регулируется NVIDIA Open Model License с дополнительными условиями Modified MIT License базовой модели; модель заявлена для коммерческого и некоммерческого применения.

Qwen1.5-72B-Chat-GPTQ-Int4 — чат-модель семейства Qwen1.5, разработанная командой Qwen. Это decoder-only языковая модель на архитектуре Transformer, дообученная с применением supervised fine-tuning и direct preference optimization для повышения качества диалогов и соответствия человеческим предпочтениям. Вариант GPTQ-Int4 содержит 72 млрд параметров и предназначен для генерации текста в формате чата. Модель подходит для диалоговых помощников, ответов на вопросы, создания и обработки текстов, а также работы с естественными языками и программным кодом. Заявлена мультиязычная поддержка, однако точный перечень языков в README не указан. Модель поддерживает контекст до 32K токенов и может загружаться через Transformers с использованием AutoModelForCausalLM и AutoTokenizer; для работы рекомендуется transformers версии 4.37.0 или новее. К сильным сторонам относятся большой размер, улучшенная по сравнению с предыдущим поколением производительность в оценках человеческих предпочтений, чатовая настройка и 4-битная GPTQ-квантизация, снижающая требования к памяти. К ограничениям относятся beta-статус семейства, возможные проблемы с переключением между языками и деградация результатов некоторых бенчмарков после DPO. В README также указано, что для этой beta-версии временно не включены GQA и комбинация sliding window attention с полной attention. Лицензия обозначена как other; используется лицензия tongyi-qianwen, полный текст доступен по ссылке в карточке модели.

Qwen3-30B-A3B-Instruct-2507-quantized.w4a16 — квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста, рассуждений, вызова функций, многоязычного следования инструкциям, перевода и последующей адаптации под предметные области с помощью дообучения. Модель построена на архитектуре Qwen3ForCausalLM и работает с текстовыми входами и выходами. Веса линейных операторов в трансформерных блоках сжаты до INT4 с использованием алгоритма GPTQ, симметричной групповой схемы с размером группы 128; выходной слой lm_head не квантизируется. Такое преобразование уменьшает число битов на параметр с 16 до 4, а также примерно на 75% снижает требования к дисковому пространству и памяти GPU. Размер базовой модели — 30B параметров, при этом в README не указаны точные сведения о языках и максимальном контексте; в примерах развертывания используется длина контекста до 262144 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам и возможность эффективного развертывания через vLLM, включая OpenAI-совместимый API. Ограничения связаны с потерями качества, возможными при INT4-квантизации, а также с отсутствием в предоставленных данных подробных результатов бенчмарков и характеристик поддержки отдельных языков. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

QuantTrio/Qwen3.5-35B-A3B-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Репозиторий QuantTrio содержит веса в формате, совместимом с Transformers и сервером инференса vLLM; квантизация выполнена методом data-free, без калибровочного датасета. Модель предназначена для генерации текста, программирования, рассуждений, агентских сценариев и анализа изображений с текстовыми запросами. Модель представляет собой causal language model с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Всего заявлено 35B параметров, из которых при обработке активируется около 3B; указаны 40 слоёв, hidden dimension 2048 и контекст до 32768 токенов в рекомендуемой конфигурации vLLM. Поддерживаются 201 язык и диалект. Доступны вызовы инструментов, reasoning-режим и speculative decoding через соответствующие возможности vLLM. Ключевые преимущества — существенно меньшие требования к памяти по сравнению с полной версией модели, эффективный MoE-инференс и поддержка текстово-визуальных задач. Ограничения включают зависимость от очень новых версий vLLM и Transformers, CUDA 12.8, специальных параметров запуска и настройки expert parallelism при распределённом инференсе; README не содержит независимых результатов бенчмарков для этой AWQ-версии. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3.5-397B-A17B-AWQ — квантизированная AWQ-версия модели Qwen3.5-397B-A17B, разработанной командой Qwen и распространяемой через Hugging Face. Репозиторий содержит веса и конфигурацию в формате Transformers, полученные методом data-free quantization без калибровочного набора данных. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это каузальная языковая модель со зрительным энкодером, поддерживающая мультимодальные входы. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Общее число параметров составляет 397 млрд, из них 17 млрд активируются при обработке запроса; указаны 60 слоёв и размер скрытого представления 4096. Заявлена поддержка 201 языка и диалекта. В README для запуска через vLLM рекомендуется максимальная длина контекста 32768 токенов. Сильные стороны модели — мультимодальность, широкий языковой охват, высокая вычислительная эффективность разреженной MoE-архитектуры и поддержка вызова инструментов и режимов рассуждения в совместимой инфраструктуре. Ограничения включают очень крупный размер файлов — около 228 ГиБ, высокие требования к GPU-инфраструктуре и зависимость от экспериментальных или предварительных версий vLLM и Transformers; для эффективного запуска также требуется CUDA 12.8 и корректная настройка экспертного параллелизма. Лицензия — Apache 2.0.

unsloth/Qwen3.5-4B-GGUF — компактная мультимодальная модель семейства Qwen3.5, разработанная командой Qwen и подготовленная в формате GGUF компанией Unsloth. Она предназначена для локального запуска, а также для задач, связанных с обработкой текста и изображений: рассуждений, программирования, визуального понимания и агентских сценариев. Модель поддерживает 201 язык и диалект. Это каузальная языковая модель с vision-энкодером и гибридной архитектурой, объединяющей Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts. Модель содержит около 4 млрд параметров, 32 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Указанные характеристики делают её ориентированной на эффективный инференс с относительно низкими требованиями к ресурсам, однако фактическая скорость и доступный контекст зависят от используемого движка и оборудования. Сильные стороны модели — сочетание текстовых и визуальных возможностей, широкий языковой охват, длинный контекст и пригодность для локального развертывания и дообучения с помощью Unsloth. Ограничения, включая качество на конкретных языках, типах изображений и прикладных задачах, в README подробно не описаны и требуют самостоятельного тестирования. Модель распространяется по лицензии Apache 2.0.

infosave/Qwen3.8-27B-cmf — это квантизированная версия модели Qwen3.8-27B, преобразованная в контейнер CMF. Исходная модель разработана командой Qwen, а данный репозиторий содержит её представление для запуска через cortiq — нативный Rust-бинарник без Python и ML-фреймворков. Модель предназначена для генерации текста, диалогов, объяснения технических тем и работы через API, совместимый с OpenAI, а также через Ollama-совместимый интерфейс. Модель имеет 27 млрд параметров и гибридную архитектуру: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания. Заявлено контекстное окно до 262 тысяч токенов и режим рассуждений. Поддерживаются английский, русский и китайский языки. Доступны варианты квантизации 4-bit и 8-bit; наиболее компактный q4tp занимает 14,3 ГБ, q4t — 15,4 ГБ, а q8_2f — 27,4 ГБ. К сильным сторонам относятся большое контекстное окно, поддержка различных GPU через Vulkan, Metal и DX12, работа на CPU, совместимость с NVIDIA, AMD, Intel и Apple silicon, а также возможность спекулятивного декодирования для ускорения жадной генерации. Ограничения связаны с высокими требованиями к памяти, зависимостью производительности от оборудования и характера запроса, а также с тем, что спекулятивное декодирование применяется преимущественно для greedy-генерации и не всегда ускоряет свободный текст. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3-VL-235B-A22B-Thinking-AWQ — квантизированная AWQ-версия мультимодальной модели Qwen3-VL-235B-A22B-Thinking из семейства Qwen, разработанного командой Qwen. Репозиторий содержит веса для генерации текста с поддержкой визуальных входных данных, включая изображения и видео, а также задач компьютерного зрения и взаимодействия с графическими интерфейсами. Модель предназначена для визуально-текстового понимания и рассуждений, распознавания объектов и текста, анализа документов, пространственного восприятия, STEM- и математических задач, генерации кода и выполнения агентных сценариев. Заявлены возможности работы с GUI, временной привязки событий в видео, OCR на 32 языках и обработки длинного контекста: нативно до 256 тысяч токенов с заявленным расширением до 1 миллиона. Архитектура — Mixture-of-Experts (MoE), общий размер 235B параметров, из которых 22B активны; применяются Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. AWQ-квантизация уменьшает требования к памяти по сравнению с полноразмерными весами, однако модель остаётся очень крупной: размер файлов указан как 117 GB. В README приведён сценарий запуска через vLLM с tensor parallelism на 8 GPU и включённым expert parallelism; для этой конфигурации указана максимальная длина контекста 32 768 токенов, что может отличаться от возможностей исходной модели. Для инференса рекомендуются vLLM и qwen-vl-utils. Лицензия — Apache-2.0.

Qwen3-VL-4B-Instruct-GGUF — мультимодальная vision-language модель, созданная командой Qwen и представленная в формате GGUF компанией Unsloth. Она предназначена для диалогов и генерации текста по текстовым и визуальным входным данным, включая изображения и видео. Модель подходит для визуального анализа, распознавания текста, пространственного рассуждения, решения STEM- и математических задач, понимания видеосцен, генерации кода и взаимодействия с графическими интерфейсами и инструментами. Модель относится к семейству Qwen3-VL и использует плотную архитектуру с 4B параметров. Заявлена поддержка контекста длиной 256K токенов с возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильные стороны модели — сочетание текстового и визуального понимания, расширенный контекст, обработка длинных документов и продолжительных видео, распознавание текста в сложных визуальных условиях, а также возможности пространственного и агентного рассуждения. Ограничения, включая точные требования к памяти, скорость работы, результаты бенчмарков и перечень поддерживаемых языков, в предоставленных данных не раскрыты. Модель распространяется по лицензии Apache-2.0.

Meta-Llama-3.1-70B-Instruct-GGUF — инструкционная большая языковая модель семейства Llama 3.1, разработанная Meta и представленная в формате GGUF сообществом backyardai. Она предназначена для генерации текста, диалоговых приложений, ответов на вопросы и выполнения инструкций. Модель является производной от meta-llama/Meta-Llama-3.1-70B-Instruct и ориентирована на сценарии локального или специализированного инференса с использованием совместимых инструментов. Модель имеет размер 70 миллиардов параметров и работает с текстовыми данными. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Конкретная архитектура, длина контекста и параметры квантования для данной сборки не указаны. Большой размер может обеспечивать высокое качество генерации, однако требует значительных вычислительных ресурсов; практические характеристики зависят от используемого варианта GGUF и среды запуска. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено требование получить отдельную лицензию Meta.

casperhansen/mistral-small-24b-instruct-2501-awq — это 4-битная AWQ-квантизованная версия Mistral-Small-24B-Instruct-2501. Исходную модель разработала Mistral AI, а квантизованные веса опубликованы пользователем casperhansen. Это instruction-tuned большая языковая модель для генерации текста, диалоговых агентов, вызова функций, локального инференса и последующей адаптации под специализированные задачи. Модель содержит около 24 млрд параметров и использует архитектуру MistralForCausalLM: 40 скрытых слоёв, 32 attention heads и 8 key-value heads. Максимальный контекст — 32 768 токенов. Модель работает с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Квантизация AWQ в формате INT4 уменьшает требования к памяти и делает локальное развёртывание практичнее, но может снижать точность по сравнению с исходными полноразмерными весами. Сильные стороны — относительно компактный для своего класса размер, поддержка многоязычной генерации, инструкций и function calling, а также возможность локального использования. Ограничения включают текстовую модальность, зависимость качества от выбранного 4-битного квантования и отсутствие подробной отдельной model card для этого производного репозитория. Для исходной Mistral-Small-24B-Instruct-2501 указана лицензия Apache 2.0; точные условия использования производного репозитория следует проверять по его метаданным.

surogate/Qwen3.5-2B-FP8 — вариант модели Qwen3.5-2B, опубликованный Surogate и основанный на Qwen/Qwen3.5-2B-Base. Это каузальная языковая модель с vision encoder для текстово-визуальных задач, включая рассуждения, программирование, агентские сценарии и анализ изображений. В README вариант рекомендован для движка обучения агентов Surogate и совместим с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативное контекстное окно до 262 144 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Представленные веса подвергнуты мелкозернистому FP8-квантованию с размером блока 128. По данным README, такая оптимизация сохраняет показатели, близкие к исходной модели, одновременно снижая требования к памяти и повышая эффективность инференса. Сильными сторонами являются мультимодальность, большое контекстное окно, компактный размер и пригодность для высокопроизводительного развертывания и агентских систем. Ограничения включают возможную потерю точности, характерную для квантования, а также то, что README не содержит подробных сведений о качестве на всех языках, ограничениях безопасности и результатах визуальных тестов. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-35B-A3B — мультимодальная модель Alibaba, опубликованная в формате Transformers и дообученная на базе Qwen/Qwen3.5-35B-A3B. Она предназначена для диалога, рассуждений, анализа изображений и агентных сценариев с вызовом инструментов. Модель принимает текст и изображения и генерирует текст; её архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активируются около 3 млрд. В модели 40 слоёв, а нативное контекстное окно составляет 262 144 токена и может расширяться примерно до 1,01 млн токенов. В README заявлена поддержка 201 языков и диалектов. Модель доступна в формате safetensors, совместима с Transformers, vLLM, SGLang и KTransformers и распространяется по лицензии Apache-2.0. Для работы с длинным контекстом и изображениями могут требоваться значительные вычислительные ресурсы; авторы рекомендуют при нехватке памяти уменьшить контекстное окно, сохраняя по возможности не менее 128 тысяч токенов для сложных задач.

ZuzeTt/Qwen3.5-4B-imatrix-GGUF — мультимодальная causal language model с vision encoder из семейства Qwen3.5, разработанная командой Qwen. Модель основана на Qwen/Qwen3.5-4B-Base и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated DeltaNet и разреженной Mixture-of-Experts с механизмом Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Репозиторий содержит артефакты в формате GGUF, полученные с использованием llama.cpp; README также указывает совместимость исходной модели с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, большое контекстное окно, компактный размер и архитектурная оптимизация для производительного инференса. Ограничения конкретной imatrix-квантизации, включая точность, требования к памяти и поддерживаемые варианты квантования, в README подробно не указаны. Лицензия — Apache 2.0.

Hyper-AI/Qwen3.5-9B-fp8 — квантизированная FP8-версия мультимодальной модели Qwen3.5-9B, основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для задач понимания и генерации текста, визуального анализа и сценариев vision-language, включая рассуждение, программирование, работу с изображениями и агентские приложения. Квантизация выполнена с использованием lightvl — инструментария, разработанного автором репозитория; модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers, а запуск через vLLM заявлен как поддерживаемый. Это causal language model с vision encoder и 9 млрд параметров. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts; языковая часть содержит 32 слоя, скрытое измерение 4096 и поддерживает контекст длиной 262 144 токена с расширением до 1 010 000 токенов. Qwen3.5 заявляет поддержку 201 языка и диалекта, однако конкретные языки и характеристики визуального энкодера для этой версии отдельно не раскрыты. Основные преимущества версии — снижение потребления памяти примерно с 19 до 12 ГБ и заявленное ускорение примерно на 30% по сравнению с исходной моделью, что делает её более подходящей для локального и высокопроизводительного инференса. Ограничения связаны с использованием FP8-квантизации: фактическая точность и совместимость могут зависеть от оборудования и программного стека, а в README не приведены подробные результаты сравнения именно с неквантизированной версией. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill-GGUF — это GGUF-квантизированная версия рассуждающей модели, разработанной пользователем nerkyor на базе Qwen/Qwen3.6-35B-A3B от команды Qwen. Модель использует MoE-архитектуру с 35 млрд общих параметров и примерно 3 млрд активных параметров, а также дистилляцию в стиле ReAct, ориентированную на более быстрое и стабильное решение сложных задач. Репозиторий предназначен для локального запуска через llama.cpp и совместимые приложения, включая Lynn Agent и LM Studio. Модель подходит для текстовой генерации, сложного рассуждения, оркестрации и агентских сценариев. Доступна поддержка изображений через отдельный vision projector. GGUF-файлы содержат встроенную native MTP-голову для speculative decoding и, кроме вариантов Q8_0 и F16, используют imatrix-коррекцию. Предлагаются варианты от Q4_K_M примерно на 21 ГБ до F16 примерно на 69 ГБ; рекомендуемый баланс качества и требований к памяти — Q4_K_M, а для высокопроизводительных систем с 32 ГБ и более рекомендуется Q5_K_M. В примере запуска используется контекст 8192 токенов, но README не указывает предельный размер контекста модели. По приведённым тестам дистиллированная версия показывает 80,3% на GPQA-Diamond и сокращает время сквозной оркестрации в 2,3 раза относительно базовой модели при включённом reasoning. Native MTP даёт ускорение до 1,63 раза на Q8_0 в однопоточном тесте, однако выигрыш зависит от квантизации и снижается при высокой многопоточности. Ограничением является небольшое снижение результата MMLU относительно базы — 90,2% против 91,4%; также для запуска требуются значительные объёмы VRAM или unified memory. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.6-35B-A3B-FP8-dynamic — мультимодальная модель семейства Qwen3.6 с архитектурой mixture-of-experts (MoE), разработанная RedHatAI на основе Qwen/Qwen3.6-35B-A3B от Alibaba Cloud. Модель принимает текст и изображения, а генерирует текст; заявлены улучшенные возможности рассуждений, вызова инструментов и обработки визуально-языковых запросов. Точные поддерживаемые языки и размер контекстного окна в представленном README не указаны. Модель оптимизирована для инференса в vLLM с помощью динамической FP8-квантизации весов и активаций. Квантизация применяется к линейным слоям трансформерных блоков, тогда как визуальный энкодер, MoE-маршрутизатор, общие эксперты, эмбеддинги и некоторые другие компоненты сохраняются в исходной точности. Это примерно на 50% снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Поддерживаются текстовый и мультимодальный режимы, вызов инструментов, рассуждения и speculative decoding с Multi-Token Prediction. Модель распространяется по лицензии Apache 2.0; в README подтверждена валидация для vLLM 0.18.0, RHOAI 3.4 и RHAIIS 3.4.

soyrsoyr/Qwen3.8-27B-W4A16-AWQ-GPTQ — квантизированная версия мультимодальной модели Qwen3.8-27B семейства Qwen3.5, разработанной Qwen. Модель предназначена для обработки текста и изображений, генерации ответов, решения задач рассуждения, работы с кодом и использования в сценариях, где важны сниженные требования к памяти и высокая скорость инференса. Она поддерживает запуск через Transformers и vLLM. Модель использует гибридную архитектуру внимания и является VLM с текстовым декодером и vision tower. Веса линейных слоёв текстового декодера квантизированы в INT4 по схеме W4A16 с группой 128, с применением AWQ и GPTQ. Vision tower, гибридные linear-attention mixers и lm_head сохранены в формате bf16; также сохранён базовый MTP-предиктор для speculative decoding. Полный VLM хранится в формате compressed-tensors. Точные сведения о языках и размере контекстного окна в README не указаны, однако приведён пользовательский результат с окном обслуживания до 256K токенов. К сильным сторонам относятся существенное снижение потребления памяти, совместимость с CUDA GPU, поддержка Marlin или compressed-tensors INT4-ядер и небольшая потеря качества относительно bf16-версии. В указанных тестах среднее восстановление результатов составило 99,3% на OpenLLM v1 и 94,9% на генеративном reasoning-наборе; при этом на AIME-25 снижение заметнее. Для работы требуются совместимые CUDA GPU и программный стек vLLM или Transformers с поддержкой соответствующего формата. Лицензия — Apache-2.0.

AlexAtomic/gemma4-e4b-it-GGUF — это квантизированная в формате GGUF версия Gemma 4 E4B-it, разработанная Google и самостоятельно квантизированная AlexAtomic для проекта Atomic Chat. Модель предназначена для локального и полностью офлайн-использования в чат-ботах, приложениях с агентными сценариями и задачах, требующих обработки текста, изображений и аудио с генерацией текстовых ответов. Поддерживаются нативный function calling и настраиваемый режим рассуждений, включаемый токеном <|think|>. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом эмбеддингов, использует Per-Layer Embeddings и состоит из 42 слоёв. Архитектура Dense сочетает локальное скользящее внимание с окном 512 и глобальное внимание с p-RoPE; размер контекста — 128K токенов, словарь — 262K. Поддерживаются более 35 языков, при этом предобучение проводилось на более чем 140 языках. Для мультимодальной работы в репозитории предусмотрен vision-проектор mmproj. Ключевое преимущество — сочетание мультимодальности, большого контекста, офлайн-запуска и экономичного размера, а importance matrix помогает сохранить качество при низкобитовой квантизации. Ограничения связаны с потерями качества у самых компактных вариантов, а для корректной работы требуется применять шаблон чата Gemma 4 через параметр --jinja; для изображений необходим соответствующий mmproj. Доступны варианты квантизации от Q2_K до Q8_0, рекомендуемый баланс размера и качества — Q4_K_M. Модель распространяется по лицензии Apache-2.0.