II.2Создание и понимание программного кода

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизованная версия плотной языковой модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказного поведения; при этом README предупреждает, что для критически важных длинноконтекстных агентских задач более безопасным выбором может быть Balanced-вариант, если он доступен. Архитектура включает 64 слоя, скрытый размер 5120, размер FFN 17 408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Модель сохраняет встроенный MTP/NextN и поддерживает ускорение HauhauCS FastMTP через отдельный sidecar-файл. Заявлены нативный контекст 262 144 токена и расширение до 1 000 000 токенов. Для мультимодального ввода используется отдельный vision projector в формате BF16; текстовые кванты доступны в вариантах от Q2 до Q8, включая пользовательские K_P-квантизации. Сильные стороны модели — сочетание большого контекстного окна, текстовых, reasoning-, агентских и мультимодальных возможностей, а также варианты квантизации для запуска в средах, совместимых с GGUF, включая llama.cpp и LM Studio. Ограничения связаны с тем, что Aggressive-профиль намеренно снижает склонность к отказам, что может быть нежелательно для задач с повышенными требованиями к безопасности и надёжности. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-235B-A22B-Instruct-AWQ — квантованная версия мультимодальной instruct-модели Qwen3-VL-235B-A22B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста по текстовым и визуальным запросам, анализа изображений и видео, OCR, визуального рассуждения, решения STEM- и математических задач, пространственного анализа, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Модель построена на архитектуре Mixture-of-Experts (MoE) с общим размером 235B параметров и 22B активных параметров. Она поддерживает текст, изображения и видео, заявлена с нативным контекстом 256K токенов и возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. К сильным сторонам относятся расширенное понимание изображений и видео, распознавание текста в сложных условиях, пространственное и временное рассуждение, а также возможность использования в агентных сценариях и визуальном программировании. Ограничения связаны с крупным размером и высокими требованиями к вычислительным ресурсам: опубликованный набор файлов занимает около 117 GB, а пример запуска рассчитан на 8 GPU с tensor parallelism и expert parallelism. Репозиторий распространяется по лицензии Apache-2.0; для инференса рекомендуется vLLM версии 0.11.0 или выше.

Qwen3-VL-235B-A22B-Instruct-MXFP4 — вариант весов модели Qwen3-VL от команды Qwen. Это мультимодальная модель с архитектурой MoE, предназначенная для диалога и совместного понимания текста и изображений; карточка также описывает возможности работы с видео и пространственными данными. Модель может анализировать визуальные сцены, отвечать на вопросы, распознавать текст в изображениях и документах, выполнять визуальное рассуждение и взаимодействовать с интерфейсами через инструменты. В README заявлен контекст 256K токенов с возможностью расширения до 1M, а также OCR на 32 языках. Среди описанных возможностей — понимание длительного видео с привязкой событий ко времени, генерация кода и диаграмм по визуальным примерам, пространственное рассуждение и задачи STEM. Репозиторий содержит веса safetensors; метаданные указывают библиотеку Transformers и лицензию Apache-2.0. Размер MXFP4 в имени указывает на квантизованный вариант весов, однако формат MXFP4 отдельно в метаданных форматов не подтверждён.

cyankiwi/Qwen3-VL-30B-A3B-Instruct-AWQ-4bit — это квантизированная 4-битная версия мультимодальной instruction-модели Qwen3-VL-30B-A3B-Instruct, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, а также для понимания видео, генерации ответов по визуальному содержимому, анализа документов, OCR, STEM- и математических задач, пространственного рассуждения и взаимодействия с графическими интерфейсами и инструментами. Модель использует архитектуру Mixture-of-Experts (MoE) и относится к семейству с заявленным масштабом 30B параметров и 3B активных параметров. В архитектуре применяются Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. Заявлена длина контекста 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — объединённое текстово-визуальное понимание, распознавание объектов и документов, анализ пространственных отношений и длительных видео, генерация HTML/CSS/JS и Draw.io по изображениям или видео, а также выполнение задач визуального агента. Ограничения и требования к ресурсам для данной AWQ-квантизации, равно как и подробные результаты тестирования, в README не описаны. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3-VL-32B-Instruct-AWQ-4bit — 4-битная квантованная версия мультимодальной модели Qwen3-VL-32B-Instruct. Базовую модель разработала команда Qwen, а данную сборку подготовил Ton Cao. Модель предназначена для генерации текста по изображениям и тексту, визуального анализа, распознавания текста на изображениях, понимания видео, пространственного рассуждения, мультимодального решения задач и взаимодействия с графическими интерфейсами. Она также ориентирована на визуальное программирование и может генерировать Draw.io, HTML, CSS и JavaScript по изображениям или видео. Модель имеет плотную архитектуру с 32 миллиардами параметров и поддерживает текстово-визуальные входы. Заявлены контекст длиной 256K токенов с возможностью расширения до 1M, анализ продолжительных видео, индексация событий по времени и OCR для 32 языков. Среди архитектурных особенностей указаны Interleaved-MRoPE для обработки временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками. Квантование выполнено методом AWQ до INT4 с размером группы 32 на основе датасета FineVision с использованием llm-compressor. Сильные стороны модели — широкий набор визуальных и текстовых возможностей, работа с длинным контекстом, видео, документами, пространственными отношениями и агентными сценариями при сниженных требованиях к памяти благодаря INT4-квантованию. Ограничения включают возможную потерю качества по сравнению с полноразмерной моделью, а также высокие вычислительные требования, связанные с исходным размером 32B и мультимодальной обработкой. В README не указаны полный перечень поддерживаемых языков для генерации, точные системные требования и результаты численных тестов. Модель распространяется по лицензии Apache-2.0.

FadedRedStar/gemma-4-E2B-it-qat-q4_0-heretic-GGUF — мультимодальная GGUF-версия модели Gemma 4 E2B, разработанной Google DeepMind. Модель предназначена для диалогов, рассуждений, генерации текста, обработки изображений и аудио, а также локального и периферийного развертывания. Поддерживаются системные сообщения, роли system/user/assistant, нативный вызов функций и настраиваемый режим рассуждений. Модель имеет гибридную архитектуру со скользящим и глобальным вниманием, 35 слоями и окном скользящего внимания 512 токенов. Контекст составляет 131 072 токена. Эффективный размер — 2,3 млрд параметров, общий размер с учетом Per-Layer Embeddings — 5,1 млрд. Поддерживаются текст, изображения и аудио; для мультимодального ввода используются отдельные vision/audio-проекторы. Текстовые веса представлены в формате Q4_0 PURE, рассчитанном с применением Quantization-Aware Training, а проекторы доступны в вариантах Q8_0 и BF16. Сильными сторонами являются мультимодальность, большой контекст, поддержка локального запуска и сохранение качества при 4-битном развертывании благодаря QAT. Суффикс heretic означает постобработку методом Arbitrary-Rank Ablation с использованием Heretic v1.2.0, направленную на снижение отказов при ответах; приведенные метрики являются самоотчетом автора и не были независимо проверены. Для работы требуется совместимый рантайм, например llama.cpp, а для обработки изображений и аудио — соответствующий проектор. Модель распространяется по лицензии Gemma; условия указаны по ссылке Google.

GLM-4.6V-Flash — компактная мультимодальная модель семейства GLM-V от Z.ai, предназначенная для локального развёртывания и приложений с низкой задержкой. Это плотная модель с 9 млрд параметров, работающая с изображениями и текстом; карточка Hugging Face указывает архитектуру GLM4V, библиотеку Transformers и формат Safetensors. Модель поддерживает диалог и визуальное понимание, а контекстное окно серии GLM-4.6V достигает 128 тыс. токенов. Модель подходит для анализа изображений, скриншотов и страниц документов, включая понимание их текста, компоновки, таблиц, графиков и иллюстраций. Она также рассчитана на мультимодальное использование инструментов и на создание HTML/CSS по скриншотам интерфейсов. Заявленные в карточке возможности серии включают генерацию смешанного текста и визуального содержимого; README уточняет, что Flash — облегчённая версия для локального использования. Разработчики отмечают, что чисто текстовые ответы слабее мультимодальных возможностей. Модель может чрезмерно рассуждать, повторять ответ, ошибаться при подсчёте объектов и распознавании конкретных людей. Лицензия — MIT.

ssmits опубликовал текстовую диалоговую модель Llama-3.1-Nemotron-92B-Instruct-HF-late, полученную слиянием через mergekit методом passthrough на основе nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Модель с плотной архитектурой LlamaForCausalLM содержит 90,9 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Модель предназначена для диалога, генерации ответов на инструкции и запросы, а также сценариев с интерфейсом вызова инструментов. Она распространяется в формате safetensors через библиотеку Transformers. Сведения о лицензии и конкретных ограничениях качества или безопасности в предоставленных данных отсутствуют.

Luciole-8B-Instruct-1.1 — диалоговая причинная языковая модель, дообученная и согласованная с предпочтениями пользователей на базе Luciole-8B-Base. Её разработали LINAGORA и консорциум OpenLLM-France в рамках проекта OpenLLM France. Модель имеет плотную архитектуру Nemotron H; в метаданных указано 16,4 млрд параметров и контекстное окно 131 072 токена, хотя при постобучении использовались последовательности длиной 16 384 токена. Модель предназначена для следования инструкциям и диалога, а также может применяться для вопросов и ответов, математики, науки, программирования, RAG и перевода. Обучение включало два этапа контролируемой настройки и выравнивание предпочтений методом DPO. Она показывает хорошие результаты в следовании инструкциям и французском языке, несмотря на то что постобучение проводилось преимущественно на английских данных; в карточке также указана поддержка английского и французского. Модель может галлюцинировать, а её качество в специализированной генерации кода и решении математических задач требует дополнительного обучения. Карточка рекомендует тщательно проверять модель перед использованием в промышленных системах и при необходимости дополнять её RAG. Распространяется по лицензии Apache 2.0.

hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4 — созданная сообществом квантованная версия Meta-Llama-3.1-8B-Instruct, первоначально разработанной Meta AI. Это генеративная текстовая instruction-tuned модель на 8 млрд параметров для многоязычного диалога, ответов на вопросы и других задач генерации текста. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель использует архитектуру Llama 3.1 и формат AWQ INT4: исходные веса FP16 преобразованы с помощью AutoAWQ в 4-битное представление GEMM с zero-point quantization и размером группы 128. Версия предназначена для запуска через Transformers, AutoAWQ или Text Generation Inference; для загрузки контрольной точки требуется около 4 ГиБ VRAM, не считая KV-кэша и CUDA graphs. Квантование снижает требования к памяти, но может влиять на качество по сравнению с исходной FP16-версией. В README максимальный контекст модели не указан. Модель распространяется по лицензии Llama 3.1; для использования необходимо учитывать условия этой лицензии. Это текстовая модель без поддержки изображений или других модальностей, а сведения о конкретных ограничениях качества и результатах бенчмарков для данной квантованной версии не приведены.

Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная GGUF-версия языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta Llama и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста, диалоговых приложений и использования инструментов через структурированные вызовы функций. Она поддерживает текстовый ввод и вывод, а также рассчитана на работу с LlamaEdge и совместимыми средствами запуска GGUF-моделей. Модель основана на архитектуре Llama и содержит 8 миллиардов параметров. Заявленный размер контекста составляет 128 000 токенов. В README указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Доступны варианты квантизации от 2 до 8 бит с размером файлов примерно от 3,18 до 8,54 ГБ; варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу размера и качества или минимальным потерям качества. К сильным сторонам относятся большой контекст, многоязычность, поддержка диалогового режима и вызова инструментов, а также возможность локального запуска с уменьшенными требованиями к памяти благодаря квантизации. Ограничения связаны с потерей качества при использовании низкобитных вариантов, особенно Q2_K и некоторых Q3/Q4-конфигураций; конкретные показатели производительности и качества в README не приведены. Модель распространяется по лицензии llama3.1.

Это квантованная версия Meta-Llama-3.1-8B-Instruct, разработанной Meta AI и подготовленной сообществом Hugging Quants. Модель предназначена для генерации текста и ведения многоязычных диалогов, включая работу через Transformers, AutoGPTQ и Text Generation Inference. Она подходит для чат-ботов, ассистентов и других сценариев текстового взаимодействия. Модель содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Исходная модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В данном варианте веса преобразованы из FP16 в INT4 с использованием GPTQ, zero-point quantization и group size 128, что снижает требования к памяти: для загрузки контрольной точки требуется около 4 ГиБ VRAM без учёта KV-кэша и CUDA-графов. К преимуществам относятся уменьшенное потребление видеопамяти и возможность локального запуска с поддержкой распространённых инструментов инференса. Ограничения связаны с потерями, возможными при 4-битном квантовании, отсутствием мультимодальных возможностей и необходимостью дополнительной памяти для KV-кэша и генерации. Модель распространяется по лицензии Llama 3.1; условия исходной лицензии Meta необходимо учитывать при использовании.

Orion-14B-Chat-RAG — мультиязычная чат-модель компании OrionStarAI, дообученная на специальном наборе данных для генерации с использованием поиска по источникам (RAG). Модель построена на плотной архитектуре OrionForCausalLM и содержит 14,1 млрд параметров; веса опубликованы в формате safetensors. Контекст модели составляет 4096 токенов. Модель предназначена для диалоговых систем, которые используют найденные документы или фрагменты знаний для подготовки ответов, а также для генерации текста и кода. Семейство Orion-14B обучалось на многоязычном корпусе и поддерживает китайский, английский, японский и корейский языки; версия Chat-RAG ориентирована на ответы с опорой на извлечённую информацию. Модель разработала OrionStarAI. Лицензия в предоставленных источниках не указана. Как и другие языковые модели, она может выдавать ошибки или неподтверждённые ответы; длина контекста ограничивает объём документов, который можно передать за один запрос.

Карточка модели ashphisher/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели mahrukhsaeed/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели snacher/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели ehristoforu/qwen2.5-with-lora-think-3b-it на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

nvidia/Qwen3-14B-FP8 — квантизированная версия авторегрессионной языковой модели Qwen3-14B, разработанной Alibaba и подготовленной NVIDIA с помощью TensorRT Model Optimizer. NVIDIA не является владельцем или разработчиком исходной модели; компания выпустила её FP8-вариант для заданных сценариев развертывания. Модель предназначена для генерации текста в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Она принимает текстовые последовательности и возвращает текст. Модель имеет архитектуру Transformer, около 14,8 млрд параметров и контекстное окно до 131 тысячи токенов. Поддерживается только текстовая модальность; конкретный набор языков в README не указан. Вариант FP8 квантизирует веса и активации линейных операторов внутри блоков Transformer, что делает модель ориентированной на эффективный инференс с TensorRT-LLM. Указана совместимость с GPU-архитектурой NVIDIA Blackwell, операционной системой Linux и тестовым оборудованием NVIDIA B200. Ограничения включают зависимость от поддерживаемого NVIDIA-стека и отсутствие опубликованных в README сведений о результатах тестирования, обучающих данных и языковых характеристиках. Калибровка выполнялась на датасете cnn_dailymail, а остальные сведения о наборах данных не раскрыты. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache License 2.0. Перед применением разработчикам рекомендуется самостоятельно оценить качество, безопасность и соответствие модели требованиям конкретной отрасли и сценария.

Infatoshi/Qwen3.6-35B-A3B-GGUF — это набор GGUF-конверсий базовой модели Qwen/Qwen3.6-35B-A3B, подготовленный Infatoshi для запуска в llama.cpp. Модель предназначена для генерации и обработки текста, а также для мультимодальных сценариев с изображениями и видео; для работы с визуальными входными данными требуется отдельный файл vision projector. Модель использует разреженную MoE-архитектуру: 35 млрд параметров суммарно, около 3 млрд активных параметров, 256 экспертов и один общий эксперт, маршрутизация top-8. В архитектуре сочетаются слои Gated-DeltaNet и Gated-Attention в соотношении 3:1, заявлен нативный контекст до 262 тысяч токенов. Указана поддержка английского, китайского и многоязычного применения. Доступны варианты квантования Q4_K_M, Q5_K_M, Q8_0 и BF16 с объёмом файлов от 20 до 65 ГБ. Сильными сторонами являются существенно сниженное число активных параметров при большом общем размере модели, поддержка длинного контекста и мультимодальный ввод. Вариант Q4_K_M рассчитан на одну видеокарту с 24 ГБ памяти, тогда как более качественные или менее квантованные варианты требуют 32–40 ГБ видеопамяти, частичной выгрузки или CPU. Производительность и требуемые ресурсы зависят от варианта квантования, размера контекста и режима инференса; варианты Q5_K_M, Q8_0 и BF16 не помещаются на одной 24-гигабайтной видеокарте при практически применимом контексте. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-2bit-MLX-TextOnly — текстовая квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованная пользователем lukaskremla в формат MLX с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста, диалогов, рассуждений, работы с инструментами и задач с длинным контекстом; заявлена поддержка нескольких языков. Модель содержит около 27 млрд параметров и использует 2-битное weight-only-квантование с affine RTN-квантизацией и group size 64. Это text-to-text-модель: vision tower удалён, поэтому обработка изображений и другие визуальные сценарии не поддерживаются. Формат MLX ориентирован на запуск в экосистеме Apple MLX и mlx-lm. Точная длина контекста и архитектурные детали в README не указаны. Ключевое преимущество — существенно сниженные требования к памяти по сравнению с полноразмерной моделью, что делает её пригодной для локального запуска при сохранении возможностей исходной текстовой модели. Ограничения связаны с 2-битным квантованием, которое может снизить точность и качество по сравнению с исходной моделью, а также с отсутствием визуального ввода. Модель распространяется по лицензии Apache-2.0.

ulkaa/Qwen3.8-27B-AWQ-INT4 — это квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем ulkaa. Модель предназначена для генерации и понимания текста, работы с изображениями и задач с большим контекстом. Она использует архитектуру Qwen3_5ForConditionalGeneration, поддерживает сохранённую vision tower в формате BF16 и рассчитана на применение через Transformers и SGLang, в частности на GPU Intel Arc Pro. Модель сжимает веса методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричной квантизацией и размером группы 128. Размер артефакта составляет 18,2 GiB против 55,6 GiB у исходной BF16-версии. Большая часть параметров хранится в четырёхбитном виде, а vision tower, MTP head, embeddings, lm_head, нормализации и отдельные малые компоненты сохраняются в BF16. Основная конфигурация поддерживает контекст до 262 144 токенов; ревизия 1m с YaRN расширяет его до 1 048 576 токенов. К сильным сторонам относятся существенно сниженные требования к памяти, поддержка мультимодальных сценариев, длинного контекста и спекулятивного декодирования через встроенный MTP head либо внешнюю модель Qwen3.8-27B-DFlash2. К ограничениям относятся ожидаемое расхождение результатов с BF16-версией, необходимость проверки качества на собственных данных и зависимость оптимизированного сценария обслуживания от SGLang, Intel XPU и соответствующей конфигурации. Для DFlash2 не поддерживаются запросы с возвратом logprob. Модель распространяется по лицензии Apache-2.0.

gaunernst/gemma-3-4b-it-int4-awq — это 4-миллиардная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind. Модель мультимодальная: принимает текст и изображения, а генерирует текст. Данный репозиторий содержит QAT INT4-чекпойнт из Flax, преобразованный в формат Hugging Face и AWQ для удобства использования; при этом квантование методом AWQ для исходного чекпойнта не применялось. Модель предназначена для диалоговых и прикладных задач: ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Она поддерживает более 140 языков, обрабатывает изображения, нормализованные до разрешения 896 × 896 и представленные 256 токенами на изображение. Для размеров 4B, 12B и 27B заявлено контекстное окно до 128 000 токенов, а максимальный объём генерируемого вывода составляет 8192 токена. Ключевые преимущества — сравнительно компактный размер, instruction-tuned поведение, мультимодальность и INT4-представление, потенциально упрощающее запуск на ограниченных ресурсах, включая локальные компьютеры и собственную облачную инфраструктуру. Ограничения включают зависимость качества от языка, задачи и входных изображений, а также необходимость учитывать особенности конвертированного формата и совместимость с поддерживаемыми инструментами. Использование регулируется лицензией Gemma; доступ к исходной модели на Hugging Face требует принятия условий использования Google.

LibertAIDAI/Gemma-4-12B-IT-NVFP4-GGUF — это текстовая GGUF-квантизация инструкционной модели google/gemma-4-12B-it, подготовленная LibertAI с использованием NVIDIA ModelOpt и предназначенная для запуска через llama.cpp. Модель ориентирована на генерацию текста, диалоговые приложения, локальное и серверное инференс-использование; по умолчанию формирует рассуждение перед ответом. Модель представляет собой плотный decoder примерно на 11,9 млрд параметров с 48 слоями и гибридным механизмом внимания: большинство слоёв используют локальное sliding-window attention, а каждый шестой слой — глобальное внимание. Квантизации NVFP4 подвергнуты 144 проекции плотных FFN-слоёв; attention, embeddings и lm_head используют отдельные форматы GGUF. Доступны варианты Q4_K_M размером около 6,5 GiB, Q8_0 размером 7,8 GiB и BF16 размером 10,8 GiB. Релиз текстовый: мультимодальные возможности исходной Gemma 4 не поддерживаются, поскольку конвертер llama.cpp пока не поддерживает используемый unified-вариант. Главное преимущество NVFP4 проявляется на видеокартах NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200: нативные tensor-core kernels могут повысить пропускную способность и снизить потребление VRAM по сравнению со стандартными квантизациями. На более старых GPU модель запускается, но преимуществ в производительности может не быть. Модель унаследовала лицензию Gemma от Google; для использования необходимо соблюдать условия этой лицензии.

AtomicChat/gemma-4-31B-it-GGUF — это квантизированная GGUF-версия мультимодальной модели Google Gemma 4 31B Instruct, подготовленная командой Atomic Chat на основе оригинальных весов google/gemma-4-31B-it. Модель предназначена для локального и полностью автономного применения в чат-ботах, генерации и анализе текста, задачах рассуждения, а также обработки изображений совместно с текстом. Для работы с изображениями в репозитории поставляется vision-проектор mmproj. Модель содержит 30,7 млрд параметров и 60 слоёв. Она использует плотную decoder-архитектуру Gemma4ForConditionalGeneration с гибридным вниманием: sliding-window с окном 1024 токена и глобальным вниманием; предусмотрены 32 attention heads и 16 KV heads. Заявленная длина контекста — 256 тысяч токенов, размер словаря — 262 тысячи. Поддерживаются текстовая и визуальная модальности. Доступны варианты квантования от Q2_K до Q8_0; кванты откалиброваны с importance matrix, что должно помогать сохранять качество при уменьшении размера. Рекомендуемым компромиссом между размером, скоростью и качеством указан Q4_K_M. Сильные стороны модели — большой контекст, мультимодальность, возможности рассуждения, автономная работа и широкий выбор вариантов квантования для разных объёмов памяти. Ограничения связаны с высокими требованиями к памяти: размер файлов варьируется примерно от 11,9 до 32,6 ГБ, а низкобитные варианты могут заметно терять качество. Для корректной работы в llama.cpp требуется применять chat template Gemma 4 через параметр --jinja; для изображений необходим vision-проектор и поддержка соответствующих инструментов. Репозиторий распространяется по лицензии Apache-2.0.

duyntnet/internlm2_5-7b-chat-1m-imatrix-GGUF — это GGUF-квантизации чат-модели InternLM2.5-7B-Chat-1M, разработанной командой InternLM. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, следование инструкциям, математическое рассуждение, работу с длинными документами и использование инструментов. Модель содержит около 7 миллиардов параметров и работает с текстовой модальностью. Заявлено контекстное окно до 1 миллиона токенов, а также улучшенные способности к рассуждению, выбору инструментов, следованию инструкциям и рефлексии. Для длинного контекста рекомендуется LMDeploy; заявленная конфигурация на 1 миллион токенов требует 4 GPU A100 с 80 ГБ памяти. Для обычного запуска доступны llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. К сильным сторонам относятся большой контекст, математическое рассуждение и поддержка сценариев с инструментами. Ограничения включают высокие вычислительные требования при использовании максимального контекста, а также зависимость от совместимого ПО и параметров квантизации. В метаданных указаны английский язык и лицензия «other»; точные условия лицензии README не уточняет.

Llama-3_1-Nemotron-51B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Llama-3.1 Nemotron 51B-Instruct от NVIDIA, подготовленная пользователем ymcki. Модель предназначена для генерации текста и диалоговых сценариев; в метаданных указан английский язык. Для общения используется шаблон с ролями System, User и Assistant. Модель содержит около 51 млрд параметров и поддерживает запуск через llama.cpp. Доступны варианты квантизации Q6_K, Q5_K_M, Q4_K_M, IQ4_NL, IQ4_XS, Q4_0, IQ3_M, IQ3_S, IQ3_XXS и Q3_K_S с размером файлов примерно от 20,19 до 42,26 ГБ. Более точные варианты обеспечивают качество, близкое к исходной модели, но требуют больше памяти; менее точные подходят для оборудования с ограниченным объёмом памяти, однако сильнее уступают по показателям perplexity и могут работать медленнее на CPU и Apple Silicon. Для полноценной работы требуется версия llama.cpp начиная с b4380 с поддержкой переменного Grouped Query Attention для DeciLMForCausalLM. При самостоятельной конвертации следует учитывать проблему старого конвертера с параметром rope_theta: без исправления модель может некорректно работать с запросами длиннее 4 тысяч токенов. Модель распространяется по лицензии NVIDIA Open Model License Agreement; точные условия определяются текстом этой лицензии.

Llama-3.3-70B-Instruct-FP8-KV — квантизированная версия модели meta-llama/Llama-3.3-70B-Instruct, подготовленная Advanced Micro Devices (AMD) с использованием Quark и калибровочных образцов из набора данных Pile. Модель предназначена для задач генерации текста и диалоговых сценариев, поддерживаемых исходной instruct-моделью Llama 3.3, с эффективным инференсом на совместимой инфраструктуре. Ключевая особенность — FP8-квантизация: все линейные слои, кроме lm_head, используют симметричное по тензору представление FP8 для весов и активаций, а KV-cache также хранится в FP8. Модель экспортируется в формат Quark safetensors и совместима с развертыванием через backend vLLM. Указан результат на perplexity для wikitext2: 3,9622 против 3,8624 у исходной модели; авторы отмечают, что оценка выполнена в режиме псевдоквантизации и может отличаться от точности при фактическом инференсе. Лицензия обозначена как llama3.3; применяются условия лицензии Meta для Llama 3.3, при этом модификации принадлежат Advanced Micro Devices, Inc. Для использования требуется совместимая среда Quark и поддержка FP8 со стороны оборудования и backend.

Llama-3-Swallow-70B-v0.1 — плотная авторегрессионная языковая модель семейства Llama 3, разработанная командой Swallow-LLM из Токийского технологического института и AIST. Модель на 69,5 млрд параметров прошла дополнительное непрерывное предобучение на корпусах с преимущественно японскими данными; базовая архитектура — LlamaForCausalLM. Выпущена в июне 2024 года и распространяется в формате safetensors через Transformers. Модель предназначена для генерации текста на японском и английском языках. Её можно применять для ответов на вопросы, чтения и понимания текста, суммаризации, перевода между японским и английским, математических рассуждений и генерации кода. В README приведены результаты оценки на японских и англоязычных наборах задач; указанное родное контекстное окно — 8192 токена. Это базовая, не Instruct-версия: она не настроена на следование человеческим инструкциям и требованиям безопасности. Авторы предупреждают, что модель находится на ранней стадии исследований и разработки. Лицензия — Llama 3; перед использованием следует соблюдать её условия.

Llama-3-Swallow-8B-v0.1 — плотная причинная языковая модель семейства Llama 3, разработанная командой Swallow-LLM из Токийского технологического института и AIST. Модель размером 7,5 млрд параметров создана продолжительным предварительным обучением модели семейства Llama 3 с добавлением японских данных; это базовая, не Instruct-версия. Репозиторий использует формат safetensors, а метаданные указывают на Transformers и контекст до 8192 токенов. Модель предназначена для генерации текста на японском и английском языках, включая ответы на вопросы, понимание прочитанного, суммаризацию, перевод, математические рассуждения и генерацию кода. В README приведены результаты оценки на японских и английских бенчмарках, в том числе задачах перевода, экзаменационных вопросах и программировании. Авторы отмечают, что модель находится на раннем этапе разработки и не настроена на соответствие человеческим намерениям и требованиям безопасности. Лицензия — Llama 3 (llama3); перед использованием следует соблюдать её условия.

unsloth/Meta-Llama-3.1-70B — квантованная версия базовой модели meta-llama/Meta-Llama-3.1-70B, опубликованная в экосистеме Unsloth и предназначенная для работы с Transformers. Модель ориентирована на англоязычные задачи обработки и генерации текста, а также на последующее дообучение на пользовательских датасетах. В README упоминаются сценарии conversational и text completion, а также экспорт дообученной модели в форматы GGUF и vLLM. Из указанных характеристик известно, что модель относится к семейству Llama 3.1, имеет размер 70B и поддерживает английский язык. Она распространяется как quantized-модель, что должно снижать требования к памяти по сравнению с полной версией, однако конкретный формат и параметры квантования не указаны. Архитектура, размер контекста, точный набор поддерживаемых модальностей и показатели качества в README не описаны, поэтому модель следует рассматривать прежде всего как крупную текстовую основу для инференса и дообучения. Лицензия указана как llama3.1; условия её применения необходимо проверять по лицензии Meta.