II.10Разработка и эксплуатация AI/ML-систем

coder3101/gemma-4-31B-it-heretic — дообученная версия Gemma 4 31B IT, основанная на google/gemma-4-31B-it. Модель создана сообществом coder3101; по меткам heretic, uncensored, decensored и abliterated она позиционируется как версия с ослабленными ограничениями на ответы. Архитектура — плотная мультимодальная Gemma4ForConditionalGeneration; репозиторий содержит веса Safetensors и предназначен для работы через Transformers. Модель принимает текст и изображения и генерирует текст. Подходит для диалогов, ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа диаграмм, написания и исправления кода, суммаризации и задач с длинным контекстом. В README семейства заявлена поддержка более 35 языков и контекст до 256K токенов для версии 31B; аудиообработка описана только для меньших вариантов Gemma 4, поэтому к этой модели её не относим. Гибридное чередование локального и глобального внимания рассчитано на эффективную обработку длинных последовательностей. Модель может ошибаться в фактах, упускать языковые нюансы и отражать смещения обучающих данных; ослабленные ограничения могут повышать риск нежелательных ответов. Лицензия — Apache-2.0.

coder3101/gemma-4-31B-it-qat-q4_0-unquantized-heretic — производная мультимодальная модель семейства Gemma 4, дообученная на google/gemma-4-31B-it-qat-q4_0-unquantized. Она предназначена для диалогов и анализа изображений: может отвечать на вопросы по визуальному содержимому, разбирать документы и PDF, распознавать текст и объекты на изображениях, понимать графики и интерфейсы, а также помогать с кодом и текстовыми задачами. Архитектура — плотная Gemma4ForConditionalGeneration с гибридным вниманием; исходная модель поддерживает контекст до 256K токенов. Модель рассчитана на ввод текста и изображений и генерацию текста; аудиовозможности README относит к другим размерам Gemma 4. Вариант помечен как uncensored, decensored и abliterated, поэтому его поведение в ответах может отличаться от базовой модели. Карточка также предупреждает о возможных ошибках и устаревших фактах, трудностях с нюансами языка и сложными открытыми задачами, а также о смещениях из обучающих данных. Репозиторий использует safetensors и библиотеку Transformers; лицензия — Apache-2.0.

Granite-3.0-1B-A400M-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов, в том числе для бизнес-сценариев. Это дообученная версия Granite-3.0-1B-A400M-Base: обучение включало supervised fine-tuning, выравнивание с помощью обучения с подкреплением и слияние моделей. Модель использует декодерный разреженный Transformer с архитектурой Mixture of Experts (MoE); в метаданных указан размер 163,6 млн параметров и контекст до 4096 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова функций и многоязычного диалога. Карточка заявляет поддержку английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Лицензия — Apache 2.0. Качество на языках кроме английского может быть ниже; few-shot-примеры могут улучшить ответы в многоязычных сценариях. Модель способна выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует проверять и настраивать для конкретного применения.

Granite-4.0-Tiny-Preview — инструктивная языковая модель команды Granite компании IBM. Это гибридная архитектура Mixture-of-Experts для генерации текста; метаданные указывают 421,5 млн параметров, а README приводит оценку 7 млрд параметров. Модель дообучена на Granite-4.0-Tiny-Base-Preview с помощью обучения на инструкциях и выравнивания с подкреплением. Лицензия — Apache 2.0. Модель предназначена для выполнения инструкций и интеграции в ассистентов. Она поддерживает диалог, вызов инструментов, суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи по коду и работу с длинными документами и встречами. Указанное в метаданных окно контекста составляет 131 072 токена. README перечисляет 12 поддерживаемых языков: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель может применяться в бизнес-ассистентах и сценариях работы с длинным контекстом. README отмечает использование как открытых наборов данных с разрешительными лицензиями, так и внутренних синтетических данных. Чекпойнт имеет статус preview; для запуска README рекомендует установить Transformers из исходного кода. Подробные ограничения и результаты оценки в предоставленной карточке не приведены.

Карточка модели Ares-Realm-Studios/Hy4-preview на Hugging Face совпадает с карточкой tencent/Hy4-preview, поэтому описание составлено по ней. Hy4 preview — языковая модель поколения Hy4, разработанная командой Tencent Hy. README описывает её как модель Mixture-of-Experts с 770 млрд параметров в основной части и 49 млрд активируемых параметров на токен; встроенный слой MTP предназначен для ускорения спекулятивного декодирования. Метаданные Hugging Face указывают архитектуру HYV4ForCausalLM, библиотеку Transformers, 33,9 млрд параметров и контекст до 1 048 576 токенов; эти значения расходятся с характеристиками в README. Модель предназначена для диалоговой генерации текста и сложных задач: разработки и отладки программ, работы с документами и таблицами, анализа данных, создания прототипов игр и решения научных задач. В README также заявлены сценарии подготовки презентаций и финансовых моделей. Указанная в карточке лицензия — Apache-2.0. Это ранняя preview-версия. Известные ограничения — избыточно долгие рассуждения на сложных задачах и склонность чрезмерно перепроверять результат.

Hy4 preview — экспериментальная предварительная версия языковой модели Tencent Hy Team для диалогов и генерации текста. В README описана MoE-архитектура: 770 млрд параметров в основной модели, из которых активируются 49 млрд на токен; также упоминается дополнительный слой MTP для ускорения декодирования. Метаданные каталога указывают архитектуру HYV4ForCausalLM и 33,9 млрд параметров, что расходится с числом в README; поэтому размер модели здесь нельзя считать однозначным. Модель предназначена для разработки программного обеспечения, анализа документов и данных, подготовки офисных материалов, прототипирования игр и исследовательских задач. Заявлен контекст длиной до 1 048 576 токенов. В README не указаны поддерживаемые естественные языки. Известные ограничения ранней версии — избыточно долгие рассуждения по сложным задачам и склонность к повторной проверке уже выполненной работы. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-30B-A3B-Instruct-FP8 — мультимодальная vision-language модель из семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-30B-A3B-Instruct с мелкозернистым квантованием и размером блока 128; заявлено, что её производительность почти идентична исходной версии в формате BF16. Модель предназначена для понимания и генерации текста с учётом изображений и видео. Модель ориентирована на визуальное восприятие и рассуждение, анализ документов и сцен, OCR, пространственное понимание, обработку длинных текстов и многочасовых видео, а также на визуальное управление PC- и мобильными GUI, вызов инструментов и выполнение задач агентом. Она поддерживает генерацию Draw.io, HTML, CSS и JavaScript по изображениям и видео, STEM- и математическое рассуждение, а также временную локализацию событий в видео. Заявлен нативный контекст 256K токенов с возможностью расширения до 1M, а OCR поддерживает 32 языка; полный перечень языков в README не указан. К сильным сторонам относятся объединённое текстово-визуальное понимание, улучшенное распознавание объектов и документов, анализ пространственных отношений и видео, а также архитектурные механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Ограничение при развёртывании заключается в том, что Transformers пока не поддерживает прямую загрузку этих весов; README рекомендует vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Albert0919c/gemma-4-E2B-it — дообученная инструктивная версия Gemma 4 E2B от Google DeepMind. Это плотная мультимодальная модель класса Gemma4 для диалогов, рассуждений, генерации и редактирования кода, а также понимания изображений и аудио. Она принимает текст и изображения; для варианта E2B поддерживаются распознавание речи и преобразование речи в переведённый текст. Модель выдаёт текст и подходит для локального запуска на мобильных устройствах и ноутбуках. Семейство Gemma 4 использует гибридное внимание с локальными скользящими окнами и глобальными слоями; для малых вариантов заявлено контекстное окно до 128 тысяч токенов. Поддерживаются многочисленные языки: семейство обучено более чем на 140 языках, а для практических сценариев README заявляет поддержку более 35. Возможности включают ответы на вопросы по изображениям, OCR, разбор документов, видеоанализ по кадрам и вызов инструментов. Репозиторий распространяется в формате Safetensors под лицензией Apache 2.0. Характеристики и возможности описаны для семейства Gemma 4; конкретные результаты этой дообученной версии отдельно не приведены. Как и другие генеративные модели, она может ошибаться в распознавании содержимого и ответах; видеоанализ относится к обработке последовательностей кадров.

Карточка модели Titanfrm/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

Карточка модели thetechoddbug/Hy4-preview на Hugging Face совпадает с карточкой tencent/Hy4-preview, поэтому описание составлено по ней. Hy4 preview — языковая модель поколения Hy4, разработанная командой Tencent Hy. README описывает её как модель Mixture-of-Experts с 770 млрд параметров в основной части и 49 млрд активируемых параметров на токен; встроенный слой MTP предназначен для ускорения спекулятивного декодирования. Метаданные Hugging Face указывают архитектуру HYV4ForCausalLM, библиотеку Transformers, 33,9 млрд параметров и контекст до 1 048 576 токенов; эти значения расходятся с характеристиками в README. Модель предназначена для диалоговой генерации текста и сложных задач: разработки и отладки программ, работы с документами и таблицами, анализа данных, создания прототипов игр и решения научных задач. В README также заявлены сценарии подготовки презентаций и финансовых моделей. Указанная в карточке лицензия — Apache-2.0. Это ранняя preview-версия. Известные ограничения — избыточно долгие рассуждения на сложных задачах и склонность чрезмерно перепроверять результат.

NVIDIA Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct — языковая модель на архитектуре Llama 3.1 с 7,5 млрд параметров, дообученная для диалогов и работы с очень длинным контекстом. Она использует продолженное предобучение и донастройку на инструкциях; базовая модель — meta-llama/Llama-3.1-8B-Instruct. Модель предназначена для генерации ответов и анализа длинных текстовых последовательностей, включая большие документы и составные запросы. Заявленное окно контекста — до 4 млн токенов. Обучение на инструкциях охватывало общие задачи, математику и программирование. Карточка описывает английский язык; метаданные указывают тег en. Модель работает с текстом и доступна в формате safetensors для Transformers; также указаны чат-возможности и интерфейс вызова инструментов. По данным карточки, модель сохраняет конкурентные результаты на стандартных тестах и улучшает обработку сверхдлинного контекста. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование. Результаты и качество на конкретных сценариях могут отличаться; объём контекста сам по себе не гарантирует точное извлечение всей информации из длинного ввода.

Qwen3.5-35B-A3B — мультимодальная модель Alibaba, опубликованная в формате Transformers и дообученная на базе Qwen/Qwen3.5-35B-A3B. Она предназначена для диалога, рассуждений, анализа изображений и агентных сценариев с вызовом инструментов. Модель принимает текст и изображения и генерирует текст; её архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активируются около 3 млрд. В модели 40 слоёв, а нативное контекстное окно составляет 262 144 токена и может расширяться примерно до 1,01 млн токенов. В README заявлена поддержка 201 языков и диалектов. Модель доступна в формате safetensors, совместима с Transformers, vLLM, SGLang и KTransformers и распространяется по лицензии Apache-2.0. Для работы с длинным контекстом и изображениями могут требоваться значительные вычислительные ресурсы; авторы рекомендуют при нехватке памяти уменьшить контекстное окно, сохраняя по возможности не менее 128 тысяч токенов для сложных задач.

Qwen3-VL-235B-A22B-Instruct-GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит веса в формате GGUF для базовой модели Qwen3-VL-235B-A22B-Instruct и предназначен для локального запуска через llama.cpp, Ollama и другие совместимые инструменты на CPU, NVIDIA GPU с CUDA, Apple Silicon с Metal, Intel GPU с SYCL и аналогичных платформах. Модель обрабатывает текст и визуальные данные, включая изображения и видео. Она предназначена для генерации и понимания текста, визуального анализа и рассуждений, распознавания объектов и текста, пространственного анализа, работы с длинными документами и видео, визуального программирования, а также взаимодействия с графическими интерфейсами и инструментами. Заявлена поддержка контекста 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный перечень языков для всех режимов работы не указан. Архитектура базовой модели — MoE с общим размером 235B параметров и 22B активных параметров; в составе GGUF отдельно поставляются языковая модель и vision encoder. Доступны варианты точности FP16, Q8_0 и Q4_K_M для языковой части и FP16 или Q8_0 для vision encoder, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Ограничения включают очень высокие требования к вычислительным ресурсам для крупной модели, зависимость возможностей от выбранной квантизации и совместимого программного обеспечения, а также отсутствие в README подробных количественных результатов и полного списка языков. Лицензия — Apache-2.0.

Qwen3-VL-2B-Thinking-GGUF — мультимодальная vision-language модель серии Qwen, разработанная командой Qwen. Это GGUF-версия базовой модели Qwen3-VL-2B-Thinking, предназначенная для локального запуска через llama.cpp, Ollama и другие инструменты, совместимые с GGUF. Модель сочетает языковую модель примерно на 2 млрд параметров с vision encoder и работает с текстом и изображениями, а также поддерживает анализ видео. Релиз включает языковые веса в форматах FP16, Q8_0 и Q4_K_M и отдельный vision encoder в FP16 или Q8_0. Заявлены расширенный контекст до 256K токенов с возможностью масштабирования до 1M, визуальное и пространственное рассуждение, OCR для 32 языков, понимание документов, STEM-задач, видео и пользовательских интерфейсов. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Модель подходит для визуального вопросно-ответного взаимодействия, распознавания и структурирования текста на изображениях, анализа документов и видео, визуального рассуждения, генерации кода и задач визуального агента. Наличие нескольких уровней точности позволяет выбирать баланс между качеством, скоростью и требованиями к памяти, а поддержка CPU, NVIDIA GPU, Apple Silicon и Intel GPU упрощает локальное развертывание. Ограничения включают возможное снижение качества при квантовании, зависимость производительности от оборудования и отсутствие в README подробных числовых результатов тестирования и полного списка поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-8B-Instruct-1M-GGUF — GGUF-версия 8-миллиардной мультимодальной instruct-модели Qwen3-VL, подготовленная Unsloth на основе Qwen/Qwen3-VL-8B-Instruct. Модель предназначена для понимания и генерации текста с учётом изображений и видео, визуального анализа, OCR, математических и STEM-задач, анализа документов, пространственного рассуждения, генерации кода и взаимодействия с графическими интерфейсами через визуального агента. Модель использует плотную архитектуру с 8B параметров и поддерживает текст, изображения и видео. Заявлено нативное контекстное окно 256K токенов с возможностью расширения до 1M, что позволяет обрабатывать книги и длительные видеоматериалы с временной привязкой событий. Среди архитектурных особенностей указаны Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и Text–Timestamp Alignment для локализации событий в видео. OCR поддерживает 32 языка. Сильные стороны модели — объединённое текстово-визуальное понимание, улучшенная работа с пространственными отношениями, длинным контекстом, видео, документами и визуальными интерфейсами. Ограничения, такие как фактическая точность на конкретных наборах данных, требования к ресурсам и поддерживаемые языки вне OCR, в README не уточняются. Репозиторий распространяется по лицензии Apache-2.0; для использования через llama.cpp рекомендуется включать параметр --jinja из-за исправлений chat template от Unsloth.

LGAI-EXAONE/EXAONE-4.0-32B-FP8 — языковая модель компании LG AI Research из серии EXAONE 4.0. Она предназначена для генерации текста, решения сложных задач, многоязычного общения и построения агентных приложений с вызовом инструментов. Модель поддерживает два режима работы: Non-reasoning для обычных запросов и Reasoning для задач, требующих пошагового рассуждения. Заявлена поддержка английского, корейского и испанского языков. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует архитектуру с GQA на 40 attention heads и 8 KV heads. Для 32B-версии применена гибридная схема внимания с локальным и глобальным вниманием в соотношении 3:1, а также архитектурное изменение QK-Reorder-Norm. Размер словаря составляет 102 400 токенов, контекст — до 131 072 токенов. Весы представлены в формате fine-grained FP8. Сильными сторонами являются сочетание общего режима генерации и рассуждений, поддержка инструментов, длинный контекст и мультиязычность. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели; README не приводит подробностей о точности, безопасности и типичных ошибках. Модель распространяется по лицензии exaone, обозначенной как other; условия следует уточнять в файле LICENSE.

gemma-4-E2B-it-qat-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате GGUF пользователем или организацией prithivMLmods. Модель предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для исследований и приложений на базе llama.cpp. Она поддерживает работу с текстом, изображениями и аудио, включая генерацию текста, распознавание речи, перевод речи, анализ изображений, OCR, анализ кадров видео и native function calling. Доступен настраиваемый режим рассуждений. Модель имеет 2,3 млрд эффективных параметров и 5,1 млрд параметров вместе с embedding-слоями, использует Per-Layer Embeddings и Quantization-Aware Training (QAT). Архитектура включает 35 слоёв с чередованием локального sliding window attention на 512 токенов и глобального внимания, а также отдельные vision- и audio-энкодеры примерно на 150 млн и 300 млн параметров соответственно. Контекстное окно составляет 128K токенов, словарь — 262 тысячи токенов, заявлена поддержка более 140 языков; в README явно указан английский язык. Доступны варианты GGUF от Q2_K до Q8_0, а также BF16, F16 и F32, с размером основных файлов примерно от 2,98 до 18,5 ГБ. К сильным сторонам относятся мультимодальность, большое контекстное окно, оптимизация QAT для снижения требований к памяти и локального инференса, а также широкий выбор уровней квантования. Ограничения — заметные требования к памяти для старших вариантов, а также отсутствие подробных данных о производительности на конкретном оборудовании и практических ограничениях мультимодальных возможностей. Лицензия — Apache-2.0.

Карточка модели Cup5/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

Hy4 preview — языковая модель поколения Hy4, разработанная командой Tencent Hy. README описывает её как модель Mixture-of-Experts с 770 млрд параметров в основной части и 49 млрд активируемых параметров на токен; встроенный слой MTP предназначен для ускорения спекулятивного декодирования. Метаданные Hugging Face указывают архитектуру HYV4ForCausalLM, библиотеку Transformers, 33,9 млрд параметров и контекст до 1 048 576 токенов; эти значения расходятся с характеристиками в README. Модель предназначена для диалоговой генерации текста и сложных задач: разработки и отладки программ, работы с документами и таблицами, анализа данных, создания прототипов игр и решения научных задач. В README также заявлены сценарии подготовки презентаций и финансовых моделей. Указанная в карточке лицензия — Apache-2.0. Это ранняя preview-версия. Известные ограничения — избыточно долгие рассуждения на сложных задачах и склонность чрезмерно перепроверять результат.

InternLM2.5-20B-Chat — диалоговая языковая модель, разработанная командой InternLM и распространяемая в формате GGUF сообществом LM Studio. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, ведения диалогов, следования инструкциям, решения математических задач и задач, требующих рассуждений. Она также поддерживает использование инструментов и может применяться совместно с инструментом MindSearch. Модель содержит около 20 миллиардов параметров и рассчитана на контекст длиной до 32 000 токенов. В README не указаны поддерживаемые языки и мультимодальные возможности, поэтому модель следует считать текстовой. Для работы в LM Studio рекомендуется шаблон ChatML. По заявлению авторов, модель обеспечивает высокие результаты в задачах рассуждений и сопоставима с Gemma 2 27B при меньшем размере. Ограничения включают возможность генерации неточного, вредного или неподходящего содержимого, а также зависимость характеристик от выбранной GGUF-квантизации и аппаратного обеспечения. Модель помечена лицензией other; конкретные условия лицензии в README не раскрыты, поэтому перед использованием необходимо ознакомиться с условиями исходной модели InternLM2.5-20B-Chat и данной сборки.

ModelCloud/Kimi-K2-Thinking-BF16 — версия Kimi K2 Thinking, подготовленная ModelCloud и обозначенная в карточке как BF16-модель, деквантизированная с помощью GPT-QModel. Это разговорная модель для генерации текста с архитектурой семейства Kimi K2; каталог указывает класс DeepseekV3ForCausalLM, 37,9 млрд параметров и контекст до 262 144 токенов. README описывает исходную Kimi K2 Thinking как MoE-модель с 1 трлн общих и 32 млрд активных параметров, обученную для пошаговых рассуждений и работы с инструментами. Модель предназначена для диалогов, сложных многошаговых задач, исследований в интернете, программирования и написания текстов с подключёнными инструментами. В карточке описана способность поддерживать длинные цепочки вызовов инструментов, однако это характеристика исходной модели, а независимое подтверждение для данного BF16-репозитория отсутствует. Указанное в README окно контекста составляет 256 тыс. токенов; метаданные каталога указывают 262 144 токена. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия NonCommercial-ModelCloud разрешает только некоммерческое использование; для коммерческого применения README требует разрешения @qubitium. Метаданные не подтверждают список поддерживаемых естественных языков.

QuantTrio/Qwen3-VL-30B-A3B-Instruct-AWQ — квантизированная в формате AWQ версия мультимодальной instruct-модели Qwen3-VL-30B-A3B-Instruct из семейства Qwen. Модель предназначена для генерации текста по текстовым, графическим и видеовходам, визуального анализа и рассуждений, OCR, понимания пространственных отношений и временной структуры видео, а также взаимодействия с графическими интерфейсами и инструментами. Она может применяться для анализа документов и изображений, визуального программирования, STEM-задач и создания ответов на основе мультимодального контекста. Архитектура относится к MoE: заявлен размер 30B, а обозначение A3B указывает на активацию примерно 3B параметров на запрос. Модель поддерживает изображения, видео и текст, использует механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Базовая версия заявляет нативный контекст 256K токенов с возможностью расширения до 1M; в приведённой конфигурации vLLM длина контекста ограничена 32768 токенами. Для OCR указана поддержка 32 языков, но полный список языков не приведён. Сильные стороны модели — сочетание языкового и визуального понимания, работа с длинными документами и видео, распознавание текста в сложных условиях, пространственное и временное рассуждение, а также сравнительно низкие требования к памяти благодаря AWQ-квантизации. Ограничения включают возможную потерю качества из-за квантизации, необходимость совместимого окружения с vLLM и рекомендуемого tensor parallelism на двух GPU; конкретные показатели качества и аппаратные требования в README не указаны. Модель распространяется по лицензии Apache 2.0.

Qwen3-VL-32B-Thinking — мультимодальная модель для понимания и генерации текста на основе изображений, видео и текстовых запросов. Базовую модель разработала команда Qwen, а данный репозиторий предоставляет её веса в формате GGUF и включает исправления шаблона чата от Unsloth. Модель предназначена для визуального анализа, OCR, STEM- и математического рассуждения, понимания пространственных отношений и видео, генерации кода и взаимодействия с графическими интерфейсами компьютеров и мобильных устройств. Модель относится к плотной архитектуре и содержит 32 млрд параметров. Она поддерживает нативный контекст 256 тысяч токенов с возможностью расширения до 1 млн, а также обработку длительных документов и многочасового видео. Заявлены улучшения визуального и пространственного восприятия, временной привязки событий в видео, распознавания текста на 32 языках и работы с изображениями в сложных условиях, включая низкую освещённость, размытие и наклон. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильные стороны модели — сочетание развитого текстового и визуального рассуждения, длинного контекста, анализа пространственных и временных связей, а также сценариев визуального агента и визуального программирования. Ограничения README не описывает; формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp, для которого рекомендуется использовать параметр --jinja. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-8B-Thinking-GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит GGUF-веса модели Qwen3-VL-8B-Thinking, разделённые на языковую модель и vision encoder в формате mmproj. Модель предназначена для анализа изображений и видео, генерации и понимания текста, визуального рассуждения, OCR, пространственного анализа, STEM- и математических задач, визуального программирования, а также взаимодействия с графическими интерфейсами и инструментами. Модель относится к thinking-редакции и имеет размер 8B параметров. Поддерживаются варианты языковой части FP16, Q8_0 и Q4_K_M, а vision encoder доступен в FP16 и Q8_0. Заявлены нативный контекст 256K с возможностью расширения до 1M, работа с длительными видео и распознавание текста на 32 языках. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Модель поддерживает мультимодальный ввод изображений и видео, однако конкретный список языков помимо OCR в README не указан. GGUF-файлы совместимы с llama.cpp, Ollama и другими инструментами экосистемы GGUF и могут запускаться на CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Доступны разные уровни точности для компромисса между качеством, скоростью и требованиями к памяти; при этом производительность зависит от выбранной квантизации и оборудования. Модель распространяется по лицензии Apache-2.0.

NobodyWho/Qwen_Qwen3-4B-GGUF — это квантизированная версия текстовой instruction-following модели Qwen3-4B, разработанной командой Qwen. Репозиторий предоставляет модель в формате GGUF, адаптированном прежде всего для инференса через библиотеку NobodyWho; GGUF-квантизации подготовлены bartowski. Модель предназначена для генерации текста, диалоговых приложений, выполнения инструкций и сценариев с вызовом инструментов или функций. Она поддерживает режим рассуждений с явным выводом пошагового решения и работает более чем со 100 языками. Указана только текстовая модальность. Модель содержит около 4 миллиардов параметров и поддерживает контекст длиной до 32 768 токенов. В README приведён вариант Q4_K_M, однако характеристики других вариантов квантизации могут отличаться. К сильным сторонам относятся сравнительно небольшой размер, переносимый формат GGUF, поддержка мультиязычной генерации, инструментальных вызовов и режима рассуждений. Ограничения включают неизвестную дату отсечения знаний и отсутствие опубликованных бенчмарков в данном README; также квантизация может влиять на качество и скорость по сравнению с исходной моделью. Лицензия — Apache 2.0.

Deepthink-Reasoning-14B — текстовая языковая модель, разработанная PrithivMLmods и дообученная на Qwen/Qwen2.5-14B-Instruct. Это плотная авторегрессионная архитектура Qwen2 с 14 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; модель загружается через Transformers, веса представлены в формате safetensors. Модель предназначена для пошагового решения математических и логических задач, написания и отладки кода, объяснений, творческих текстов, чат-ботов и формирования структурированных ответов, включая JSON. В карточке заявлена поддержка более 29 языков и длинных текстов; метаданные указывают контекст до 32 768 токенов, поэтому заявленные в README 128K токенов не подтверждаются данными конфигурации. Модель дообучена на Math-Solve, NuminaMath-CoT и наборах QwQ-LongCoT. Модель может ошибаться или выдумывать сведения, особенно при неоднозначных запросах; качество зависит от формулировки запроса, а на длинном контексте может снижаться. Большой размер требует значительных вычислительных ресурсов. Лицензия — Apache-2.0.

Gemma 3 4B Instruction-tuned QAT compressed-tensors — это мультимодальная instruction-tuned модель семейства Gemma 3, разработанного Google DeepMind. Данная версия представляет собой конвертацию Gemma 3 4B IT из формата GGUF Q4_0 в формат compressed-tensors с типом данных BF16; преобразование не является полностью без потерь. Модель принимает текст и изображения, а генерирует текст. Модель предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Она поддерживает более 140 языков, контекст входных данных до 128K токенов, изображения с нормализацией до 896×896 пикселей, кодируемые в 256 токенов каждое, и генерирует до 8192 токенов. Размер 4B и QAT-квантизация снижают требования к памяти при сохранении качества, близкого к bfloat16, что облегчает запуск на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель можно запускать, в частности, через vLLM; исходная карточка также описывает использование llama.cpp. Ограничения включают возможные потери качества из-за преобразования и квантизации, а также стандартные ограничения генеративных и мультимодальных моделей. Модель распространяется по лицензии Gemma; конкретные условия определяются официальными Terms of Use Google.

Gemma 3n E4B-it LiteRT-LM — мультимодальная instruction-tuned модель семейства Gemma, разработанная Google DeepMind на основе исследований и технологий Gemini. Она предназначена для эффективного выполнения на устройствах с ограниченными ресурсами, включая смартфоны, ноутбуки, настольные компьютеры и собственную облачную инфраструктуру. Модель подходит для ответов на вопросы, суммаризации, рассуждений, анализа изображений, а также обработки аудио- и видеоданных с генерацией текстовых ответов. Модель поддерживает текстовые, визуальные, аудио- и видеовходы и принимает контекст объёмом до 32K токенов; максимальная длина вывода составляет до 32K токенов за вычетом входных токенов. Изображения подаются в разрешениях 256×256, 512×512 или 768×768 и кодируются по 256 токенов каждое, аудио — со скоростью 6,25 токена в секунду для одного канала. Gemma 3n использует selective parameter activation и архитектуру Matformer, благодаря чему эффективный размер модели составляет около 4B параметров при меньших требованиях к ресурсам. Указанная версия доступна в формате LiteRT-LM и использует int4-квантизацию весов с float-активациями. К сильным сторонам относятся мультимодальность, возможность локального запуска и оптимизация для мобильных и других малоресурсных устройств. Модель обучалась на данных более чем на 140 разговорных языках, однако конкретный перечень языков и гарантии качества для каждого из них не указаны. Производительность зависит от устройства, аппаратного ускорения, кэширования и текущей нагрузки; приведённые benchmarks относятся к preview-версии LiteRT-LM и не гарантируют такие же результаты в других условиях. Для использования требуется принять условия лицензии Gemma Google.

trohrbaugh/gemma-4-26B-A4B-it-heretic-ara — разговорная мультимодальная модель семейства Gemma 4, размещённая пользователем trohrbaugh. Это вариант Gemma 4 26B A4B с метками heretic, uncensored, decensored и abliterated; карточка не описывает, какие именно изменения внесены в веса. Архитектура использует чередование локального скользящего и глобального внимания. Модель принимает текст и изображения и предназначена для диалога, понимания изображений и документов, генерации и исправления кода, суммаризации и рабочих процессов с вызовом инструментов. В README для семейства Gemma 4 26B A4B заявлен контекст до 256K токенов и поддержка более 35 языков, однако эти сведения приведены для семейства, а не подтверждены отдельными тестами этого варианта. README также описывает для Gemma 4 понимание видео, но карточка именно этого репозитория и его метаданные подтверждают только задачу image-text-to-text и возможность vision, поэтому видео в назначение этой версии не включено. Аудиофункции в README отнесены только к моделям E2B и E4B. Модель может ошибаться в фактах и сложных запросах, а изменённая маркировкой heretic версия может отличаться по поведению и отказам от исходной Gemma 4. Лицензия репозитория — Apache-2.0.

Ornith 1.5 35B A3B UNCENSORED JANG_4M — это квантованная MLX-версия мультимодальной модели Ornith-1.5-35B-A3B, опубликованная dealignai на базе разработки ornith-ai. Модель предназначена для запуска на устройствах Apple Silicon через vMLX или совместимый MLX-VLM runtime и ориентирована на диалоговые задачи, программирование, рассуждения, работу с изображениями и видео, а также агентные сценарии с вызовом инструментов. Модель имеет архитектуру Mixture-of-Experts с 35,9 млрд параметров, 40 слоями и 256 маршрутизируемыми экспертами. Она использует гибридную основу с gated-delta и полнослойным attention, 27-слойную vision-башню и нативную поддержку видео. Доступен контекст до 262 144 токенов, поддерживаются английский язык, изображения и видео, встроены режим рассуждений и вызов инструментов через XML или function schema. JANG_4M — это 4-битная смешанно-точная квантзация, размер сборки составляет около 20 ГБ. К сильным сторонам относятся сохранённые возможности базовой модели в области знаний, кодирования, рассуждений и компьютерного зрения, длинный контекст, мультимодальность и высокая готовность следовать инструкциям без стандартного поведения отказа. По заявленным результатам, MMLU составляет 78,4%, а соответствие тестам HarmBench — 97,1%; при этом MMLU ниже показателя базовой модели 81,1%. Удаление защитных отказов является существенным ограничением и требует ответственного применения, соблюдения законодательства и мер безопасности. В README указана лицензия Apache-2.0; модель опубликована для исследований AI-безопасности и санкционированного тестирования.