I.3Извлечение и структурирование данных

RedHatAI/gemma-4-E2B-it — инструктивный вариант мультимодальной модели Gemma 4, опубликованный Red Hat AI; семейство разработано Google DeepMind. Модель основана на google/gemma-4-E2B и предназначена для диалогов, генерации и редактирования текста, рассуждений, программирования и анализа мультимодальных данных. Она использует плотную архитектуру Gemma 4 и распространяется в формате Safetensors по лицензии Apache 2.0. Версия E2B принимает текст, изображения, видео и аудио и генерирует текстовые ответы. Для небольших моделей семейства заявлено контекстное окно до 128 тысяч токенов; поддерживаются многие языки. Возможности включают понимание изображений и документов, распознавание речи, перевод речи в текст, вызов инструментов и генерацию кода. Гибридное внимание и компактный размер семейства рассчитаны в том числе на локальное выполнение на устройствах с ограниченными ресурсами. Модель может ошибаться в ответах, распознавании и интерпретации мультимодальных входов; качество следует проверять для конкретного языка и сценария. README описывает возможности семейства Gemma 4 в целом, поэтому отдельные детали, не подтверждённые для E2B, не следует считать гарантированными.

ente-ai/gemma-4-E4B-it-GGUF — квантизированная в формате GGUF instruction-tuned версия модели Gemma 4 E4B, разработанной Google DeepMind и опубликованной в виде сборки Unsloth. Модель относится к семейству открытых мультимодальных моделей Gemma 4 и предназначена для локального запуска, в том числе на ноутбуках и мобильных устройствах, а также для использования в Unsloth Studio и совместимых инструментах. Модель поддерживает обработку текста, изображений и аудио с генерацией текста, ориентирована на рассуждения, генерацию текста, программирование, мультимодальный анализ, агентские сценарии и вызов функций. Для E4B указаны около 4,5 млрд эффективных параметров и 8 млрд параметров с учётом эмбеддингов, 42 слоя, размер контекстного окна до 128K токенов и локальное окно внимания 512 токенов. Архитектура Gemma 4 использует гибридное внимание с чередованием локального sliding window attention и глобального внимания; заявлена поддержка более 140 языков, настраиваемых режимов рассуждения и системных промптов. К сильным сторонам относятся мультимодальность, большое контекстное окно, поддержка native function calling, возможности для кодирования и эффективного локального развертывания благодаря 4-битному GGUF-представлению. Ограничения включают зависимость качества и скорости от выбранного квантизированного варианта и аппаратного обеспечения; конкретные требования к памяти и производительности в README не указаны. Модель распространяется по лицензии Apache 2.0, при этом для Gemma 4 также следует учитывать условия лицензии Google, доступные по указанной ссылке.

Карточка модели AmanNagtode/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

Карточка модели lamm-mit/google-gemma-4-E4B-it на Hugging Face совпадает с карточкой google/gemma-4-E4B, поэтому описание составлено по ней. Gemma 4 E4B — мультимодальная плотная модель семейства Gemma, разработанная Google DeepMind и представленная в виде весов с лицензией Apache 2.0. Она принимает текст, изображения и аудио и генерирует текст; аудиовозможности включают распознавание речи и перевод речи в текст. Модель рассчитана на запуск на мобильных устройствах и ноутбуках, а также на диалоговые сценарии, рассуждения, программирование и работу с инструментами. Архитектура реализует гибридное внимание: чередует локальные окна внимания с глобальным вниманием. Для E4B заявлено контекстное окно до 128 тысяч токенов. Модель понимает изображения, в том числе документы, графики и интерфейсы, а также аудио; семейство Gemma 4 поддерживает более 140 языков при обучении и более 35 языков при использовании. Карточка описывает семейство в целом, поэтому отдельные языковые возможности E4B могут зависеть от задачи и конфигурации.

Hy4 preview — крупная языковая модель нового поколения, разработанная командой Tencent Hy. Это текстовая генеративная модель с архитектурой Mixture-of-Experts (MoE), предназначенная для решения сложных задач программной инженерии, анализа документов и данных, подготовки документов, таблиц и презентаций, разработки игр, научных исследований и многошаговых рабочих процессов. Модель содержит 770 млрд параметров, из которых 49 млрд активируются для каждого токена. Архитектура включает 78 слоёв, 256 маршрутизируемых экспертов и одного общего эксперта; для каждого токена выбираются 8 маршрутизируемых экспертов. Используются Gated DeepSeek Sparse Attention, механизм повторного использования разреженных индексов IndexCache и четыре residual-потока iHC. Контекстное окно составляет 1 млн токенов, размер словаря — 120 832 токена. В модель также встроен слой MTP для speculative decoding. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны Hy4 preview — высокая вычислительная ёмкость, большой контекст и специализация на длительных задачах, включая разработку ПО, анализ разрозненной информации, создание игровых прототипов и научное рассуждение. Ограничения связаны со статусом ранней preview-версии: авторы отмечают наличие нерешённых проблем, включая склонность тратить больше времени, чем необходимо, на сложные задачи и чрезмерно перепроверять результаты. Модель распространяется по лицензии Apache 2.0.

unsloth/Llama-3.1-8B-Instruct-unsloth-bnb-4bit — это 4-битная версия инструкционной модели Llama 3.1 8B, разработанной Meta и подготовленной для распространения Unsloth. Модель предназначена для многоязычного диалога, генерации текста и кода, выполнения инструкций, а также локального запуска и последующей тонкой настройки. README также указывает на сценарии дообучения, включая создание reasoning-моделей с использованием GRPO. Модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 8 миллиардами параметров и поддержкой Grouped-Query Attention. Она работает только с текстом: принимает многоязычный текст и генерирует многоязычный текст и код. Контекстное окно составляет до 128 тысяч токенов, обучающие данные включают более 15 триллионов токенов из общедоступных онлайн-источников, дата отсечения знаний — декабрь 2023 года. Инструкционная версия использует supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Ключевое преимущество этой сборки — 4-битное представление, снижающее требования к памяти и подходящее для эффективного локального инференса и дообучения. Ограничения включают текстовую модальность, возможные ошибки и ограничения базовой языковой модели, а также устаревание знаний после декабря 2023 года. Для использования применяется лицензия Llama 3.1; её условия необходимо соблюдать при распространении и эксплуатации модели.

Ocean-Horizon-3.7B — плотная авторегрессионная языковая модель с декодерной архитектурой от OceanLabs. В метаданных указано 4,1 млрд параметров, тогда как в названии и README модель обозначена как 3,7B. Она работает через Transformers и имеет нативное контекстное окно 524 288 токенов. Модель предназначена для генерации текста, программирования, математических и научных рассуждений, агентных сценариев и анализа длинных документов. Карточка заявляет настраиваемую глубину рассуждений, специальные токены для них и встроенный вызов инструментов с представлением JSON, XML или Markdown. В README описан многоэтапный процесс обучения, включающий предобучение, расширение контекста, обучение на задачах рассуждения и настройку по инструкциям. Базовая модель не указана. Лицензия Apache-2.0 разрешает исследовательское и коммерческое использование. Заявления о высокой производительности приведены без численных результатов бенчмарков в доступной части карточки.

Карточка модели simonycl/qwen3-30b-plateau-6skill-0617-iter223 на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Instruct-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

unsloth/Qwen3-4B-unsloth-bnb-4bit — 4-бillionная причинная языковая модель, представляющая 4-битную версию Qwen3-4B, подготовленную Unsloth на базе модели Qwen/Qwen3-4B. Она предназначена для генерации текста, диалогов, следования инструкциям, математических и логических рассуждений, написания кода, творческих задач, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель имеет 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, и 36 слоёв. Архитектура использует Grouped Query Attention с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3 поддерживает более 100 языков и диалектов, включая английский; модальность README не указывает, поэтому модель следует считать текстовой. Ключевые особенности — переключение между режимами reasoning и обычного, не требующего рассуждений, ответа в рамках одной модели, улучшенные возможности следования инструкциям, многоязычность и работа в агентских сценариях. 4-битное представление снижает требования к памяти и удобно для локального запуска и дообучения, однако может сопровождаться потерей точности по сравнению с полноразмерными версиями. Для работы рекомендуется актуальная версия библиотеки Transformers; конкретные требования к оборудованию в README не приведены. Модель распространяется по лицензии Apache-2.0.

Карточка модели tangyunbo/RL на Hugging Face совпадает с карточкой Qwen/Qwen3-4B-Instruct-2507, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507 — плотная причинно-языковая модель семейства Qwen3, разработанная командой Qwen. Это обновлённая версия Qwen3-4B в режиме без рассуждений: модель обучена следовать инструкциям и вести диалог, а также поддерживает интерфейс вызова инструментов. В репозитории указано 4,0 млрд параметров, метаданные Hugging Face указывают 3,7 млрд; нативная длина контекста составляет 262 144 токена. Модель предназначена для генерации ответов, понимания текста, логических и математических задач, вопросов по естественным наукам, программирования и работы с инструментами. Большое окно контекста подходит для анализа длинных документов и диалогов; заявлена поддержка нескольких языков и улучшенное покрытие редких знаний. Модель принимает текст и выдаёт текст. В README отмечены улучшения следования инструкциям, рассуждений, генерации текста и работы с длинным контекстом. Модель работает только в режиме без рассуждений и не выводит блоки рассуждений. Лицензия — Apache-2.0.

C4AI Command R7B — открытая исследовательская модель с весами, разработанная Cohere и Cohere For AI. Данный репозиторий содержит её квантизированные версии в формате GGUF с использованием imatrix, предназначенные для локального запуска через llama.cpp и совместимые с рядом клиентских интерфейсов, включая KoboldCPP, Ollama, Jan, text-generation-webui и GPT4All. Модель имеет 7 миллиардов параметров и контекстное окно 128K токенов. Это мультиязычная text-generation модель, обученная на 23 языках. Она предназначена для рассуждений, суммаризации, ответов на вопросы, генерации кода, Retrieval Augmented Generation (RAG) и использования инструментов. Также заявлены агентные возможности: модель может комбинировать несколько инструментов и выполнять многошаговые задачи. К её сильным сторонам относятся широкий контекст, поддержка нескольких языков и ориентация на корпоративные сценарии, включая работу с кодом. Ограничения связаны с относительно небольшим размером по сравнению с крупными моделями и необходимостью использовать совместимое программное обеспечение; для запуска GGUF-файлов требуется llama.cpp версии b4415 или новее. Модель распространяется по лицензии CC-BY-NC, которая не допускает коммерческое использование, а также требует соблюдения Acceptable Use Policy от C4AI. Репозиторий содержит квантизированные производные исходной модели c4ai-command-r7b-12-2024, опубликованной Cohere For AI.

GDN-primed-HQwen3-8B-Reasoner — гибридная причинно-следственная языковая модель Amazon, созданная на основе Qwen3-8B с помощью конвейера Priming из Hybrid Model Factory. В архитектуре сочетаются 18 слоёв Attention и 18 слоёв Gated DeltaNet (GDN), слоя модели пространства состояний с постоянным размером состояния. Модель содержит около 7,6 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для рассуждений на длинном контексте, ответов на вопросы, математики, научных задач, программирования, следования инструкциям и вызова инструментов. Она поддерживает режимы с рассуждением и без него; режим рассуждения может повысить качество ответов на сложные запросы, но увеличивает задержку. Гибридная архитектура сокращает использование растущего KV-кэша и, по данным разработчика, может ускорить инференс на длинном контексте до двух раз при качестве, близком к базовой модели. Модель работает с текстом, имеет контекст 128K токенов в описании разработчика и доступна в формате safetensors для Transformers. Она основана на многоязычной Qwen3-8B, однако конкретный перечень поддерживаемых языков в карточке не приведён. Лицензия — Apache 2.0. Результаты на отдельных тестах различаются: например, показатель SciCode ниже базовой Qwen3-8B; для длинных генераций разработчик рекомендует настройки кэша float32.

unsloth/gemma-4-31b-it-MLX-8bit — 8-битная MLX-версия instruction-tuned модели Gemma 4 31B, подготовленная Unsloth на базе Google Gemma 4 31B-it. Разработчик исходной модели — Google DeepMind. Это мультимодальная модель, принимающая текст и изображения и генерирующая текст; она предназначена для локального запуска на совместимом оборудовании Apple MLX, а также для диалоговых приложений, генерации текста, программирования, рассуждений, анализа изображений и агентских сценариев с поддержкой вызова функций. Модель имеет плотную архитектуру с 30,7 млрд параметров, 60 слоями и гибридным вниманием, сочетающим локальное скользящее окно размером 1024 токена с глобальным вниманием. Контекстное окно составляет до 256 тысяч токенов, размер словаря — 262 тысячи токенов, поддерживается более 140 языков. Gemma 4 также предлагает настраиваемые режимы рассуждения, нативную поддержку системных сообщений и обработку изображений с различным соотношением сторон и разрешением. К сильным сторонам относятся большой контекст, мультимодальность, возможности рассуждения и программирования, а также оптимизации Gemma 4 для эффективной работы. Ограничения конкретной MLX-версии, требования к памяти, результаты бенчмарков и влияние 8-битного квантования на качество в README не указаны; аудио для модели 31B не заявлено. Модель распространяется по лицензии Apache 2.0.

google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

unsloth/gemma-4-E4B-it-GGUF — это квантизированная в формате GGUF instruction-tuned версия мультимодальной модели Gemma 4 E4B, основанная на google/gemma-4-E4B-it. Семейство Gemma 4 разработано Google DeepMind, а данный вариант подготовлен Unsloth. Модель распространяется с открытыми весами и предназначена для локального запуска, в том числе на ноутбуках и мобильных устройствах, а также для использования в Unsloth Studio и совместимых инструментах GGUF. Модель принимает текст и изображения, а также аудио для малых моделей Gemma 4, включая E4B, и генерирует текст. Она подходит для генерации текста, рассуждений, анализа изображений, программирования, агентских сценариев и вызова функций. Для семейства заявлены поддержка более 140 языков, настраиваемые режимы рассуждения, native function calling и поддержка системных сообщений. E4B имеет 4,5 млрд эффективных параметров, около 8 млрд параметров с учётом embedding-слоёв, 42 слоя, окно контекста 128K токенов и размер словаря 262K. Визуальный энкодер содержит около 150 млн параметров, аудиоэнкодер — около 300 млн. Архитектура использует гибридное внимание, сочетающее локальное sliding-window attention с глобальным вниманием; размер локального окна E4B составляет 512 токенов. Это позволяет снизить требования к памяти и ускорить обработку длинных контекстов, сохраняя глобальное представление информации. Квантизация GGUF может уменьшать требования к ресурсам и упрощать локальное развертывание, однако конкретные характеристики скорости, качества и потребления памяти зависят от варианта квантизации и используемого рантайма. Лицензия — Apache 2.0.

cyankiwi/GLM-4.7-Flash-AWQ-4bit — 4-битная AWQ-квантизованная версия GLM-4.7-Flash, разработанной командой GLM и распространяемой организацией zai-org. Это языковая модель для генерации текста, рассуждений, программирования и агентских сценариев, включая взаимодействие с инструментами и решение задач, требующих многошагового планирования. Модель построена по архитектуре MoE с конфигурацией 30B-A3B: общий размер составляет около 30 млрд параметров, при этом на каждом шаге активируется примерно 3 млрд. Указаны поддерживаемые языки English и Chinese, библиотека Transformers и текстовая модальность. В README приведены настройки генерации с максимальной длиной нового вывода до 131 072 токенов, однако размер контекстного окна явно не указан. Для локального запуска заявлена совместимость с Transformers, vLLM и SGLang; для этой версии также требуется учитывать поддержку AWQ-квантизации используемым фреймворком. Сильными сторонами являются сочетание производительности и эффективности при локальном развертывании, а также результаты на задачах рассуждений, программирования, веб-поиска и взаимодействия с инструментами. Ограничениями выступают возможные потери качества из-за 4-битной квантизации и необходимость актуальных версий программного обеспечения для поддержки модели. В README указана лицензия MIT.

casperhansen/mistral-small-24b-instruct-2501-awq — это 4-битная AWQ-квантизованная версия Mistral-Small-24B-Instruct-2501. Исходную модель разработала Mistral AI, а квантизованные веса опубликованы пользователем casperhansen. Это instruction-tuned большая языковая модель для генерации текста, диалоговых агентов, вызова функций, локального инференса и последующей адаптации под специализированные задачи. Модель содержит около 24 млрд параметров и использует архитектуру MistralForCausalLM: 40 скрытых слоёв, 32 attention heads и 8 key-value heads. Максимальный контекст — 32 768 токенов. Модель работает с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Квантизация AWQ в формате INT4 уменьшает требования к памяти и делает локальное развёртывание практичнее, но может снижать точность по сравнению с исходными полноразмерными весами. Сильные стороны — относительно компактный для своего класса размер, поддержка многоязычной генерации, инструкций и function calling, а также возможность локального использования. Ограничения включают текстовую модальность, зависимость качества от выбранного 4-битного квантования и отсутствие подробной отдельной model card для этого производного репозитория. Для исходной Mistral-Small-24B-Instruct-2501 указана лицензия Apache 2.0; точные условия использования производного репозитория следует проверять по его метаданным.

Qwen2-57B-A14B-Instruct — инструктивная чат-модель семейства Qwen2, разработанная командой Qwen. Это языковая модель с архитектурой Transformer и смесью экспертов (MoE): всего около 57 млрд параметров, из которых при генерации активируется примерно 14 млрд. В метаданных репозитория указано 7,1 млрд параметров; модель распространяется в формате Safetensors и использует лицензию Apache 2.0. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, понимание и создание текстов, рассуждения, математику и программирование. Карточка заявляет контекст до 65 536 токенов с применением YARN для обработки длинных запросов; метаданные каталога указывают нативный контекст 32 768 токенов. Многоязычный токенизатор рассчитан на естественные языки и код, однако метаданные карточки подтверждают только английский язык. Среди сильных сторон — большая длина контекста и широкая направленность на языковые задачи; в README также приведены сравнительные оценки на бенчмарках. Для длинного контекста с YARN описана настройка развёртывания через vLLM, причём фиксированный коэффициент масштабирования может снижать качество на коротких текстах. Для работы с архитектурой Qwen2MoE рекомендуется Transformers версии 4.40.0 или новее.

Qwen2-57B-A14B-Instruct-GGUF — инструкционная языковая модель серии Qwen2, разработанная командой Qwen. Это текстовая модель для генерации и понимания текста, диалоговых приложений, решения задач на естественных языках, программирования, математики и рассуждений. Модель ориентирована на сценарии, где требуется чат-ассистент или локально развёртываемый сервис с совместимым с OpenAI API интерфейсом. Модель построена на декодерной архитектуре Transformer и использует Mixture-of-Experts с 57 млрд параметров, из которых 14 млрд активны (57B-A14B). Среди архитектурных особенностей указаны активация SwiGLU, bias в QKV и Grouped Query Attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования; в карточке явно указан английский язык. Модель прошла дообучение с учителем и Direct Preference Optimization. Доступны GGUF-квантизации от q2_k до q8_0, что позволяет выбирать компромисс между размером, скоростью и качеством. Сильными сторонами заявлены конкурентоспособность в задачах понимания и генерации текста, многоязычность, программирование, математика и рассуждения, а также возможность запуска через llama.cpp. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели, зависимость характеристик от выбранного уровня квантизации и отсутствие в README данных о максимальной длине контекста, точном наборе поддерживаемых языков и производительности. Модель распространяется по лицензии Apache 2.0.

lmstudio-community/Qwen3-32B-GGUF — квантизированная версия языковой модели Qwen3-32B, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b5200. LM Studio распространяет эту модель в рамках общественной программы, но не является её разработчиком. Модель предназначена для генерации текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математических задач и рассуждений общего назначения. Поддерживаются режимы с рассуждением и без него; режим /no_think позволяет отключить рассуждения добавлением соответствующего параметра в конец запроса. Заявлена поддержка более 100 языков и диалектов, а также агентских сценариев. Модель имеет 32 млрд параметров и поддерживает контекст до 131 072 токенов с использованием YaRN; значение по умолчанию составляет 32 000 токенов. К ключевым преимуществам относятся расширенные возможности рассуждения, программирования, математики, диалогового взаимодействия и следования инструкциям. Ограничения включают возможные неточные, вредные или неподходящие ответы, а также отсутствие в README сведений о точном уровне квантизации, требованиях к оборудованию и характеристиках производительности. Модель распространяется по лицензии Apache 2.0.

Qwen3-4B-Instruct-2507 — плотная причинно-языковая модель семейства Qwen3, представленная в репозитории Unsloth как вариант исходной Qwen/Qwen3-4B-Instruct-2507. Она предназначена для диалогов и следования инструкциям, рассуждений, понимания текста, математики, естественных наук, программирования и использования инструментов. Модель работает только в режиме без явного пошагового рассуждения и поддерживает вызов инструментов через соответствующий интерфейс. В модели около 3,7 млрд параметров; архитектура — Qwen3ForCausalLM, формат весов — safetensors. Нативная длина контекста составляет 262 144 токена. Карточка заявляет улучшенные многоязычные возможности, но не перечисляет конкретные языки. Модель выпущена под лицензией Apache-2.0. Веса доступны для применения в задачах генерации текста и построения диалоговых и агентных систем.

Qwen3.5-9B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen и подготовленной Unsloth. Это причинная языковая модель с vision encoder, поддерживающая обработку текста и изображений. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев, визуального понимания и вызова инструментов. Модель содержит около 9 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; заявлены ранняя интеграция мультимодальных токенов и обучение с multi-step prediction (MTP). Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. MTP-режим со speculative decoding может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки llama.cpp. Сильные стороны модели — сочетание языковых и визуальных возможностей, большой контекст, поддержка инструментов и высокая скорость локального инференса в MTP-режиме. Ограничения включают необходимость специальной сборки llama.cpp для MTP; при таком запуске не поддерживаются параллелизм запросов через -np > 1 и параметр --mmproj. Доступна по лицензии Apache 2.0.

palmfuture/Qwen3.6-27B-GPTQ-Int4 — это GPTQ-квантизованная до Int4 версия открытой модели Qwen3.6-27B, разработанной командой Qwen и подготовленной пользователем palmfuture. Модель представляет собой каузальную языковую модель с визуальным энкодером и предназначена для генерации текста и кода, выполнения инструкций, математического рассуждения, анализа изображений, агентского программирования и работы с большими контекстами. Заявлена поддержка английского, тайского, китайского и других многоязычных сценариев. Исходная модель содержит около 27 млрд параметров, 64 слоя и гибридную архитектуру Gated DeltaNet/Mamba и gated attention, дополненную MTP для многотокенного предсказания и ускорения спекулятивного декодирования. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. В данной версии основные линейные слои квантизованы в Int4 с uniform group_size=32, тогда как нормализации, эмбеддинги, языковая голова, визуальный энкодер и MTP-слои сохранены в формате bfloat16. Указана совместимость с Transformers, vLLM и SGLang; MTP-параметры проверены на vLLM 0.21.0. К преимуществам относятся существенное снижение требований к памяти по сравнению с полноразмерной версией, заявленная 100%-ная успешность GPTQ-квантизации без RTN fallback и сохранение поддержки мультимодального ввода. Ограничения включают возможное ухудшение качества из-за 4-битной квантизации, а также необходимость совместимого программного окружения и нескольких GPU для практического запуска; точные требования к инференсу в README не указаны. Лицензия — Apache-2.0.

NVIDIA Qwen3.6-27B-NVFP4 — квантизированная версия авторегрессионной модели Qwen3.6-27B, разработанной Alibaba и оптимизированной NVIDIA с помощью Model Optimizer. Модель использует архитектуру Transformers с гибридным механизмом внимания Gated DeltaNet и Gated Attention и содержит около 27 млрд параметров. Версия NVFP4 1.0 квантизирована с помощью nvidia-modelopt v0.45.0. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе искусственного интеллекта. Согласно описанию, она принимает текст, изображения и видео, включая RGB-изображения и видео в форматах MP4/WebM, а максимальная длина контекста достигает 262 тысяч токенов. На выходе формирует текст. Возможности оценивались на задачах текстового и мультимодального рассуждения, программирования, использования инструментов, следования инструкциям и работы с длинным контекстом. К сильным сторонам относятся большой контекст, поддержка мультимодальных входных данных и оптимизация для ускоренного инференса на GPU NVIDIA. Поддерживаются vLLM, Linux и аппаратные платформы NVIDIA Hopper и Blackwell; тестирование проводилось на NVIDIA GB300. Данные о языках, исходных обучающих наборах и их объёмах не раскрыты. Для безопасного и эффективного применения необходимы дополнительные проверки на данных конкретного сценария, а заявленная совместимость ориентирована на GPU-системы NVIDIA. Модель доступна для коммерческого и некоммерческого использования на условиях лицензии Apache 2.0.

Frosty40/Qwen3.8-27B-GGUF — это квантованная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат GGUF для запуска через llama.cpp. Модель предназначена для генерации и анализа текста, работы с кодом и агентскими сценариями, а также для задач vision-language с обработкой изображений через отдельный vision projector. Поддерживаются большие контексты до 262K токенов, гибридная архитектура с 48 слоями линейного внимания Gated-DeltaNet и 16 слоями полного внимания, а также межслойное позиционное кодирование MRoPE и гибридная recurrent-attention память. Языки в README явно не указаны. Основной рекомендуемый файл использует квантование Q6_K, повышенную точность Q8_0 для attention-проекций и встроенную MTP-голову для speculative decoding; его размер составляет 23,2 ГБ. MTP может ускорять декодирование примерно на 45–95% при поддержке NextN/MTP в llama.cpp. Заявлены высокая близость к версии bf16, особенно для кода и агентских задач, а также сохранение качества vision-инференса. Для работы требуются llama.cpp с поддержкой архитектуры qwen35, а для MTP-версии — дополнительная поддержка NextN/MTP и vision projector. Контекстное смещение недоступно, а превышение объёма памяти видеокарты приводит к выгрузке в оперативную память и снижению производительности. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V4-Flash-0731-Abliterated — модифицированная версия DeepSeek-V4-Flash-0731, разработанная автором lovesenko посредством прямого редактирования весов исходной модели. Это Mixture-of-Experts-модель на 284 млрд параметров, из которых активируется около 13 млрд, с контекстным окном до 1 млн токенов и смешанной точностью FP8. Архитектура включает Multi-Token Prediction (MTP) для speculative decoding, совместима с DeepSeek-V4-Flash-DSpark и ориентирована на рассуждения и агентские сценарии. В README не указаны точные языки и полный перечень поддерживаемых модальностей; по представленным данным модель является текстовой языковой моделью. Модель предназначена для генерации текста, сложных рассуждений, программирования, логических и фактических задач, а также использования в агентских рабочих процессах с длинным контекстом. Версия Abliterated создана редактированием пространства весов для ослабления встроенных отказов: проекция удаляет широкое направление отказа из выходных проекций attention во всех слоях декодера и из MTP-head. В заявленной оценке доля отказов снизилась с 96,1% у базовой версии до 13,0% в режиме chain-of-thought и до 2,0% без него. К сильным сторонам относятся очень большой контекст, высокая вычислительная ёмкость MoE при относительно небольшом числе активных параметров, MTP для ускорения декодирования и сохранение ключевых возможностей базовой модели по заявленным spot-check-тестам. Ограничения включают остаточные отказы, особенно при включённом рассуждении, а также риск деградации длинных цепочек рассуждений при более агрессивном редактировании. Модель распространяется по лицензии MIT.

unsloth/gemma-3-12b-it-unsloth-bnb-4bit — это 4-битная квантованная instruction-tuned версия Gemma 3 12B, разработанная Google DeepMind и подготовленная Unsloth. Модель использует открытые веса и предназначена для запуска и дообучения через Transformers, включая сценарии локального развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель принимает текст и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Для версии 12B заявлено контекстное окно до 128K токенов, изображения приводятся к разрешению 896 × 896 и кодируются в 256 токенов каждое, максимальный объём генерируемого результата составляет 8192 токена. Gemma 3 поддерживает более 140 языков, однако в метаданных этой карточки явно указан английский язык. Ключевое преимущество варианта — снижение требований к памяти благодаря 4-битной квантизации; Unsloth также указывает на селективную Dynamic Quantization, призванную сохранить больше качества по сравнению со стандартной 4-битной квантизацией. Ограничения включают возможные потери качества из-за квантизации, необходимость совместимого программного и аппаратного окружения, а также типичные риски генеративных моделей: ошибки, неточные ответы и зависимость результатов от формулировки запроса. Модель распространяется по лицензии Gemma; применяются соответствующие условия использования Google.

Ling-3.0-flash-int4 — текстовая генеративная модель от inclusionAI, представленная в формате int4 и распространяемая по лицензии MIT. Она предназначена для генерации текста, рассуждений, следования инструкциям, программирования, задач общего назначения, глубокого исследования и агентских рабочих процессов, включая взаимодействие с инструментами и выполнение многошаговых задач. Модель использует гибридную линейную MoE-архитектуру с чередованием 35 слоёв Kimi Delta Attention (KDA) и 7 слоёв Gated MLA в соотношении 5:1, двумя плотными слоями, 512 маршрутизируемыми и одним общим экспертом; на токен активируется 8 экспертов. Общий объём составляет 124 млрд параметров, активный — 5,1 млрд. Размер скрытого состояния — 2560, число голов внимания — 32, словарь содержит 157184 токена. Контекст обучался поэтапно от 8K до 256K токенов. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны модели — высокая вычислительная эффективность, поддержка длинного контекста, рассуждений и агентских сценариев, а также оптимизация для производственного развёртывания. Указана интеграция с иерархическим кэшированием SGLang HiCache и Mooncake, которое, по данным разработчика, снижает время до первого токена на 60–80% при длинных входах. Ограничения включают отсутствие в README подробностей о точности int4, фактических требованиях к аппаратному обеспечению, качестве на конкретных языках и результатах независимой проверки. Лицензия — MIT.

Карточка модели deadguy56/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 на Hugging Face совпадает с карточкой AbhijeetJain4075/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-BF16 — большая языковая модель NVIDIA для диалога, рассуждений и агентных сценариев. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-агентов, которым нужны сложное следование инструкциям, анализ больших документов и кодовых баз, а также задачи в математике и науке. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Всего в ней 550 млрд параметров, из которых активно используются 55 млрд; метаданные указывают контекст до 262 144 токенов. README заявляет поддержку английского, французского, испанского, итальянского, немецкого, японского, хинди, корейского, бразильского португальского и китайского; теги карточки также включают арабский и иврит. Модель распространяется в формате safetensors, работает через Transformers и заявлена как пригодная для коммерческого и некоммерческого применения. Лицензия обозначена как other, поэтому перед использованием следует проверить её условия у разработчика.

PINQWEN-3.5-9B-1M-GGUF — компактная reasoning-модель, разработанная Blackfrost AI на базе архитектуры Qwen 3.5 9B. Модель предназначена для генерации текста, задач программирования, рассуждений и работы с большими объёмами контекста. Она распространяется в формате GGUF для локального запуска через llama.cpp и поддерживает режим пошагового рассуждения с блоками <think> и последующим ответом. Заявленное контекстное окно составляет до 1 000 000 токенов благодаря расширению YaRN, что подходит для анализа целых кодовых баз, книг и других объёмных документов. Доступны варианты квантования от 2 до 8 бит, а также f16; рекомендованным балансом размера и качества назван Q4_K_M. В комплект входят MTP-голова для speculative decoding и отдельный vision projector для обработки изображений в совместимых средах, однако конкретные поддерживаемые языки в README не указаны. К сильным сторонам относятся очень длинный контекст, локальное развертывание, открытое рассуждение, широкий выбор квантований и возможность мультимодального ввода при использовании совместимого runtime. Ограничения включают компромисс между размером, скоростью и качеством при квантовании, зависимость мультимодальных и MTP-возможностей от поддержки со стороны runtime, а также заявленную модель поведения без встроенных отказов, что требует ответственного применения. Лицензия — Apache-2.0; базовая архитектура указана как Qwen 3.5 9B.