II.8Инженерия данных и аналитика

mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit — квантизированная MLX-версия модели Google Gemma 4, подготовленная сообществом mlx-community с помощью mlx-optiq. Модель основана на Google Gemma 4 26B A4B instruction-tuned QAT и предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачной инфраструктуры. Это разреженная MoE-модель с 26 млрд общих параметров, 128 маршрутизируемыми экспертами и примерно 4 млрд активных параметров на токен. Используется смешанная квантизация: преимущественно 4-битная, но чувствительные компоненты, включая часть экспертных тензоров, слои внимания и маршрутизатор, представлены в 8-битном формате. Достигнутая точность составляет 6,01 бит на вес, размер модели на диске — около 19 ГБ. Модель поддерживает генерацию текста, а также сценарии image-text-to-text через bf16 vision-модуль. Языки и размер контекстного окна в README не указаны. Модель ориентирована на рассуждения, следование инструкциям, генерацию кода, работу с инструментами и агентские сценарии. По сравнению с равномерной 4-битной квантизацией той же QAT-базы она немного улучшает средний Capability Score и результаты MMLU, GSM8K и IFEval, однако уступает в BFCL и HumanEval, поэтому характеристики зависят от задачи. Для использования требуются mlx-optiq и версия mlx-lm из основной ветки; запуск рассчитан прежде всего на Apple Silicon и требует значительного объёма памяти. Лицензия указана как Apache 2.0; также применяются условия лицензии Gemma от Google.

Gemma 4 E4B it qat JANG_4M CRACK — дообученная и квантованная мультимодальная модель dealignai на базе google/gemma-4-e4b-it. Это плотная модель семейства Gemma 4 с гибридным скользящим и глобальным вниманием. Вариант JANG_4M использует 8-битную точность для attention и 4-битную для MLP; модель предназначена для запуска на Apple Silicon через vMLX. Модель поддерживает диалог, работу с изображениями и аудио, ответы на вопросы, многошаговые рассуждения и генерацию кода. Разработчик заявляет об удалении отказов при сохранении возможностей; в приведённых тестах модель показала 71,9% на MMLU и 100% выполнения запросов из вредоносных категорий HarmBench. Для запуска требуется vMLX с поддержкой Gemma 4 и достаточный объём объединённой памяти. Указана лицензия Gemma; карточка рекомендует использовать модель для исследований и возлагает соблюдение применимых законов на пользователя.

parasail-ai/GritLM-7B-vllm — копия модели GritLM 7B от ContextualAI, в которой изменено имя архитектуры в конфигурации для упрощения использования с vLLM. GritLM — инструкционно дообученная языковая модель на архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель объединяет генерацию текста и получение текстовых представлений (эмбеддингов), поэтому подходит для диалогов, генерации ответов и задач семантического поиска или классификации текста. В метаданных указаны теги для разговорного использования и датасет GritLM/tulu2. Репозиторий содержит веса PyTorch в формате safetensors и распространяется по лицензии Apache 2.0.

IFM/K2-Horizon-32B-GGUF — GGUF-версия модели K2-Horizon-32B-Stage1, разработанной IFM. Это открытая плотная decoder-only языковая модель с 32 млрд параметров, предназначенная для генерации текста, а также для задач, связанных с агентными сценариями, программированием и рассуждениями. Указан английский язык; модель относится к текстовой модальности. Модель поддерживает контекстное окно размером 524 288 токенов. Тензоры сохранены в исходной точности BF16, а файлы GGUF содержат метаданные токенизатора и шаблон чата, совместимый с llama.cpp. Для запуска требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, а доступный checkpoint относится к первой стадии обучения. К сильным сторонам относятся большой контекст, полностью открытая модель, публикация обучающих данных, рецепта и кода обучения, а также наличие промежуточных checkpoint для изучения изменений возможностей в процессе обучения. Ограничения связаны с необходимостью специальной поддержки архитектуры в llama.cpp и с тем, что это Stage 1, тогда как финальный checkpoint ещё должен быть выпущен. Лицензия — Apache 2.0.

Ling-3.0-flash-VL-fp4 — нативная мультимодальная модель, разработанная командой InclusionAI. Она предназначена для анализа изображений и видео, визуального понимания документов, схем, графиков и интерфейсов, многошагового рассуждения с опорой на визуальные данные, проверки информации, планирования и выполнения действий в реальных и агентных сценариях. Модель поддерживает режим рассуждения, включённый по умолчанию, а также задачи взаимодействия с веб- и программными интерфейсами. Модель имеет 124 млрд общих параметров, из которых 5,5 млрд активируются для каждого токена, что повышает эффективность инференса. Архитектура включает визуальный ViT-энкодер, двухслойный MLP-проектор, VideoRoPE для учёта пространственных и временных позиций, 42-слойный гибридный языковой backbone с чередованием слоёв KDA и Gated MLA в соотношении 5:1, а также разреженную MoE-архитектуру. Поддерживаются текст, изображения и видео; заявленное контекстное окно достигает 256K токенов. Для видео предусмотрены сценарии локализации событий, ответов на вопросы по длинным роликам и редактирования видеоклипов. К сильным сторонам относятся объединение восприятия, рассуждения, планирования, действий и проверки, работа со сложными визуальными структурами и высокая эффективность за счёт MoE. В Artificial Analysis Intelligence Index v4.1.1 модель получила 42 балла, что на 4 балла выше базовой Ling-3.0-flash. README не содержит подробных сведений о языках, конкретных ограничениях качества или системных требованиях вне отдельных конфигураций запуска. Модель распространяется по лицензии MIT.

Это точная копия весов, токенизатора и конфигурации Llama 3.1 8B Instruct от Meta, размещённая Positron AI как зафиксированный исходный снимок для собственных GPTQ-квантизаций организации. Модель представляет собой плотную авторегрессионную языковую модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов; поддерживает диалоги и генерацию текста, включая интерфейс вызова инструментов. Модель предназначена для инструкционного диалога и генерации текста. Метаданные перечисляют английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Репозиторий использует формат safetensors и лицензию Llama 3.1. Это неизменённая перепубликация базовой модели, поэтому её возможности и ограничения соответствуют исходной карточке Meta; отдельные оценки качества и дополнительные ограничения в этой карточке не приведены.

SillyTilly/Meta-Llama-3.1-405B-Instruct — текстовая инструкция-настроенная модель Meta из семейства Llama 3.1. Это авторегрессионный плотный Transformer с архитектурой LlamaForCausalLM и механизмом Grouped-Query Attention; в репозитории указано около 408 млрд параметров, формат весов safetensors и контекст до 131 072 токенов. Модель принимает и генерирует текст и предназначена для диалоговых сценариев с ассистентом, генерации текста и использования в коммерческих и исследовательских приложениях. Модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Ключевые особенности семейства включают настройку инструкциями с помощью supervised fine-tuning и обучения с обратной связью от людей, а также возможности многоязычного диалога и интеграции с внешними инструментами на стороне приложения. Репозиторий создан пользователем SillyTilly; README описывает модель Meta Llama 3.1. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License и Acceptable Use Policy. К ограничениям относятся непредсказуемые или небезопасные ответы, а также недостаточно надёжное качество и безопасность на языках, не входящих в перечень поддерживаемых; при подключении инструментов разработчик должен отдельно контролировать их безопасность и целостность.

Карточка модели Crystalcareai/Meta-llama-3.1-8b-instruct на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta-Llama-3.1-8B-Instruct — инструктивно дообученная языковая модель семейства Llama 3.1, разработанная Meta. Это плотная авторегрессионная модель на архитектуре Transformer с 7,5 млрд параметров; версия Instruct прошла supervised fine-tuning и обучение с обратной связью от людей. Репозиторий содержит веса в формате safetensors, модель предназначена для генерации текста и диалогов с помощником. Окно контекста — 131 072 токена. Модель рассчитана на многоязычный диалог, ответы на вопросы, написание и преобразование текста, а также может использоваться в приложениях и для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель принимает и выдаёт текст; поддержка инструментов зависит от интеграции разработчиком. Модель выпущена Meta 23 июля 2024 года. Лицензия — Llama 3.1 Community License с условиями использования и Acceptable Use Policy; перед коммерческим применением необходимо ознакомиться с её условиями. Это статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться между языками, а карточка не заявляет поддержку русского языка.

Карточка модели SillyTilly/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta-Llama-3.1-8B-Instruct — инструктивно дообученная языковая модель семейства Llama 3.1, разработанная Meta. Это плотная авторегрессионная модель на архитектуре Transformer с 7,5 млрд параметров; версия Instruct прошла supervised fine-tuning и обучение с обратной связью от людей. Репозиторий содержит веса в формате safetensors, модель предназначена для генерации текста и диалогов с помощником. Окно контекста — 131 072 токена. Модель рассчитана на многоязычный диалог, ответы на вопросы, написание и преобразование текста, а также может использоваться в приложениях и для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель принимает и выдаёт текст; поддержка инструментов зависит от интеграции разработчиком. Модель выпущена Meta 23 июля 2024 года. Лицензия — Llama 3.1 Community License с условиями использования и Acceptable Use Policy; перед коммерческим применением необходимо ознакомиться с её условиями. Это статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться между языками, а карточка не заявляет поддержку русского языка.

Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

gghfez/Mistral-Small-3.2-24B-Instruct-hf — преобразованная в формат Hugging Face версия Mistral-Small-3.2-24B-Instruct-2506. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 23,4 млрд параметров, предназначенная для генерации текста и диалогов по инструкциям. Модель принимает текст и выдаёт текст; контекст — до 32 768 токенов. В карточке указано, что эта версия не мультимодальная. Модель может применяться для диалоговых ассистентов, ответов на вопросы и генерации текста. Она распространяется по лицензии Apache-2.0. README описывает преобразование базовой модели в формат Hugging Face, а не отдельное дообучение.

next-70b-i1-GGUF — это набор квантизированных файлов GGUF для языковой модели next-70b, разработанной thelamapi и подготовленной в формате GGUF пользователем mradermacher. Модель относится к большим трансформерным instruction-tuned языковым моделям с 70 миллиардами параметров и предназначена для генерации текста и диалогового использования. Модель обучалась на наборах данных для instruction tuning, написания текстов, краткого содержания, агентных сценариев, математических задач и программной инженерии, включая GSM8K, MATH-500 и SWE-bench Verified. Заявлена поддержка турецкого, английского, немецкого, испанского, французского, русского, китайского, японского и корейского языков. README не содержит данных о длине контекста, точной архитектуре трансформера, мультимодальности или результатах бенчмарков, поэтому эти характеристики нельзя оценить по предоставленной информации. Основное преимущество репозитория — широкий выбор квантизаций с размером примерно от 15,4 до 58 ГБ, что позволяет выбирать баланс качества, скорости и требований к памяти. Для использования требуются совместимые инструменты, поддерживающие GGUF. Низкобитные варианты могут заметно уступать по качеству; в README отдельно отмечены варианты с низким качеством, а для ряда конфигураций рекомендуются IQ-квантизации или Q4_K_M. Модель распространяется по лицензии MIT.

Nous Hermes 2 Mixtral 8x7B DPO — диалоговая языковая модель Nous Research, дообученная на базе Mixtral 8x7B с помощью SFT и DPO. Она использует разреженную архитектуру Mixture of Experts (MoE); в репозитории указано 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации ответов в чате, следования инструкциям и многошагового диалога. Она обучалась на более чем миллионе примеров, преимущественно созданных GPT-4, а также на данных из открытых наборов. Для диалога применяется формат ChatML с системными инструкциями и шаблоном чата Hugging Face. Карточка приводит результаты нескольких бенчмарков и сообщает об улучшении относительно базовой Mixtral и Mixtral Instruct. Основной язык карточки — английский. Модель распространяется по лицензии Apache-2.0. Для запуска в 4-битном режиме README указывает потребность более чем в 24 ГБ видеопамяти; фактические требования зависят от конфигурации и способа запуска.

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16 — языковая модель NVIDIA для генерации текста и диалогов с поддержкой рассуждений. Это эластичный чекпойнт на базе NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, содержащий вложенные варианты размером 30B, 23B и 12B параметров, которые можно извлечь из общих весов. Для основного варианта указаны 30B общих и 3,6B активных параметров; архитектура сочетает Mamba-2, Transformer и Mixture-of-Experts. Модель распространяется в формате BF16 через safetensors и использует библиотеку Transformers. Модель предназначена для диалогов, решения задач на рассуждение и генерации текста с возможностью выбирать вариант под доступный вычислительный бюджет. Она поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Размер контекста по метаданным — 262 144 токена; в README также описана настройка развёртывания с контекстом до 1M токенов. README заявляет готовность к коммерческому использованию, однако конкретное обозначение лицензии в метаданных — other, поэтому условия следует проверить на странице модели.

Карточка модели junie626/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

bunnycore/Qwen2.5-7B-Instruct-Fusion — языковая модель для генерации текста, созданная автором репозитория с помощью слияния нескольких предварительно обученных моделей методом Model Stock через mergekit. В качестве основы использована Qwen/Qwen2.5-7B; также объединены rombodawg/Rombos-LLM-V2.5-Qwen-7b, fblgit/cybertron-v4-qw7B-MGS и sethuiyer/Qwen2.5-7B-Anvita. Модель имеет плотную архитектуру Qwen2 и 7,1 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый интерфейс и интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Подходит для диалогов и широких задач генерации текста; в README приведены результаты оценивания на IFEval и BBH. Веса опубликованы в формате Safetensors и указана библиотека Transformers. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

QuantFactory/Qwen3-0.6B-GGUF — квантизированная версия языковой модели Qwen3-0.6B, созданная QuantFactory на основе базовой модели Qwen/Qwen3-0.6B с использованием llama.cpp. Это каузальная языковая модель для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческих сценариев и интеграции с внешними инструментами. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, и включает 28 слоёв. Используется Grouped Query Attention: 16 голов для запросов и 8 для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Модель поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Она умеет переключаться между режимами thinking для сложных рассуждений, математики и программирования и non-thinking для более быстрого универсального диалога. К сильным сторонам относятся малый размер, поддержка квантизированного формата GGUF, многоязычность, рассуждения, диалоговые и агентские сценарии. Ограничения включают меньшую ёмкость по сравнению с более крупными моделями и возможные повторения при неудачных параметрах генерации; в исходной документации для таких случаев рекомендуется настроить sampling и presence_penalty. Данные о конкретном варианте квантизации, требованиях к памяти и производительности не указаны. Модель распространяется по лицензии Apache-2.0.

llmfan46/Qwen3.6-35B-A3B-uncensored-heretic — мультимодальная чат-модель независимого автора, созданная на основе Qwen/Qwen3.6-35B-A3B. Это вариант с ослабленным отказом на запросы: в карточке приведено сравнение, где доля отказов составляет 10 из 100 против 83 из 100 у исходной модели. Модель предназначена для диалога, анализа изображений и сценариев агентного программирования с вызовом инструментов. Архитектура Qwen3.5 MoE содержит 35 млрд параметров, из которых активируется около 3 млрд; README также описывает языковую модель с визуальным энкодером и 262 144 токена нативного контекста, расширяемого до 1 010 000. Указаны возможности сохранения рассуждений в истории диалога и результаты тестирования MMLU, но эти сведения не гарантируют качество на конкретных задачах. Модель принимает текст и изображения и выдаёт текст. Файлы представлены в формате safetensors, библиотека для работы — Transformers. Лицензия Apache-2.0. Поскольку модель специально снижает число отказов, она может отвечать на запросы, которые исходная модель отклоняет; ответы следует проверять, особенно в чувствительных сценариях.

Qwythos-27B-v1-GGUF — это набор GGUF-квантизаций модели Qwythos-27B-v1, разработанной компанией Empero. Модель предназначена для локального запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Это плотная гибридная модель семейства Qwen3.5 с 27 миллиардами параметров, прошедшая SFT, DPO и ESFT; представленная версия является предварительной RL-оптимизации v1. Модель поддерживает текстовые задачи и обработку изображений при использовании отдельного vision-проектора mmproj-Qwythos-27B-F16.gguf. Заявлены встроенные MTP-возможности для ускорения генерации, мультимодальность и контекстное окно до 1 048 576 токенов. Доступны варианты от Q4_K_M до BF16 с различным соотношением размера, качества и требований к памяти; Q4_K_M указан как рекомендуемый вариант по умолчанию. На практике полноценное использование длинного контекста требует значительных ресурсов для KV-кэша, а более точные варианты могут потребовать 48–80 ГБ видеопамяти, нескольких GPU или выгрузки части вычислений на CPU. Модель подходит для локальных диалоговых и аналитических сценариев, рассуждений, агентных задач, работы с длинным контекстом и анализа изображений. Сильными сторонами являются сохранённые vision tower и MTP head, большой контекст и широкий выбор квантизаций. Ограничения связаны с высокими требованиями к памяти, зависимостью MTP от свежей версии llama.cpp и необходимостью отдельного vision-проектора для изображений. Модель и её квантизации распространяются по лицензии Apache-2.0.

Typhoon2-Qwen2.5-7B-Instruct — инструктивная языковая модель, разработанная командой Typhoon AI и дообученная на базе Qwen2.5-7B. Это плотная авторегрессионная модель архитектуры Qwen2 с 7,1 млрд параметров, предназначенная для диалога и выполнения инструкций на тайском и английском языках. Метаданные указывают контекст до 32 768 токенов; для более длинных текстов README описывает расширение контекста с помощью YaRN. Модель подходит для диалоговых помощников, вызова функций, решения математических задач, программирования и работы с длинными текстами. В приведённых разработчиками оценках она показывает результаты на тайском и английском языках, включая задачи следования инструкциям и переключения между языками. Модель принимает текст и генерирует текст. Это развивающаяся модель: ответы могут быть неточными, предвзятыми или нежелательными, поэтому её следует оценивать применительно к конкретному сценарию. Расширение контекста YaRN может ухудшить качество на коротких запросах при статическом масштабировании. Распространяется по лицензии Apache-2.0.

Citaman/command-r-10-layer — языковая модель генерации текста, созданная с помощью mergekit из двух перекрывающихся срезов слоёв модели Citaman/command-r-11-layer, объединённых методом SLERP. Она предназначена для диалогов и генерации текста; в метаданных также отмечен интерфейс вызова инструментов. Модель построена на плотной архитектуре CohereForCausalLM и содержит 10,3 млрд параметров. Модель принимает текст и выдаёт текст. Указанная длина контекста — 8192 токена. Веса опубликованы в формате safetensors и типе bfloat16. Метаданные не называют поддерживаемые естественные языки. Лицензия в предоставленных данных не указана.

darkps_ice-AI-GGUF — это квантованные версии языковой модели ice-AI, разработанной DarkPs и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста, диалогового взаимодействия и задач программирования; заявлена поддержка нескольких языков. Входной модальностью является текст, спекулятивное декодирование не поддерживается. Модель содержит около 8 млрд параметров. Набор включает варианты от BF16 до низкоразрядных квантовок Q2 и IQ, размер файлов составляет примерно от 3,4 до 16,4 ГБ. Квантования с imatrix рассчитаны на работу через совместимые инструменты llama.cpp; разработчик рекомендует Q4_K_M как сбалансированный вариант по качеству, размеру и производительности, а Q6_K и Q6_K_L — для более высокого качества. Длина контекста в README не указана. Сильными сторонами являются широкий выбор квантований, возможность подобрать модель под доступный объём памяти и совместимость с экосистемой llama.cpp. Более компактные варианты экономят память, но могут заметно уступать старшим квантованиям по качеству. Лицензия — Apache-2.0; исходной моделью указана darkps/ice-AI.

Falcon-H1-34B-Instruct — многоязычная инструктивная языковая модель, разработанная Technology Innovation Institute (TII). Это плотная авторегрессионная модель с гибридной архитектурой Transformers и Mamba; для работы доступны Transformers, vLLM и llama.cpp. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения и ответы на инструкции. Модель содержит 29,6 млрд параметров и поддерживает контекст длиной до 262 144 токенов. В метаданных перечислены арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский языки. В README приведены результаты сравнительной оценки на нескольких наборах задач, но они не гарантируют одинакового качества для всех языков и сценариев. Модель дообучена на базе tiiuae/Falcon-H1-34B-Base; лицензия — Falcon-LLM License, обозначенная в метаданных как other, поэтому перед использованием следует проверить её условия.

google/gemma-3n-E2B-it-litert-lm — компактная instruction-tuned мультимодальная модель семейства Gemma, разработанная Google DeepMind на основе технологий, использованных при создании Gemini. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами, включая смартфоны, ноутбуки, браузеры и собственную облачную инфраструктуру, с использованием LiteRT-LM. Модель поддерживает текстовые запросы и документы, изображения, аудио и видео на входе, формируя текстовые ответы. Она подходит для вопросов и ответов, суммаризации, рассуждений, анализа изображений, транскрибации и других задач понимания контента. Заявлена поддержка данных более чем на 140 разговорных языках. Контекст составляет до 32K токенов, максимальная длина вывода — до 32K токенов за вычетом входного запроса; изображения кодируются в 256 токенов, аудио — со скоростью 6,25 токена в секунду. Gemma 3n использует архитектуру Matformer и технологию выборочной активации параметров, благодаря чему E2B имеет эффективный размер около 2B параметров при меньших требованиях к ресурсам, чем модели с сопоставимым полным размером. В репозитории доступна квантизованная версия с весами int4 и активациями float. Это обеспечивает высокую скорость инференса на совместимом CPU, GPU и NPU, однако фактическая производительность зависит от устройства, аппаратного ускорения и настроек выполнения. Модель ориентирована на генерацию текста и не предназначена для выдачи мультимодальных данных. Использование регулируется лицензией Gemma и условиями Google; доступ к модели на Hugging Face требует принятия соответствующих условий. Авторы — Google DeepMind.

Gemma 4 12B JANG4M CRACK — мультимодальная модель на основе Google Gemma 4 12B IT, опубликованная dealignai. Это дообученная и квантизованная версия с плотной унифицированной архитектурой для обработки текста и изображений; в README также заявлена поддержка аудиовхода. Модель предназначена для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с визуальными входами. Квантизация JANG_4M использует 8-битные веса для attention и 4-битные для MLP. Авторы сообщают о сохранении возможностей базовой модели, включая vision и audio, и приводят результаты собственных проверок MMLU и HarmBench. Метаданные указывают библиотеку MLX и формат safetensors; для запуска README требует Apple Silicon и vMLX с поддержкой Gemma 4. Модель описана как abliterated: авторы заявляют об удалении отказов и высокой доле выполнения запросов из категорий HarmBench. Это важное ограничение для сценариев, где требуется безопасное ограничение ответов. Лицензия — Gemma; авторы указывают исследовательское назначение и возлагают на пользователей ответственность за соблюдение применимых законов.

HauhauCS/Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced — модифицированная версия Google Gemma 4 26B A4B IT, разработанная HauhauCS. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, задач эмоционального интеллекта, программирования и агентных рабочих процессов с использованием инструментов. Она позиционируется как uncensored-вариант с минимальным количеством отказов; при этом в отдельных пограничных случаях может сначала добавить краткое предупреждение или отклонить запрос, но обычно отвечает после повторного запроса. Модель имеет MoE-архитектуру: около 25,2 млрд общих параметров и 3,8 млрд активных параметров на проход, 128 маршрутизируемых экспертов, top-8 и один общий эксперт. Используются 30 слоёв с гибридным вниманием, включающим пять оконных слоёв на 1024 токена и один слой полного внимания, а также Proportional RoPE. Нативный контекст составляет 256 тысяч токенов. Модель мультимодальная, поддерживает текст и изображения, поставляется с визуальным проектором mmproj и переменным бюджетом визуальных токенов. В README явно указан английский язык. Сильными сторонами заявлены стабильная работа при повторной генерации, сохранение связности в длинных контекстах, высокая пропускная способность благодаря малому числу активных параметров и пригодность для локального запуска через GGUF-совместимые среды, включая llama.cpp и LM Studio. Для сложных агентных задач автор README отмечает превосходство Qwen3.6. Доступны различные варианты квантования размером примерно от 10 до 27 ГБ; рекомендуемый вариант для программирования — Q4_K_P. Модель распространяется по лицензии Apache-2.0.

Gemma 4 E4B-it QAT MXFP4 CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-e4b-it. Это плотная модель с гибридным скользящим и глобальным вниманием, дообученная с удалением отказов и квантизированная до 4-битного формата MXFP4. Она принимает текстовые запросы, изображения и аудио, а также предназначена для диалога, ответов на вопросы, многошаговых рассуждений и генерации кода; в метаданных также заявлен интерфейс вызова инструментов. В README автор сообщает о сохранении визуальных и аудиовходов, проверке генерации кода и снижении результата MMLU на 3,9 процентного пункта относительно базовой модели. Удаление отказов означает, что модель может выполнять вредоносные запросы; заявленные результаты HarmBench приведены автором и не являются независимой оценкой. Для запуска требуется Apple Silicon с достаточной объединённой памятью и vMLX с поддержкой Gemma 4. Лицензия — Gemma; автор публикует модель для исследовательских целей.

GritLM/GritLM-7B-KTO — версия модели GritLM 7B с обучением KTO, основанная на Mistral 7B. GritLM разработана Contextual AI и объединяет генерацию текста с получением текстовых представлений и эмбеддингов в одной модели. В репозитории указаны архитектура Mistral и 7,1 млрд параметров; модель принимает текст, поддерживает диалоговый режим и имеет контекст длиной до 32 768 токенов. Модель предназначена для генерации ответов в диалоге, а также для задач представления и классификации текста. Карточка описывает GritLM как модель, показавшую передовые результаты на задачах генерации и текстовых представлений, но конкретные результаты для версии KTO не приведены. Модель распространяется по лицензии Apache-2.0.

GritLM-8x7B-KTO — версия GritLM, разработанная Contextual AI и обученная методом KTO. GritLM объединяет генерацию текста и создание текстовых представлений в одной языковой модели; семейство включает вариант на архитектуре Mixtral 8x7B. В репозитории указаны веса Safetensors и лицензия Apache-2.0. Модель предназначена для диалоговой генерации текста и задач, где нужны текстовые представления, например поиск по смыслу и сопоставление текстов. Контекст составляет до 32 768 токенов. Карточка не приводит отдельные результаты или ограничения качества именно версии KTO; пригодность для конкретного сценария следует оценивать на его данных.

Hermes-3-Llama-3.1-70B-GGUF — это квантизированная в формате GGUF версия языковой модели Hermes-3-Llama-3.1-70B, разработанной NousResearch. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи ассистирования, ролевого общения, работу с синтетическими данными и дистилляцией, вызов функций и формирование структурированных ответов в JSON. Модель основана на Llama 3.1 с 70 млрд параметров и ориентирована на англоязычные сценарии. Она поддерживает инструкционный формат общения ChatML, режим JSON и function calling; в README приведён специальный шаблон промпта с системными, пользовательскими и ассистентскими сообщениями. Доступно множество вариантов квантизации с разным соотношением качества, размера и требований к памяти: от Q8_0 размером около 75 ГБ до крайне компактных IQ1_M и IQ2-вариантов. Рекомендуемыми названы, в частности, Q6_K, Q5_K_M и варианты Q4. Сильной стороной модели является высокое качество старших вариантов квантизации и поддержка расширенных сценариев инструкционного использования, включая структурированный вывод и вызов функций. Ограничения связаны с большим размером 70-миллиардной модели, значительными требованиями к оперативной или видеопамяти и неизбежной потерей качества у низкобитных вариантов. Сведения о длине контекста и мультимодальных возможностях в README не указаны. Лицензия обозначена как llama3.