II.6Документация и сопровождение разработки

Falcon3-10B-Instruct-abliterated-GGUF — это квантизированная версия инструкционной языковой модели Falcon3-10B-Instruct-abliterated, опубликованная в формате GGUF пользователем bartowski. Базовая модель разработана huihui-ai и относится к семейству Falcon3. Квантизация выполнена с помощью llama.cpp, версии b4381, с использованием метода imatrix и специализированного набора данных. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, совместимых с llama.cpp и форматом GGUF. Поддерживаются английский, французский, испанский и португальский языки. Архитектура, размер контекста, точные параметры исходной модели и поддержка модальностей, кроме текста, в README не указаны; по назначению это текстовая модель без заявленной обработки изображений или других типов данных. Для общения используется шаблон с ролями system, user и assistant. Доступны варианты от F16 размером 20,62 ГБ до компактных IQ3_M и Q3-разрядных сборок. Версии Q4–Q6 заявлены как обеспечивающие хорошее или очень высокое качество при меньшем потреблении памяти, а Q3-варианты рассчитаны на системы с ограниченным объёмом RAM, но имеют более низкое качество. Ограничения качества зависят от выбранного уровня квантизации, при этом конкретные результаты тестирования не приведены. Модель распространяется по лицензии Falcon LLM License; условия доступны по ссылке, указанной в карточке.

ehristoforu/Falcon3-8B-Franken-Basestruct — объединённая языковая модель на 8 млрд параметров, созданная методом SLERP с помощью mergekit из tiiuae/Falcon3-10B-Instruct и tiiuae/Falcon3-10B-Base. Модель использует плотную архитектуру LlamaForCausalLM и предназначена для генерации текста, в том числе в диалоговом формате; заявленный контекст составляет 32 768 токенов. Объединение сочетает инструкционную и базовую версии Falcon3. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Метаданные отмечают поддержку чата и интерфейс вызова инструментов, однако подробные оценки качества и конкретные сценарии применения в карточке не приведены. Сведения о лицензии в предоставленных данных отсутствуют.

Falcon-40B-Instruct — разработанная TII модель генерации текста с архитектурой Falcon: плотный декодерный трансформер, дообученный для диалогов и выполнения инструкций на основе Falcon-40B. В README указано 40 млрд параметров, тогда как метаданные Hugging Face сообщают 65 млрд; точный размер по этим источникам расходится. Архитектура использует rotary position embeddings, multiquery attention и FlashAttention. Модель предназначена для чат-ботов, ответов на вопросы и генерации текста по инструкциям. Она обучалась преимущественно на английских данных, а также поддерживает французский; дообучение проводилось на смеси Baize с небольшой долей RefinedWeb. Для быстрого запуска авторы указывают потребность примерно в 85–100 ГБ памяти. Модель доступна по лицензии Apache 2.0. Модель может воспроизводить предубеждения из веб-данных и слабо переносить навыки на языки, отличные от английского. Авторы рекомендуют оценивать риски и применять защитные механизмы перед использованием в производстве; instruct-версия может быть не лучшей отправной точкой для дальнейшего дообучения.

Falcon-H1-1.5B-Base — базовая языковая модель семейства Falcon-H1, представленная на Hugging Face аккаунтом TII. Это плотная авторегрессионная модель с архитектурой, сочетающей Transformer и Mamba, предназначенная для генерации текста и дальнейшей адаптации под прикладные задачи. Метаданные указывают 1,1 млрд параметров и контекст до 131 072 токенов. Модель рассчитана на английский и многоязычные сценарии; в тегах перечислены арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский. Для запуска заявлена поддержка Transformers, vLLM и llama.cpp; опубликованный репозиторий использует safetensors. В таблице оценки Falcon-H1-1.5B показывает конкурентные результаты на общих тестах, включая BBH и MMLU, однако это не гарантирует качество на конкретных пользовательских задачах. Лицензия — Falcon-LLM License; перед использованием следует свериться с её условиями.

Faro-Yi-9B-DPO — чат-модель на архитектуре Llama, разработанная wenbopan. Это версия Faro-Yi-9B, обученная с Direct Preference Optimization (DPO); в карточке также указано объединение моделей. Модель содержит 8,6 млрд параметров и рассчитана на генерацию текста в диалоге. Она обучалась на китайских и англоязычных предпочтениях и наборах данных для следования инструкциям и правдивых ответов. Модель предназначена для диалоговых ответов, рассуждений и решения задач на английском и китайском языках. В опубликованной таблице Faro-Yi-9B-DPO превосходит Faro-Yi-9B и Yi-9B-200K по приведённым метрикам MMLU, GSM8K, HellaSwag, TruthfulQA, AI2 ARC, WinoGrande и CMMLU; автор также сообщает о предпочтении её ответов судьёй GPT-4 в MT-Bench. Контекст модели — 32 768 токенов. Для длинных запросов необходимы подходящие настройки и достаточная видеопамять; автор приводит способы увеличить длину контекста с возможным снижением качества при 4-битной квантизации. Лицензия — MIT.

Faro-Yi-9B-DPO-imatrix-GGUF — набор GGUF-квантизаций модели Faro-Yi-9B-DPO, опубликованный пользователем duytnet. Базовая модель разработана wenbopan как DPO-версия Faro-Yi-9B на архитектуре Yi с примерно 9 млрд параметров. Модель предназначена для генерации текста и диалоговых сценариев, использует шаблон ChatML и поддерживает работу через llama.cpp, KoboldCpp, Ollama, text-generation-webui, Jan и GPT4All. Модель ориентирована на ответы общего назначения, рассуждения, работу с вопросами и документами, включая длинный контекст. В README заявлены высокие результаты на MMLU, GSM8K, HellaSwag, TruthfulQA, AI2 ARC, Winogrande и CMMLU, а также предпочтение ответов модели в оценке MT-Bench с использованием GPT-4 Judge. Для оригинальной модели описана работа с контекстом до 32K токенов при 24 ГБ видеопамяти, до 48K при использовании FP8 KV-кэша и до 160K для 4-битной AWQ-квантизации, однако фактические возможности конкретной GGUF-квантизации зависят от файла, аппаратного обеспечения и настроек запуска. В карточке указаны английский язык и лицензия «other», но точные условия лицензии не приведены. GGUF-квантизация снижает требования к памяти и упрощает локальный запуск, однако может приводить к некоторой потере качества по сравнению с полноразмерной моделью; степень потерь зависит от выбранного варианта квантизации.

Это GGUF-представление модели fblgit/una-cybertron-7b-v2-bf16, подготовленное Featherless AI. Базовая модель Cybertron 7B v2 дообучена на основе Mistral и предназначена для диалогов, генерации текста и задач на рассуждение. Репозиторий содержит файлы в формате GGUF с вариантами квантования, включая IQ4_XS, Q2_K и Q3_K_L; README также указывает наличие других вариантов. Модель подходит для локального или размещённого запуска в совместимой среде GGUF. Сведения о лицензии, поддерживаемых языках и длине контекста в предоставленных данных отсутствуют.

Карточка модели Eric111/FINAL-Bench_Darwin-4B-Opus на Hugging Face совпадает с карточкой FINAL-Bench/Darwin-4B-Opus, поэтому описание составлено по ней. Darwin-4B-Opus — языковая модель для диалога и рассуждений, созданная VIDRAFT с помощью движка Darwin V6. Это слияние Google Gemma 4 E4B Instruct и модели Gemma-4-E4B-Claude-4.6-Opus-Reasoning-Distilled; при слиянии DARE-TIES применялись диагностически подобранные коэффициенты для отдельных тензоров. Модель использует архитектуру Gemma4ForConditionalGeneration с MoE, содержит около 4 млрд параметров и представлена в формате BF16 и safetensors. Модель предназначена для ответов на вопросы, рассуждений, программирования, математики и анализа на одном потребительском GPU. В README заявлены контекст 128 тыс. токенов и поддержка более 140 языков; метаданные карточки перечисляют английский, корейский, японский и китайский. Архитектура базовой модели поддерживает изображения и аудио, однако README не описывает эти сценарии для Darwin-4B-Opus. В README приведён результат 82,92% на ARC-Challenge в режиме zero-shot; авторы отмечают, что проверка здоровья модели не проводилась. Модель распространяется по лицензии Apache 2.0. Фактическое качество на других задачах и мультимодальная работа в карточке не подтверждены.

flammen11-mistral-7B — языковая модель на базе архитектуры Mistral, созданная FlammenAI слиянием двух предварительно обученных моделей с помощью метода SLERP и инструмента mergekit. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и рассчитана на генерацию текста; нативная длина контекста составляет 32 768 токенов. Модель подходит для генерации продолжений текста и диалоговых ответов в приложениях на базе Transformers. В карточке не описаны специальные области применения, языки обучения или результаты оценки качества. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

flammenai/flammen5-mistral-7B — плотная языковая модель семейства Mistral с 7,1 млрд параметров для генерации текста. Она создана объединением предварительно обученных моделей nbeerbower/Flammen-Kunoichi-7B и yam-peleg/Experiment26-7B методом SLERP с помощью mergekit. Модель предназначена для сценариев генерации текста; её максимальный контекст составляет 32 768 токенов. Модель распространяется в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. В предоставленной карточке не описаны конкретные языковые специализации и ограничения качества, поэтому их нельзя уточнить.

flammen7-mistral-7B — плотная языковая модель для генерации текста, созданная flammenai слиянием предварительно обученных моделей через SLERP с помощью mergekit. В объединение вошли nbeerbower/flammen6-mistral-7B и nbeerbower/flammen3X; веса опубликованы в формате safetensors и имеют точность bfloat16. Модель построена на архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста. Карточка не уточняет языковую специализацию и сценарии применения, поэтому их нельзя конкретизировать. Лицензия — Apache-2.0.

FofoNet-CatDolphin-PPT-slerp — языковая модель для генерации текста, созданная слиянием CatPPT-base и dolphin-2.6-mistral-7b-dpo-orca-v2 методом slerp с помощью LazyMergekit. Она предназначена для генерации ответов и диалогового взаимодействия на основе текстовых запросов. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Карточка не сообщает о специализированных областях применения или языках. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Franken-MoE-18B-v0.1 — языковая модель семейства Mixtral с архитектурой смеси экспертов (MoE), представленная в формате Safetensors и предназначенная для генерации текста. Карточка приводит пример запроса о плюсах и минусах Docker, поэтому модель можно использовать для ответов на вопросы и объяснений на эту тему. Метаданные указывают 7,1 млрд параметров, контекст до 32 768 токенов и лицензию Apache-2.0. Карточка не уточняет языки обучения или оценки качества, поэтому пример про Docker не подтверждает особую специализацию модели в программировании или поддержку конкретных языков.

anthonymeo/full-train-b3 — дообученная модель на базе Meta Llama 3.2 3B Instruct для генерации текста и диалогов. Она содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и сохранена в формате Safetensors; заявленная длина контекста — 131 072 токена. Карточка сообщает о дообучении на наборе данных train и приводит значение loss 0,2533 на оценочном наборе. Модель подходит для диалоговых сценариев и генерации текста. Метаданные также отмечают интерфейс вызова инструментов. README не раскрывает состав обучающих данных, конкретные целевые задачи настройки или результаты сравнения с базовой моделью. Лицензия указана как other, поэтому перед использованием следует проверить условия в репозитории модели.

FuseChat-Gemma-2-9B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели FuseChat-Gemma-2-9B-Instruct, разработанной FuseAI и опубликованной в формате GGUF пользователем bartowski. Квантизации созданы с помощью llama.cpp версии b4273 и метода imatrix, предназначены для локального запуска и совместимы, в частности, с LM Studio. Модель относится к текстовым генеративным моделям и предназначена для диалогов, следования инструкциям и других сценариев генерации текста. Указан размер базовой модели — 9 миллиардов параметров; поддерживаемые модальности, языки и размер контекста в README не описаны. Для работы используется специальный шаблон промпта с маркерами Gemma для ролей пользователя и модели. Доступны варианты от F32 и F16 до квантизаций Q8, Q6, Q5, Q4 и Q3, а также IQ-форматы, что позволяет выбирать между качеством, размером файла и требованиями к памяти. В README рекомендуются, среди прочих, Q6_K_L, Q6_K, Q5 и Q4 варианты; некоторые сборки оптимизированы для ARM или AVX, а отдельные требуют аппаратной поддержки i8mm или sve и не предназначены для Mac. Более компактные варианты экономят память, но могут снижать качество генерации. Лицензия в предоставленных данных не указана.

FwF-Qwen-7B-0.1 — языковая модель на архитектуре Qwen2, созданная объединением моделей bunnycore. В README описано слияние методом TIES с базой bunnycore/FuseQwQen-7B и моделями, ориентированными на рассуждения, длительные цепочки размышлений, ролевой диалог и общие задачи. Репозиторий содержит веса в формате safetensors; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалогов, следования инструкциям, многошаговых рассуждений и ролевых сценариев. Указанные в метаданных возможности включают чат и интерфейс вызова инструментов. Сведения подтверждают поддержку генерации текста, но не устанавливают конкретный уровень качества на отдельных задачах. Лицензия в предоставленных данных не указана.

GarrulusMarcoro-7B-v0.1 — объединённая языковая модель, созданная с помощью LazyMergekit из udkai/Garrulus и mlabonne/NeuralMarcoro14-7B. Это плотная модель семейства Mistral с 7,1 млрд параметров; в репозитории веса представлены в формате Safetensors, а заявленная длина контекста составляет 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. В README описано объединение методом SLERP с настройками для слоёв self-attention и MLP; приведены результаты Open LLM Leaderboard, включая оценки по AI2 Reasoning Challenge и HellaSwag. Лицензия — Apache-2.0. README не уточняет языки обучения, специальные предметные области или гарантии качества для конкретных сценариев. Результаты бенчмарков не гарантируют аналогичную точность на пользовательских задачах.

AALF/gemma-2-27b-it-SimPO-37K — диалоговая модель генерации текста на базе Google Gemma 2. Разработчики дообучили Gemma 2 27B IT методом SimPO: для обучения отобрали 37 040 примеров из ultrafeedback_binarized, используя ArmoRM-Llama3-8B-v0.1 для оценки ответов. Модель рассчитана на диалог и создание ответов на текстовые запросы. Она имеет плотную архитектуру Gemma 2 с 27,6 млрд параметров и контекстное окно 8 192 токена. В репозитории указаны веса Safetensors и библиотека Transformers. Карточка не приводит отдельной оценки качества или списка поддерживаемых языков. Используется лицензия Gemma; условия её применения определяются лицензией Google Gemma.

AALF/gemma-2-27b-it-SimPO-37K-100steps — чекпойнт Gemma 2 от AALF, обученный по методу SimPO для улучшения ответов в диалоге. Модель основана на Google Gemma 2 Instruct с 27,6 млрд параметров; это плотная авторегрессионная языковая модель для генерации текста и общения по инструкциям. Контекстное окно — 8192 токена. Для обучения использовали 37 040 примеров предпочтений, отобранных из HuggingFaceH4/ultrafeedback_binarized с помощью модели вознаграждения RLHFlow/ArmoRM-Llama3-8B-v0.1. В карточке приведён результат оценки AlpacaEval 2.0: win rate 77,09% и length-controlled win rate 79,16%. Модель подходит для чат-ботов, ответов на инструкции и сравнительных экспериментов по выравниванию языковых моделей. Лицензия — Gemma; применяются условия лицензии Google Gemma.

unsloth/gemma-2-9b-it — разговорная модель семейства Gemma 2 от Google, представленная в репозитории Unsloth. Это плотная причинная языковая модель на 9 млрд параметров с контекстом до 8192 токенов, предназначенная для генерации текста в диалоге и продолжения текста. В карточке описаны сценарии дообучения Gemma 2 с помощью Unsloth и 4-битной квантизации bitsandbytes, включая работу с шаблонами ShareGPT ChatML и Vicuna, а также экспорт дообученных моделей в GGUF и vLLM. Модель принимает текст и выдаёт текст; заявленная лицензия — Gemma. Метаданные указывают библиотеку Transformers и поддержку английского языка. Карточка сосредоточена на инструкциях по дообучению и не сообщает оценок качества или подробных ограничений самой модели.

gemma-2-9b-it-IMat-GGUF — это квантизированная версия текстовой instruction-tuned модели Google Gemma 2 9B IT, подготовленная legraphista в формате GGUF для использования с llama.cpp и совместимыми инструментами. Модель предназначена для генерации текста и диалоговых сценариев, включая локальные чат-приложения и задачи, где важны сниженные требования к памяти. В основе лежит модель google/gemma-2-9b-it с исходным форматом BF16 и примерно 9 миллиардами параметров. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; размеры файлов составляют примерно от 3,8 до 18,5 ГБ. Для ряда вариантов с низкой разрядностью применена IMatrix-квантизация, предназначенная для улучшения сохранения качества при уменьшении размера. README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности; по указанным данным модель является текстовой. Основные преимущества — широкий выбор уровней квантизации, возможность локального запуска и наличие IMatrix-вариантов, позволяющих выбирать компромисс между качеством и потреблением памяти. Ограничения связаны с возможной потерей качества при сильной квантизации и с тем, что характеристики базовой модели, включая языковое покрытие и контекст, в карточке не раскрыты. Использование регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию.

Это квантизированная instruction-tuned модель Gemma 3 12B, разработанная Google и представленная сообществом abhishekchohan в формате для размещения на Hugging Face. Модель предназначена для диалоговых сценариев и задач генерации текста, а также заявлена как image-text-to-text модель, то есть может обрабатывать текстовые и визуальные данные. В репозитории предусмотрены chat template и средства разбора tool calls для использования с vLLM. Модель использует архитектуру Gemma 3 с 12 миллиардами параметров и квантизацию W4A16, выполненную с помощью LLM Compressor: веса представлены в 4-битной точности, а активации — в 16-битной. Это существенно снижает требования к памяти и делает модель более подходящей для развёртывания на потребительском оборудовании при сохранении хорошего качества работы, однако квантизация может влиять на точность по сравнению с полной версией. Языки и размер контекстного окна в README не указаны. Для запуска рекомендуется vLLM с соответствующими chat template, parser для Gemma и поддержкой автоматического выбора инструментов. Модель распространяется на условиях Gemma license; перед использованием необходимо ознакомиться с условиями и принять лицензию Google на Hugging Face.

unsloth/gemma-3-270m — текстовая дообученная версия Gemma 3 от Unsloth на базе google/gemma-3-270m. Это плотная авторегрессионная модель класса Gemma3ForCausalLM с 257 млн параметров, предназначенная для генерации текста, диалогов, суммаризации и ответов на вопросы. Репозиторий использует библиотеку Transformers и формат safetensors; длина контекста — 32 768 токенов. Модель подходит для экспериментов и приложений с ограниченными ресурсами, где нужны генерация текста и компактный разговорный интерфейс. В README описаны возможности семейства Gemma 3, включая мультиязычность и работу с изображениями, но этот вариант обозначен в метаданных как текстовая модель; поэтому визуальные возможности для него не заявляются. Возможны фактические ошибки, пробелы в знаниях и трудности с неоднозначными формулировками. Лицензия — Gemma.

unsloth/gemma-3-270m-it — компактная текстовая инструкционная модель из семейства Gemma 3, опубликованная Unsloth на основе google/gemma-3-270m-it. Это плотная авторегрессионная модель с 257 млн параметров, предназначенная для диалогов и генерации текста: она может отвечать на вопросы, создавать черновики и кратко пересказывать материалы. В карточке базового семейства описаны также мультимодальные возможности Gemma 3, однако этот репозиторий обозначен как текстовая модель и поддерживает задачу text-generation. Модель работает с библиотекой Transformers, использует формат safetensors и имеет контекст до 32 768 токенов. В README указана лицензия Gemma; применение регулируется её условиями. Возможности небольшого чекпойнта могут быть ограничены сложными задачами и нюансами языка, а ответы могут содержать фактические ошибки или отражать смещения обучающих данных.

ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g — квантизированная версия мультимодальной модели Gemma 3 27B IT, разработанная на основе google/gemma-3-27b-it. Модель предназначена для диалогов, генерации и понимания текста, а также обработки изображений с текстовыми запросами, включая описание визуального содержимого. Она поддерживает работу через Transformers и vLLM. Весовые параметры модели сжаты до INT4 с применением алгоритма GPTQ, симметричной поканальной групповой схемы с размером группы 128 и формата compressed_tensors. Квантизации подверглись линейные операторы языковой части трансформерных блоков; vision-модель и мультимодальный проекционный слой сохранены в исходной точности. Такое сжатие примерно на 75% уменьшает размер модели на диске и требования к видеопамяти по сравнению с представлением FP16, при этом средний результат на указанных тестах OpenLLM снижается незначительно: 0,7810 против 0,7854 у исходной модели. Модель подходит для мультимодальных ассистентов и сценариев, где важны более низкие требования к памяти GPU. В README не указаны точные длина контекста и список поддерживаемых языков; приведённый пример использует максимальную длину контекста 4096 токенов. Ограничением является возможная небольшая потеря качества из-за INT4-квантизации и необходимость использовать совместимые версии Transformers или vLLM. Модель распространяется по лицензии Gemma.

unsloth/gemma-3n-E2B-it-litert-preview-GGUF — GGUF-версия инструкционной модели Gemma 3n E2B, основанной на google/gemma-3n-E2B-it-litert-preview. Модель разработана Google DeepMind, а данный вариант подготовлен Unsloth. Она предназначена для эффективного запуска на устройствах с ограниченными ресурсами, а также для диалогов, ответов на вопросы и суммаризации документов. Модель поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текстовых ответов, однако в README для этой конкретной версии указано, что в настоящее время поддерживается только текст. Эффективный размер составляет 2B параметров благодаря технологии выборочной активации параметров; общий размер параметров не указан. Максимальная длина контекста — 32K токенов. Заявлена языковая поддержка английского языка, при этом семейство Gemma 3n обучалось на данных более чем 140 разговорных языков. К сильным сторонам относятся компактность, ориентированность на малоресурсные устройства и формат GGUF, удобный для локального запуска. Ограничения включают текущую поддержку только текстовых входов в этой версии и отсутствие подробных сведений о производительности, аппаратных требованиях и результатах оценки. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use Google.

Это объединённая модель на архитектуре Gemma 4, опубликованная пользователем tepirale в формате SafeTensors для Transformers. Метаданные связывают её с двумя моделями: yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF и yuxinlu1/gemma-4-12B-it-Claude-4.6-4.8-Opus-GGUF. README описывает преобразование весов из GGUF в SafeTensors, но не приводит подробностей об обучении или оценке качества. Модель предназначена для генерации текста и, согласно pipeline_tag, работы с изображениями вместе с текстом. Теги указывают на сценарии программирования, агентных задач, использования инструментов и терминала. Репозиторий использует библиотеку Transformers; лицензия — Apache 2.0. Подтверждённых сведений о поддерживаемых языках, контекстном окне и точном числе параметров в предоставленных данных нет.

Gemma 4 12B IT INT4 — MLP-only, AutoRound — это квантизированный вариант модели google/gemma-4-12B-it, опубликованный aleksandard. Модель предназначена для диалоговых и генеративных задач, включая работу с текстом, изображениями и аудио, поскольку базовая модель имеет unified-мультимодальную архитектуру и pipeline image-text-to-text. Она подходит для локального запуска через vLLM или Transformers при наличии совместимой аппаратной и программной инфраструктуры. В основе лежит плотная модель примерно на 11,95 млрд параметров. Квантизация выполнена методом intel/auto-round в режиме RTN по схеме W4A16 с размером группы 128 и симметричным представлением, с экспортом в GPTQ-совместимый формат. До 4 бит уменьшены только линейные слои MLP: gate_proj, up_proj и down_proj. Проекции внимания q/k/v/o, эмбеддинги, lm_head, а также vision- и audio-эмбеддеры сохранены в BF16 или полной точности. Размер чекпойнта составляет около 11 ГБ вместо примерно 24 ГБ для BF16, что снижает требования к памяти. Сильная сторона сборки — компромисс между уменьшением объёма модели и сохранением качества внимания: чувствительные квантизации компоненты оставлены в BF16. Ограничения связаны с наследованием всех ограничений и смещений базовой Gemma 4, а также с возможным дополнительным снижением качества из-за 4-битной RTN-квантизации без калибровки. Для vLLM требуется nightly-сборка с поддержкой Gemma 4; на Blackwell необходимо отключать FlashInfer sampler. В README указана лицензия Apache 2.0, унаследованная от базовой модели.

Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced-Ollama — это модифицированная и квантизированная версия Gemma 4 26B A4B, основанная на Google Gemma 4 26B A4B Instruct. Модель опубликована braydenh563, а вариант без ограничений разработан HauhauCS. Она предназначена для творческого письма, ролевых сценариев, эмоционально-интеллектуального общения, исследований, программирования и агентных задач с инструментами. Версия Balanced ориентирована на минимальное число отказов и обычно предоставляет полный ответ после краткой оговорки о безопасности, хотя в отдельных случаях может сначала уклониться от ответа. Модель использует архитектуру Mixture-of-Experts: около 25,2 млрд параметров всего и примерно 3,8 млрд активных параметров на проход, 128 маршрутизируемых экспертов, выбор 8 экспертов и одного общего эксперта. В ней 30 слоёв, гибридное внимание со скользящим окном на 1024 токена и периодическим глобальным вниманием, Proportional RoPE и нативный контекст до 256K токенов. Это нативно мультимодальная модель для текста и изображений; для обработки изображений поставляется отдельный mmproj, поддерживающий переменные бюджеты визуальных токенов от 70 до 1120 на изображение. В README заявлен английский язык. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, мультимодальность, стабильность семплирования в длинных сессиях и специальные K_P-квантизации с оптимизацией по важности тензоров. Ограничения включают отсутствие приведённых независимых бенчмарков, зависимость качества и требований к памяти от выбранной квантизации, а также менее высокую пригодность для агентного программирования по сравнению с Qwen3.6, согласно автору README. Удаление отказов снижает встроенные защитные ограничения и требует самостоятельного контроля безопасного применения. Модель распространяется по лицензии Apache-2.0 в форматах GGUF; размеры доступных вариантов составляют примерно от 10 до 27 ГБ, а файл mmproj занимает около 1,2 ГБ.

furiosa-ai/gemma-4-31B-it-FP8-block — оптимизированная сборка мультимодальной модели Gemma 4 31B, разработанной Google, с упаковкой Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD через Furiosa-LLM. Модель предназначена для диалоговых и генеративных задач, а исходная версия также поддерживает обработку изображений вместе с текстом. В текущей FXB-реализации доступен только режим текст-текст, поэтому она подходит для текстового инференса и развёртывания через OpenAI-совместимый API. Архитектура модели — плотная Gemma 4 с vision encoder и transformer decoder, сочетающим слои sliding-window и full attention. Текстовый трансформер подвергнут статическому FP8 block quantization линейных слоёв с блоками 128×128; активации динамически квантизуются в FP8 группами по 128 значений. Vision tower, embeddings, output head и KV cache сохраняются в 16-битной точности. Для работы на RNGD используется tensor parallelism с 32 PE, что соответствует четырём картам RNGD. К сильным сторонам относятся мультимодальная архитектура исходной модели, поддержка опционального reasoning и native tool calling на уровне upstream-модели, а также снижение требований к вычислительным ресурсам благодаря FP8-квантизации. Ограничения текущей FXB — отсутствие поддержки изображений, reasoning parser и tool-call parser в Furiosa-LLM; автоматический выбор инструментов и соответствующие расширенные режимы поэтому недоступны. Модель распространяется по лицензии Apache 2.0.