II.1Анализ требований и архитектура ПО

TSN-Kosmos-EVAA-v2-8B — объединённая модель генерации текста, созданная разработчиком jaspionjader с помощью mergekit и метода SLERP из jaspionjader/Kosmos-EVAA-gamma-light-8B и jaspionjader/TSN-Kosmos-EVAA-8B. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров; веса представлены в формате safetensors, библиотека для работы — Transformers. Модель предназначена для диалоговой генерации текста и поддерживает интерфейс вызова инструментов. Её нативная длина контекста составляет 131072 токена. В карточке не приведены сведения о специализированных предметных областях или языках. Условия лицензии в доступных данных не указаны.

xb3b-1.0 — диалоговая текстовая модель, разработанная xgmab123 на базе unsloth/Llama-3.2-3B-Instruct и дообученная с помощью Unsloth и TRL. Модель использует плотную архитектуру LlamaForCausalLM и содержит 3,2 млрд параметров; её контекстное окно — 131 072 токена. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и использование в приложениях с интерфейсом вызова инструментов. В метаданных указан английский язык. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0.

Карточка модели xDAN2099/xDAN-APUS4-MoE-v3.1-0410 на Hugging Face совпадает с карточкой xDAN2099/APUS-xDAN-4.0-MoE-v2, поэтому описание составлено по ней. APUS-xDAN-4.0-MoE-v2 — авторская decoder-only трансформерная языковая модель с архитектурой Mixture of Experts, разработанная командой xDAN. В карточке указаны 136 млрд параметров и активация двух экспертов на токен; метаданные репозитория классифицируют веса как MixtralForCausalLM с 33,9 млрд параметров. Модель продолжает обучение на архитектуре LLaMA и опирается на возможности серии xDAN-L2; README сообщает об использовании обратной связи от людей для улучшения рассуждений, математических и логических задач. Модель предназначена для генерации текста и диалогового использования. Заявленная длина контекста — 32 768 токенов; метаданные указывают английский и китайский языки. README также описывает варианты квантования от 1,5 до 4 бит и совместимость открытой версии с потребительскими GPU. Репозиторий распространяется по лицензии CC BY 4.0.

Nous-Yarn-Llama-2-70b-32k — языковая модель от NousResearch, основанная на Llama 2 70B и дополнительно обученная на данных для длинного контекста. Авторы применили метод YaRN и провели 400 шагов дополнительного предобучения. Модель предназначена для генерации текста и работы с длинными документами; в README заявлено окно контекста до 32 тыс. токенов. В метаданных указаны архитектура LlamaForCausalLM, плотная модель с 68,7 млрд параметров, библиотека Transformers и формат PyTorch. В сравнительных тестах авторы сообщают о сохранении результатов на коротком контексте и показателях perplexity для контекстов до 32 тыс. токенов. В метаданных указана длина контекста 8192 токена, что расходится с заявленными в README 32 тыс.; фактическую поддержку максимальной длины следует проверять в используемой конфигурации. Модель рассчитана на английский язык. Лицензия — Apache 2.0.

MaziyarPanahi/Yi-1.5-34B-Chat-GGUF — набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе чат-модели Yi-1.5-34B-Chat, разработанной командой 01-ai. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Модель имеет размер 34B параметров и доступна в вариантах квантования от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и качеством генерации. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами. В README не указаны языки, размер контекста и поддерживаемые модальности; по представленным данным модель является текстовой. К сильным сторонам относятся широкий выбор уровней квантования и удобство локального использования с CPU и GPU через экосистему GGUF. Ограничениями являются повышенные требования к ресурсам для версии 34B, особенно при минимальном квантовании, а также возможная потеря качества в более компактных вариантах. Для модели указана лицензия Apache-2.0.

Yi-1.5-34B-Chat-GGUF — квантизированная версия чат-модели Yi-1.5-34B-Chat, разработанной 01-ai и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через LlamaEdge. Для работы применяется шаблон запросов ChatML и контекст длиной до 7168 токенов. Модель имеет размер 34 млрд параметров; в README не указаны поддерживаемые языки и модальности, поэтому её следует рассматривать как текстовую. Доступны варианты с разной степенью квантизации от Q2_K до Q8_0, а также версии f16. Вариант Q4_K_M рекомендован как сбалансированный по размеру и качеству, тогда как Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем потреблении памяти. Более сильная квантизация уменьшает размер файлов и требования к ресурсам, но может заметно ухудшать качество ответов. Модель распространяется по лицензии Apache-2.0. Для запуска с LlamaEdge в README указана версия, которая на момент публикации ещё не была доступна; приведены команды для сервиса и консольного приложения. Размеры файлов зависят от варианта квантизации и составляют примерно от 12,8 до 36,5 ГБ.

adamo1139/Yi-34B-200K-XLCTX — зеркало модели Yi-34B-200K (XLCTX), первоначально выпущенной 01.AI. Версия настроена для улучшенного поиска информации в длинном контексте по тесту «игла в стоге сена»; её можно использовать как базу для слияния с LoRA-адаптерами. Это плотная авторегрессионная языковая модель семейства Llama с 33,9 млрд параметров, принимающая текст и поддерживающая контекст до 200 000 токенов. Модель предназначена для генерации текста и сценариев, где нужно находить сведения в длинных текстовых последовательностях. Репозиторий содержит веса в формате safetensors. Указана лицензия Apache-2.0. Карточка не сообщает о языковом охвате и конкретных результатах оценки качества, поэтому их нельзя уверенно описать.

YOYO-AI_Qwen3-30B-A3B-Mixture-2507-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Qwen3-30B-A3B-Mixture-2507, разработанной YOYO-AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска задач генерации текста через llama.cpp, LM Studio и другие совместимые проекты. В названии указано 30B параметров и обозначение A3B Mixture, однако подробности архитектуры, число активных параметров, поддерживаемые языки, длина контекста и доступные модальности в представленном README не описаны. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций. Варианты Q6 и Q5 позиционируются как обеспечивающие очень высокое или высокое качество, Q4 — как оптимальные по соотношению качества и размера, а Q3 — как подходящие для систем с ограниченным объёмом оперативной памяти. Сильная сторона этой версии — широкий выбор размеров файлов и возможность локального запуска на совместимом оборудовании; рекомендованным вариантом по умолчанию указан Q4_K_M. Более агрессивная квантизация уменьшает требования к памяти, но снижает качество генерации. Формат prompt не указан, поэтому его следует уточнять на странице исходной модели. Лицензия в README не приведена.

Zara-14b-v1.1 — диалоговая языковая модель Aixon Lab на основе sometimesanotion/Lamarck-14B-v0.7. Это плотная авторегрессионная Transformer-модель семейства Qwen2 с примерно 14 млрд параметров, предназначенная для многоходовых чатов с несколькими ролями, генерации текста, ответов на вопросы и анализа. Карточка отмечает её способности к творческому письму и сторителлингу. Модель рассчитана прежде всего на английский язык; README допускает поддержку других языков. Контекст — до 131 072 токенов. Модель дообучена на разных датасетах и дополнительно использует слияния слоёв. Распространяется в формате Safetensors по лицензии Apache 2.0. Результаты оценки качества в карточке не приведены.

Модель joannetai520/16_bit_model_trymoredata1 — дообученная авторегрессионная языковая модель семейства Llama с плотной архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Её разработал joannetai520; при обучении использовались Unsloth и библиотека TRL. Модель предназначена для генерации текста и диалогового взаимодействия, а метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. В метаданных указан контекст до 131 072 токенов и язык en. Веса опубликованы в формате Safetensors по лицензии Apache-2.0. README указывает на дообучение от репозитория с тем же идентификатором, поэтому отдельную исходную базовую модель установить нельзя.

Это зеркальная копия модели на Hugging Face, созданная сервисом latent-artist и предоставленная для скачивания. По метаданным это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и примерно 494 млн параметров. Она принимает текст и предназначена для генерации текста в диалоговом формате; также заявлен интерфейс для вызова инструментов. Поддерживаемый контекст — до 32 768 токенов, основной язык карточки — английский. Модель хранится в формате Safetensors и использует библиотеку Transformers. В README указано, что при использовании следует обращаться к репозиторию-зеркалу, а условия применения и распространения нужно проверять в файле лицензии внутри репозитория; метаданные указывают лицензию Apache-2.0. README не сообщает исходный репозиторий модели, поэтому базовая модель не установлена. Качество ответов и ограничения конкретной копии отдельно не описаны.

GigaChat3-10B-A1.8B-GGUF — это квантизированная версия языковой модели GigaChat3-10B-A1.8B, разработанной ai-sage. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу на русском и английском языках. Модель распространяется в формате GGUF и совместима с llama.cpp, LM Studio и другими проектами на его основе. В метаданных она обозначена как MoE-модель; в названии указаны параметры 10B и 1.8B, однако точные сведения об архитектуре, размере контекста и доступных вариантах квантизации в README не приведены. Модель работает в текстовой модальности. К сильным сторонам относятся поддержка русского языка, возможность локального запуска и оптимизация квантизации с помощью imatrix, потенциально улучшающая сохранение качества по сравнению с базовыми методами квантизации. Ограничениями являются снижение точности по сравнению с исходной моделью и зависимость производительности от выбранного варианта квантизации и оборудования. Лицензия — MIT.

ASIL Qwen3.5-9B RL — выпущенный авторами ASIL чекпойнт, созданный дообучением Qwen/Qwen3.5-9B методом обучения с подкреплением. Модель предназначена для диалоговой генерации текста и агентных задач; карточка описывает релиз как часть публикации ASIL v0.1.0 и указывает выбранный чекпойнт global_step_140_actor_hf, полученный после продолжения первого этапа обучения с подкреплением. Модель содержит 7,2 млрд параметров, использует архитектуру Qwen3_5ForCausalLM и загружается через Transformers из файлов Safetensors. Нативная длина контекста — 262 144 токена. Метаданные указывают возможность чата; базовая Qwen3.5 описана как мультимодальная, однако этот репозиторий относится к текстовой архитектуре и имеет задачу text-generation. Для обучения использовались 320 обучающих и 80 валидационных промптов из набора rl_learnable_v4_320_80. Карточка не приводит сведений о лицензии, поэтому условия использования определить по имеющимся данным нельзя.

Behemoth-v1.1-Magnum-v4-123B — объединённая текстовая модель от knifeayumu, созданная методом SLERP с помощью mergekit из TheDrummer/Behemoth-123B-v1.1 и anthracite-org/magnum-v4-123b. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM, примерно 122,2 млрд параметров и контекстом до 131 072 токенов; веса доступны в формате safetensors. Модель предназначена для диалоговой генерации текста и прозы, включая сценарии общения и интерфейс вызова инструментов. Модель принимает текст и генерирует текст. В карточке указана лицензия other, поэтому условия использования следует сверять с лицензиями исходных моделей и условиями репозитория. Подтверждённые ограничения качества или использования в карточке не описаны.

Bonsai 2 27B Ternary CRACK GGUF — языковая и мультимодальная модель, созданная исследовательской командой dealignai на основе тернарной версии Bonsai от PrismML и Qwen3.8-27B от Qwen. Из модели на уровне весов удалены механизмы отказа, при этом заявлено сохранение базовых возможностей, режимов рассуждения, использования инструментов и многоходового диалога. Модель предназначена для генерации текста, задач с рассуждением, работы с инструментами и сценариев, где требуется обработка изображений; конкретные поддерживаемые языки и размер контекстного окна в README не указаны. Модель использует гибридную архитектуру Attention и SSM на базе GatedDeltaNet: 64 блока, размер скрытого состояния 5120, отдельная vision tower. Применяется тернарное квантование PrismML PQ2_0 с эффективностью 2,13 бит на вес и размером файла около 7,21 ГБ. Доступны режимы рассуждения off, low и xhigh; для работы с изображениями используются отдельные mmproj-файлы в форматах BF16 или Q8_0. Запуск поддерживается через форк llama.cpp от PrismML на CPU, CUDA и Metal, что позволяет использовать модель на ноутбуке или одной GPU. Сильными сторонами являются малый размер для модели класса 27B, поддержка vision, рассуждений и инструментов, а также сохранение общей производительности относительно базовой тернарной версии: на указанной выборке MMLU разница составила −0,62 процентного пункта. Ограничения включают крайне низкую точность тернарного квантования, зависимость от специального форка llama.cpp и совместимых файлов проекторов, а также отсутствие встроенных механизмов отказа, что делает модель неподходящей для сценариев, требующих строгих защитных ограничений. README также предупреждает об исправлении прежней ошибки зацикливания токенов в режимах low и xhigh; рекомендуется использовать сборку, опубликованную после 18 сентября 2026 года. Лицензия — Apache-2.0.

pmysl/c4ai-command-r-plus-GGUF — это набор весов модели Command R+, разработанной CohereForAI, в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; в репозитории доступны чат-шаблоны, а поддержка этих весов добавлена в llama.cpp начиная с релиза b2636. Доступны варианты с разной степенью квантизации, включая Q2_K, Q3_K_L и Q4_K_M, а также полноточный вариант f16. Для некоторых вариантов приведены значения perplexity на wikitext-2-raw: от 5,7178 у Q2_K до 4,3845 у f16, однако эти результаты обозначены как предварительные. Ключевые характеристики базовой модели, включая архитектуру, число параметров, поддерживаемые языки и размер контекста, в README не указаны. Сильной стороной репозитория является совместимость с llama.cpp и возможность выбирать компромисс между качеством, размером файлов и требованиями к ресурсам с помощью разных вариантов квантизации. Ограничения включают отсутствие подробной информации о возможностях базовой модели и неполные сведения о качестве. Использование распространяется по лицензии CC BY-NC-4.0.

calme-3.2-instruct-78b — экспериментальная текстовая модель MaziyarPanahi для диалогов и генерации ответов в общих областях. Она основана на Qwen2.5-72B: базовую модель сначала объединили с её копией, затем дообучили на пользовательских наборах данных. В репозитории указана плотная архитектура Qwen2 с 76,7 млрд параметров; модель распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Для диалогов используется шаблон ChatML. Модель предназначена для общения и генерации текста на английском языке, включая ответы на запросы и следование инструкциям. Автор характеризует её как экспериментальную и отмечает, что качество может зависеть от запроса и гиперпараметров. Следует учитывать возможные смещения и проверять ответы с участием человека. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Codetulu 2 7B — англоязычная модель-ассистент, разработанная AI2 и дообученная на базе codellama/CodeLlama-7b-hf. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров и контекстом до 8192 токенов. Обучение проводилось на смеси общедоступных, синтетических и созданных людьми данных Tulu V2, включая набор allenai/tulu-v2-sft-mixture. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы на английском языке. Её можно использовать для создания черновиков ответов, объяснений и обобщений, а также для помощи с программным кодом благодаря базовой CodeLlama. Для качественной генерации следует соблюдать формат ввода, описанный в карточке модели. Модель не проходила выравнивание безопасности на этапе RLHF и не использует фильтрацию ответов во время работы, поэтому может генерировать проблемный контент, особенно по соответствующему запросу. Лицензия — AI2 ImpACT Low-risk; перед использованием следует учитывать её условия.

Kaballas/Cyber18 — языковая модель семейства Llama, разработанная Kaballas и дообученная на Kaballas/Cyber16. Модель содержит 7,5 млрд параметров и предназначена для генерации текста в диалоговых сценариях; в метаданных также указана поддержка интерфейса вызова инструментов. Для обучения использовались Unsloth и библиотека TRL. Модель принимает текст и генерирует текст. В карточке указан английский язык, а максимальный размер контекста по метаданным составляет 131 072 токена. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает специальные предметные области или результаты оценки качества.

DatacampLlama-3.1-8B-GGUF — набор GGUF-квантизированных версий модели DatacampLlama-3.1-8B, опубликованной mlabonne. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через llama.cpp и LM Studio; в README заявлена поддержка английского языка и формат чата с ролями system, user и assistant. Модель относится к семейству Llama 3.1 и имеет размер 8B параметров. Доступны варианты от исходных весов F16 размером около 16,07 ГБ до компактных форматов Q2 и IQ3 размером примерно 3,66–4,78 ГБ, а также более качественные варианты Q4–Q8. Высокие уровни квантизации обеспечивают лучшее сохранение качества, тогда как компактные версии требуют меньше оперативной памяти, но могут заметнее уступать в качестве генерации. Отдельные варианты оптимизированы для CPU и ARM-инференса. README не указывает размер контекста, мультимодальные возможности, результаты бенчмарков или подробности обучения, поэтому модель следует рассматривать как текстовую, без подтвержденной поддержки изображений и других модальностей. Лицензия — Apache 2.0.

DeepSeek-R1-Distill-Qwen-14B-Q4_K_M-GGUF — это квантованная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной организацией deepseek-ai и опубликованной в формате GGUF пользователем Andrew Webby из RolePlai. Модель предназначена для генерации текста, диалоговых сценариев, ролевого общения, а также задач программирования и математики; она может использоваться в приложениях на базе llama.cpp. Модель основана на архитектуре Qwen, имеет размер 14 млрд параметров и поддерживает текстовый ввод и вывод. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полной версией, что делает модель более подходящей для локального запуска, однако может снижать точность по сравнению с исходными весами. В README не указаны поддерживаемые языки, размер контекстного окна, точные требования к оборудованию, результаты тестирования и ограничения качества. Файл модели имеет формат GGUF, не использует imatrix и не разделён на части. Лицензия и условия использования в предоставленных данных не указаны.

mlx-community/DeepSeek-R1-Distill-Qwen-7B-4bit — это 4-битно квантованная версия модели DeepSeek-R1-Distill-Qwen-7B, преобразованная сообществом mlx-community в формат MLX из исходной модели deepseek-ai с использованием mlx-lm версии 0.21.1. Модель предназначена для локального запуска и генерации текста в экосистеме MLX, прежде всего на устройствах Apple, совместимых с этим фреймворком. Модель относится к семейству Qwen и имеет размер 7B параметров; доступна в 4-битном представлении, что снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность. README показывает поддержку диалогового использования через chat template и библиотеки mlx-lm. Сведения о модальностях, языках, размере контекста, специализированных сценариях, ограничениях качества и лицензии в предоставленных данных отсутствуют.

Falcon-H1-1.5B-Base — базовая языковая модель семейства Falcon-H1, представленная на Hugging Face аккаунтом TII. Это плотная авторегрессионная модель с архитектурой, сочетающей Transformer и Mamba, предназначенная для генерации текста и дальнейшей адаптации под прикладные задачи. Метаданные указывают 1,1 млрд параметров и контекст до 131 072 токенов. Модель рассчитана на английский и многоязычные сценарии; в тегах перечислены арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский. Для запуска заявлена поддержка Transformers, vLLM и llama.cpp; опубликованный репозиторий использует safetensors. В таблице оценки Falcon-H1-1.5B показывает конкурентные результаты на общих тестах, включая BBH и MMLU, однако это не гарантирует качество на конкретных пользовательских задачах. Лицензия — Falcon-LLM License; перед использованием следует свериться с её условиями.

FuseChat-Qwen-2.5-7B-Instruct-Heretic-GGUF — языковая модель в формате GGUF, созданная на основе FuseAI/FuseChat-Qwen-2.5-7B-Instruct и опубликованная пользователем ChiKoi7. Базовая модель относится к семейству Qwen 2.5 и имеет 7 млрд параметров. FuseChat-3.0 разработана FuseAI с использованием неявного объединения возможностей нескольких крупных языковых моделей через Supervised Fine-Tuning и Direct Preference Optimization на данных предпочтений; в качестве целевой модели использовалась Qwen-2.5-7B-Instruct. Для данной версии дополнительно применён Heretic v1.0.1 — метод удаления ограничений на отказы от ответов. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая общие разговорные задачи, следование инструкциям, математику и программирование. По приведённому сравнению, версия Heretic отказалась от ответа в 3 случаях из 100 против 93 из 100 у исходной модели, при этом её KL-дивергенция относительно оригинала составила 0,07. Это указывает на существенно более редкие отказы при сохранении близкого поведения к исходной модели, однако одновременно означает потенциально менее выраженные защитные ограничения. В README не указаны поддерживаемые языки, размер контекстного окна, точная архитектура трансформера, требования к аппаратному обеспечению и конкретная лицензия. Также не приведены результаты независимой оценки качества после применения Heretic. Поэтому модель следует использовать с учётом возможного отсутствия встроенных ограничений безопасности; условия распространения необходимо уточнять по лицензии базовой модели и репозитория модели.

unsloth/gemma-2-9b-it — разговорная модель семейства Gemma 2 от Google, представленная в репозитории Unsloth. Это плотная причинная языковая модель на 9 млрд параметров с контекстом до 8192 токенов, предназначенная для генерации текста в диалоге и продолжения текста. В карточке описаны сценарии дообучения Gemma 2 с помощью Unsloth и 4-битной квантизации bitsandbytes, включая работу с шаблонами ShareGPT ChatML и Vicuna, а также экспорт дообученных моделей в GGUF и vLLM. Модель принимает текст и выдаёт текст; заявленная лицензия — Gemma. Метаданные указывают библиотеку Transformers и поддержку английского языка. Карточка сосредоточена на инструкциях по дообучению и не сообщает оценок качества или подробных ограничений самой модели.

DavidAU разработал эту плотную мультимодальную модель на 12 млрд параметров как дообучение DreamFast/gemma-3-12b-it-heretic на наборе Polaris Alpha с помощью Unsloth. Она предназначена для диалогов, генерации текста с рассуждениями и анализа изображений; заявленная длина контекста — 128 тыс. токенов. Модель принимает текст и изображения и выдаёт текст. В карточке указана поддержка английского языка. Автор сообщает о компактных, но подробных рассуждениях, применимых также к обработке изображений, и приводит результаты нескольких бенчмарков. По описанию, модель реже отказывает в запросах, включая запросы на откровенный контент; для желаемой степени эксплицитности иногда требуется прямое указание. Качество зависит от промпта, шаблона чата и параметров генерации. Модель распространяется по лицензии Apache-2.0.

Gemma 3 1B PT — предварительно обученная модель генерации текста из семейства Gemma, разработанного Google на основе исследований и технологий, использованных для Gemini. Версия PT предназначена для дальнейшей адаптации и экспериментов с генерацией текста; семейство также рассчитано на диалог, суммаризацию, ответы на вопросы и рассуждения. Компактный размер семейства позволяет запускать модели на ноутбуках и настольных компьютерах или в собственной облачной инфраструктуре. В README для Gemma 3 заявлены контекстное окно до 128 тыс. токенов, поддержка более 140 языков и обработка изображений с выдачей текста; для конкретной версии 1B PT эти характеристики отдельно не подтверждены метаданными. Модель распространяется в формате safetensors и предназначена для использования через Transformers. Лицензия — Gemma. Ответы могут содержать фактические ошибки и отражать смещения обучающих данных; модели также могут испытывать трудности с неоднозначными формулировками и сложными задачами.

Mungert/gemma-3-27b-it-qat-q4_0-GGUF — экспериментальная GGUF-квантизация модели google/gemma-3-27b-it, разработанная сообществом Mungert на базе Gemma 3 от Google. Это instruction-tuned модель с поддержкой текста и изображений, предназначенная для локального запуска и решения задач генерации текста, программирования, анализа и работы с мультимодальным вводом. Точные сведения о языках и размере контекстного окна в README не указаны. Модель получена посредством повторной квантизации исходной QAT Q4_0-модели с использованием imatrix-файлов Google для последующего сжатия до более низкой точности. Формат GGUF ориентирован на запуск в совместимых инструментах, включая llama.cpp. Автор приводит предварительные сравнения perplexity и качественный тест генерации .NET-кода, где вариант на основе QAT показал преимущество над сопоставимой квантизацией из BF16, однако подчёркивает, что тестовый набор был небольшим, результаты нестабильны, а окончательные выводы делать нельзя. Сильной стороной является потенциально более высокое качество при низкой разрядности по сравнению с обычной квантизацией из BF16, а также возможность локального запуска с уменьшенными требованиями к памяти. Ограничения включают экспериментальный статус, отсутствие полноценной независимой оценки и возможные ошибки модели в сложных технических задачах; приведённый пример также показывает, что модель может неправильно интерпретировать детали TLS и постквантовой криптографии. Для использования на Hugging Face требуется принять лицензию Google Gemma; в README указана лицензия gemma.

Карточка модели Mimoniske/gemma-3-it-vl-40B-Gemini-Heretic-Uncensored-Thinking на Hugging Face совпадает с карточкой DavidAU/gemma-3-it-vl-40B-Gemini-Heretic-Uncensored-Thinking, поэтому описание составлено по ней. Это мультимодальная чат-модель DavidAU на архитектуре Gemma 3: исходную Gemma 3 27B IT-VL расширили до плотной модели на 40 млрд параметров, а затем дообучили с помощью Unsloth на наборе Gemini reasoning. По описанию автора, дообучение добавляет пошаговое рассуждение; модель также рассчитана на творческое письмо, ролевые сценарии, генерацию кода и работу с изображениями. Карточка заявляет контекст до 128K токенов и проверку обработки изображений и генерации кода. Модель принимает текст и изображения, отвечает текстом и ориентирована прежде всего на английский и китайский языки. Автор позиционирует её как модель с ослабленными ограничениями на генерируемый контент; ответы могут быть резкими, содержать ненормативную лексику или графические описания. В отдельных случаях модель может переключаться в режим инструкций; автор рекомендует явно просить её рассуждать, если это происходит. Распространяется по лицензии Apache-2.0.

GLM-4.5-Air-GGUF — квантованная версия модели GLM-4.5-Air, опубликованная организацией ggml-org. Исходная модель разработана zai-org. Формат GGUF предназначен для локального запуска и совместим с инструментами экосистемы llama.cpp; в карточке также указан запуск через llama.app. Модель относится к классу text-generation и предназначена для генерации текста и других сценариев работы с текстовыми запросами. В доступных данных не указаны точная архитектура, количество параметров, поддерживаемые языки, размер контекстного окна, набор модальностей и конкретные результаты тестирования, поэтому оценить её производительность и область применения более детально невозможно. Квантование может снизить требования к памяти, однако потенциально сопровождается потерей качества по сравнению с исходной моделью. Модель автоматически конвертирована с использованием инструмента ggml-org/convert. Лицензия — MIT, если условия исходной модели не устанавливают дополнительных ограничений.