I.11Классификация, ранжирование и сопоставление

unsloth/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen и подготовленной для распространения Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для обработки текста и изображений, включая мультимодальные и агентские сценарии. Для запуска рекомендуется использовать llama.cpp или Unsloth Desktop; также заявлена поддержка ускорения инференса с помощью MTP. Модель имеет 125 млрд параметров, из которых 6 млрд активируются при работе, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, гибридную связку Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и 10 маршрутизируемыми плюс одним общим активным экспертом, Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 000 000 токенов. Поддерживаемые языки в README не указаны. К сильным сторонам относятся разреженное внимание на уровне блоков, рассчитанное на снижение задержки при длинном контексте, экономичное масштабирование параметров и малая доля активных параметров относительно общего размера модели. Ограничения связаны с экспериментальным статусом архитектуры, потенциально высокими требованиями к памяти и вычислительным ресурсам, а также отсутствием в предоставленном README подробных результатов бенчмарков и описания языкового покрытия. Модель распространяется по лицензии qwen-community-1.0; указанный тип лицензии — other.

Vontra/Qwen3.8-Flash-Next-MLX-oQ8-MTP — общественная MLX-конверсия мультимодальной vision-language модели Qwen3.8-Flash-Next, разработанной Qwen, с сохранённым нативным блоком MTP для speculative decoding. Конверсия выполнена Vontra напрямую из официальных BF16-весов; это не официальный релиз Qwen. Модель предназначена для генерации текста и обработки изображений в совместимых MLX-VLM или oMLX-средах, прежде всего на устройствах Apple Silicon. Модель использует архитектуру sparse MoE с обозначением qwen4_exp, включает Gated DeltaNet, Qwen Sparse Attention, разреженные mixture-of-experts-слои, расширенные gated residual-потоки и хешированные биграммные и триграммные embedding-таблицы. Всего заявлено 125 млрд параметров, из которых активно около 6 млрд, 48 слоёв, 512 маршрутизируемых экспертов с выбором 10 экспертов и одного общего, 24 attention heads и 2 KV heads, размер скрытого состояния 2560 и контекст до 262 144 токенов. Формат — MLX safetensors, квантизация oQ8, близкая к равномерной 8-битной аффинной, с group size 32; размер весов составляет около 202,75 ГБ. Сильная сторона конверсии — встроенный совместимый MTP-блок, который может существенно повысить скорость генерации: в измерении на Apple M3 Studio производительность выросла с 19,5 до 35,7 токена в секунду. Однако модель требует runtime с явной поддержкой qwen4_exp и native MTP; стандартные среды без такой поддержки могут отклонить веса. Указанные результаты зависят от длины запроса, настроек генерации, версии runtime и доступной памяти. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

Это репозиторий весов unsloth для мультимодальной модели Qwen3-VL-4B-Thinking, разработанной на основе Qwen3-VL компанией Qwen и представленной Unsloth с исправлениями шаблона чата. Модель сочетает обработку текста и изображений и предназначена для диалога, визуального анализа и рассуждений; заявлены также понимание видео, OCR и взаимодействие с инструментами. Архитектура — плотная Qwen3-VL для условной генерации, веса сохранены в safetensors и используются через Transformers. В README заявлены контекст длиной 256 тысяч токенов с возможностью расширения до миллиона, визуальное рассуждение, распознавание элементов интерфейса и разбор документов; также указана поддержка OCR на 32 языках. Модель может быть полезна для вопросов по изображениям и видео, извлечения текста из документов и визуально обусловленного диалога. Репозиторий распространяется по лицензии Apache-2.0. Заявления README о сравнительном качестве и характеристиках являются описанием разработчика; независимые результаты измерений в карточке не приведены.

ZuzeTt/Qwen3-VL-4B-Thinking-heretic-imatrix-GGUF — мультимодальная модель для понимания и генерации текста по изображениям и текстовым запросам. Она создана на основе Qwen/Qwen3-VL-4B-Thinking и представляет собой её декензурированную версию, полученную с помощью Heretic 1.1.0. В README указано, что исходная модель относится к семейству Qwen; отдельный разработчик этой модификации не назван. Модель предназначена для визуального анализа, рассуждений по изображениям, решения STEM- и математических задач, распознавания текста, понимания пространственных отношений, анализа видео, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Заявлены поддержка длинного контекста до 256K токенов с возможным расширением до 1M, понимание длительных видео, OCR на 32 языках и мультимодальное рассуждение. Архитектурные особенности базовой модели включают Dense-архитектуру, режим Thinking, Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками; размер модели — 4B параметров. Ключевая особенность модификации — существенное снижение количества отказов: в приведённом тесте она отказала в 3 из 100 случаев против 97 из 100 у исходной модели, при KL divergence 0,0259. Это может быть преимуществом для исследовательских и прикладных сценариев, где требуется менее ограниченное поведение, но одновременно повышает риск небезопасных или нежелательных ответов. В README не приведены результаты независимой оценки качества, полный перечень поддерживаемых языков генерации, точные характеристики GGUF-квантизации или требования к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

Qybera2.5-0 — компактный диалоговый ассистент Stackpulse Cloud на базе причинной языковой модели Qwen2, дообученной следовать инструкциям. Модель содержит 494 млн параметров, принимает текст и выдаёт текст; контекст — до 32 768 токенов. В репозитории указаны веса Safetensors и библиотека Transformers. Модель предназначена для общего чата, выполнения инструкций, суммаризации, объяснения кода, локального запуска на маломощных устройствах и недорогой маршрутизации API. В карточке заявлена многоязычная поддержка с сильными сторонами в английском и китайском языках. Лицензия — Apache 2.0. Компактный размер подходит для сценариев с ограниченными ресурсами, однако модель может ошибаться и воспроизводить смещения данных обучения. Карточка не рекомендует полагаться на неё в сложных многошаговых математических задачах, продвинутых агентных сценариях и создании длинной художественной прозы без дополнительного руководства; важные ответы следует проверять.

RecurrentGemma 9B IT — разработанная Google инструктивно настроенная большая языковая модель семейства RecurrentGemma с рекуррентной архитектурой. Она предназначена для генерации текста в диалогах и по инструкциям, включая ответы на вопросы, суммаризацию и рассуждения; также подходит для черновиков писем и другого текстового контента. Рекуррентная архитектура снижает потребление памяти по сравнению с Gemma и ускоряет генерацию при работе с длинными последовательностями. Модель доступна в формате safetensors и поддерживается библиотекой Transformers. Версия instruction-tuned рассчитана на английский язык. Лицензия Gemma; использование регулируется условиями Google для моделей Gemma. Как и другие языковые модели, она может выдавать фактические ошибки, отражать смещения обучающих данных и испытывать трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Для применения, особенно в пользовательских продуктах, следует проверять ответы и учитывать требования к безопасности контента.

Rombos-EVAGutenberg-TIES-Qwen2.5-32B — языковая модель на архитектуре Qwen2.5, созданная nbeerbower слиянием методом TIES через mergekit. В объединение вошли nbeerbower/EVA-Gutenberg3-Qwen2.5-32B и nbeerbower/Rombos-Qwen2.5-32B-lorablated; базовая модель — Qwen/Qwen2.5-32B. Модель содержит 32 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов. Она предназначена для диалогов и генерации текста. В метаданных указаны интерфейс вызова инструментов и языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Карточка не приводит результатов оценивания или конкретных ограничений качества; применимость к отдельным задачам следует проверять на собственных данных.

samantha-mistral-7b-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная MaziyarPanahi методом слияния mistralai/Mistral-7B-Instruct-v0.2 и cognitivecomputations/samantha-mistral-7b с помощью SLERP. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для диалогов, генерации текста и ответов на инструкции. Лицензия Apache 2.0 разрешает использование на её условиях.

Spartan_v1.0 — языковая модель, созданная слиянием моделей Meta Llama 3.1 с помощью mergekit и метода SLERP. В слияние вошли Meta-Llama-3.1-8B и Meta-Llama-3.1-8B-Instruct; модель содержит 7,5 млрд параметров и использует плотную архитектуру Llama для авторегрессионной генерации текста. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на запросы, написания и продолжения текста, а также сценариев с интерфейсом вызова инструментов. Заявленная длина контекста — 131 072 токена. Для работы используется библиотека Transformers, веса опубликованы в формате safetensors. В карточке не описаны отдельные языковые специализации или результаты оценки качества, поэтому их нельзя уверенно определить. Лицензия в предоставленных данных не указана. Производные модели Llama 3.1 распространяются на условиях лицензии Meta Llama 3.1; перед использованием следует сверить применимые условия с карточкой и лицензией базовых моделей.

SuperQwen3.8-abliterated-Venice-i1-GGUF — набор GGUF-квантизаций модели SuperQwen3.8-abliterated-100-fp8, разработанной Jiunsong и квантованной mradermacher. Модель предназначена для локального запуска задач генерации текста, рассуждений, работы с изображениями и текстом, вызова инструментов и сценариев с длинным контекстом. В карточке также указана поддержка английского и корейского языков. Это мультимодальная vision-модель с архитектурой и размером исходной модели, а также максимальной длиной контекста, не указанными в README. Доступны варианты i1-квантизации от i1-Q2_K размером около 11 ГБ до i1-Q6_K размером около 22,5 ГБ, включая IQ-квантизации. Разные варианты позволяют выбирать компромисс между размером, скоростью и качеством; для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. К сильным сторонам относятся мультимодальность, поддержка рассуждений, tool-calling, длинного контекста и широкий выбор квантизаций, включая варианты, оптимизированные по матрице важности. Ограничения — отсутствие в README точных сведений о характеристиках архитектуры, контекстном окне, производительности и качестве на тестах; качество также зависит от выбранного уровня квантизации. Модель распространяется по лицензии Apache-2.0.

Swift-Qwen3.8-27B-Uncensored-Dynamic-MTP-GGUF — набор GGUF-квантов модели Swift-Qwen3.8-27B-Uncensored-MTP, разработанный ajgazin. В основе лежит Swift-Qwen3.8-27B от UkisAI — дообученная для эффективного рассуждения версия Qwen3.8-27B. Модель предназначена для генерации текста, диалогов и задач рассуждения, а также поддерживает обработку изображений и видео через отдельный vision projector. Вариант содержит MTP head для self-speculative decoding в llama.cpp и ориентирован на локальный запуск через llama.cpp; заявлена совместимость также с vLLM и SGLang для NVFP4-варианта. Доступны варианты от UD-Q2_K_XL размером 9,2 GiB до UD-Q8_K_XL размером 29,3 GiB, а также исходный BF16-файл размером 50,9 GiB. Разные уровни квантования позволяют запускать модель на GPU с 12, 16, 20, 24, 32 и 48 GiB памяти, при необходимости используя частичную выгрузку на CPU. Для заявленного запуска используется контекст до 32768 токенов. Более крупные варианты ближе к качеству BF16: для UD-Q8_K_XL совпадение наиболее вероятного токена составляет 98,8%, для UD-Q4_K_XL — 95,8%, а для UD-Q2_K_XL — 85,2%. Сильные стороны модели — широкий выбор размеров квантов, поддержка текста, изображений и видео, встроенный MTP head для ускорения генерации и сниженная склонность к отказам: в описании указано 15 отказов из 100 против 98 из 100 у исходной Swift-модели. Ограничения включают потерю точности при агрессивном квантовании, необходимость отдельного mmproj-BF16.gguf для мультимодального ввода и специальной сборки llama.cpp с поддержкой MTP для qwen35. Качество измерялось преимущественно на тесте wikitext-2, поэтому оно не полностью характеризует работу с кодом и диалогами. Модель распространяется по лицензии swift-open-license-1.0; в карточке также указана категория лицензии other.

Tess-34B-v1.5b — универсальная большая языковая модель серии Tess, разработанной migtissera. Модель дообучена на базе Yi-34B-200K и предназначена для генерации текста и диалогов в формате с ролями SYSTEM, USER и ASSISTANT. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 33,9 млрд параметров. Заявленная длина контекста — 200 000 токенов. В метаданных указан формат PyTorch и лицензия other; конкретные условия лицензии следует проверять в репозитории модели. README не сообщает об отдельных ограничениях или специализированных областях применения.

M4-ai разработала TinyMistral-6x248M-Instruct — компактную языковую модель с архитектурой Mixture of Experts, дообученную на базе M4-ai/TinyMistral-6x248M для выполнения инструкций. В метаданных указано 215,2 млн параметров и контекст до 32 768 токенов; веса опубликованы в формате safetensors. Модель принимает текстовые запросы и генерирует ответы, объяснения и аналитические тексты. Она рассчитана на широкий круг тем, включая программирование, историю и естественные науки; для диалога можно использовать формат ChatML. Дообучение выполнено на hercules-v1.0, наборе с примерами по коду, математике и другим дисциплинам. В карточке заявлена поддержка английского языка и многоязычной генерации. Модель распространяется по лицензии Apache-2.0. Возможны предвзятые, токсичные или чувствительные ответы; карточка также предупреждает об ухудшении качества при использовании Inference API и рекомендует параметры инференса базовой модели.

Trida-7B — языковая модель на 7,76 млрд параметров от Trillion Labs, построенная на архитектуре Block Diffusion Language Model. Это Transformer-декодер с RoPE, SwiGLU и RMSNorm; модель создана посредством непрерывного предобучения базовой trillionlabs/Tri-7B с последующим постобучением. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и предназначена для генерации на корейском, английском и японском языках. Блочная диффузионная генерация сочетается в ней с авторегрессионными зависимостями. Механизм Step-wise Autoregressive Attention рассчитан на обучение и генерацию с более эффективным использованием вычислений; заявлена поддержка KV-кэширования внутри текущего блока. В README указана длина контекста 8192 токена, тогда как метаданные каталога задают native context в 4096 токенов. Модель оценивали на задачах рассуждения, знаний, программирования, математики и следования инструкциям. Модель распространяется по лицензии Apache-2.0. Разработчик указывает, что качество может снижаться при работе с языками, отличными от английского, корейского и японского; сведения модели ограничены данными до февраля 2025 года.

xLAM-7b-r-IMat-GGUF — это GGUF-квантизированная версия языковой модели Salesforce/xLAM-7b-r, подготовленная пользователем legraphista с использованием llama.cpp и IMatrix-калибровки. Исходная модель имеет формат BF16, а набор поставляется в вариантах от BF16 и FP16 до Q2–Q8 и IQ-квантизаций, включая версии с применением IMatrix. Модель предназначена для генерации текста, function calling, tool use и построения LLM Agent-сценариев. Она ориентирована на английский язык и поддерживает работу с инструментами и функциями; исходный датасет обучения — Salesforce/xlam-function-calling-60k. Формат GGUF и набор квантизаций позволяют выбирать баланс между размером файла, требованиями к памяти и сохранением качества, что удобно для локального запуска через llama.cpp. Для некоторых вариантов указаны размеры от 2,53 до 14,48 ГБ. Ключевые архитектурные характеристики базовой модели, включая точное устройство, размер контекста и перечень поддерживаемых модальностей, в README не указаны; по представленным данным это текстовая модель без заявленной мультимодальности. К ограничениям относятся ориентация на английский язык и возможное снижение качества при использовании низкобитных квантизаций. Модель распространяется по лицензии CC BY-NC 4.0, предусматривающей некоммерческое использование.

XORTRON.CriminalComputing.Config.LARGE.XPRT2 — текстовая чат-модель на архитектуре MistralForCausalLM, созданная Darkhn на основе дообучения mistralai/Mistral-Medium-3.5-128B. По карточке, в модели применена abliteration: в приведённом сравнении она отказала в 9 из 100 случаев, тогда как исходная модель — в 98 из 100. Это указывает на снижение частоты отказов, но не гарантирует ответ на любой запрос. Модель предназначена для генерации текста в диалоговом формате; метаданные также отмечают интерфейс вызова инструментов. Она содержит 123,4 млрд параметров, принимает только текст и поддерживает контекст до 262 144 токенов. Вес опубликован в формате safetensors с точностью BF16. Указана лицензия Apache-2.0.

ArlowGPT-8B — англоязычная инструкционно настроенная текстовая модель, созданная на основе Meta Llama 3.1 8B Instruct и дообученная разработчиком на наборе инструкций в течение 10 эпох. Модель предназначена для диалогов, генерации текста, ответов на вопросы, суммаризации и анализа документов. По метаданным, это плотная архитектура Llama с 7,5 млрд параметров, класс LlamaForCausalLM, контекст до 131 072 токенов; поддерживаются чат и интерфейс вызова инструментов. Заявленные сценарии включают многошаговые диалоги, создание профессиональных и творческих текстов, объяснения и синтез информации. Карточка также заявляет области права, медицины и финансов, однако не приводит подтверждений специализированной отраслевой подготовки. Основной язык в метаданных — английский. Модель использует библиотеку Transformers и формат safetensors; лицензия — Llama 3.1. Для запуска нужны значительные вычислительные ресурсы, а качество ответов зависит от запроса и не гарантирует фактическую точность.

Athene-70B-Preview — диалоговая большая языковая модель с открытыми весами, разработанная командой Nexusflow и дообученная с помощью RLHF на основе Llama-3-70B-Instruct. Репозиторий содержит копию первоначального выпуска Athene-70B; в карточке рекомендуется использовать более новую версию. Модель построена на плотной архитектуре Llama и содержит 69,5 млрд параметров; для запуска используется библиотека Transformers, веса представлены в формате safetensors. Контекстное окно составляет 8192 токена, основной язык — английский. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы и выполнение пользовательских инструкций. В README отмечен результат 77,8% на Arena-Hard-Auto — прокси-бенчмарке Chatbot Arena. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Calliope-7b — объединённая языковая модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit. В основе слияния лежит mistralai/Mistral-7B-v0.1; также объединены веса четырёх моделей, включая OpenChat, Starling-LM и OmniBeagleSquaredMBX. Модель содержит 7,1 млрд параметров и принимает текст для авторегрессионной генерации текста. Модель предназначена для текстовых запросов и генерации ответов в сценариях, где нужна универсальная языковая модель. Заявленная длина контекста — 32 768 токенов. Репозиторий предоставляет веса в формате safetensors. Сведения о лицензии и конкретных ограничениях качества в предоставленных данных отсутствуют.

Citaman/command-r-22-layer — языковая модель для генерации текста, созданная с помощью mergekit методом SLERP из слоёв Citaman/command-r-23-layer. Это плотная авторегрессионная модель семейства Cohere с 20,2 млрд параметров; репозиторий содержит веса в формате safetensors, библиотека для работы — Transformers. Модель принимает текст и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Контекстное окно — 8192 токена. Модель подходит для диалоговых приложений и генерации ответов, а также для сценариев, где чату нужно передавать вызовы инструментов. В README указана лицензия?

Citaman/command-r-24-layer — текстовая генеративная модель на архитектуре Cohere, созданная сообществом Citaman с помощью mergekit. Веса получены слиянием SLERP двух диапазонов слоёв модели Citaman/command-r-25-layer; в метаданных указано 21,8 млрд параметров и формат safetensors. Модель поддерживает контекст до 8192 токенов и интерфейсы диалога и вызова инструментов. Модель предназначена для генерации текста и диалоговых сценариев, включая взаимодействие с инструментами. Метаданные не указывают поддерживаемые естественные языки или специализированную предметную область. Лицензия в предоставленных данных не указана.

Citaman/command-r-9-layer — объединённая текстовая модель, созданная автором репозитория с помощью mergekit из срезов Citaman/command-r-10-layer методом SLERP. Это плотная авторегрессионная архитектура Cohere с 9,5 млрд параметров; метаданные также указывают поддержку диалога и интерфейса вызова инструментов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и работу с инструментами. Контекст — до 8192 токенов; вход и выход — текст. Репозиторий содержит веса в формате safetensors. Модель опубликована под лицензией, сведения о которой не представлены в предоставленных данных.

Baekpica/DeepSeek-V4-Flash-0731-120B-REAM-104E-NVFP4 — текстовая генеративная модель, разработанная Baekpica на основе Baekpica/DeepSeek-V4-Flash-0731-120B-REAM-104E-BF16. Модель предназначена для генерации текста и инференса с использованием vLLM, включая сценарии локального и серверного развертывания на совместимом оборудовании NVIDIA. Архитектура представляет собой Mixture-of-Experts: 43 декодерных слоя, 104 маршрутизируемых эксперта на слой, top-6 маршрутизация и около 13,802 млрд активных параметров на токен при примерно 119,822 млрд логических параметров основной модели. Это преимущественно весово-квантизированная версия NVFP4A16: основные подходящие веса представлены в NVIDIA FP4 E2M1 с размером группы 16, тогда как активации остаются 16-битными. Отдельные компоненты сохраняются в BF16, а некоторые attention-проекции используют динамический W8A8 FP8. В README указана поддержка контекста до 196 608 токенов в проверенной конфигурации запуска. Информация о языках и мультимодальных возможностях не приведена. Ключевое преимущество модели — существенное сокращение требований к памяти при сохранении архитектуры крупной MoE-модели и оптимизация для инференса на NVIDIA Blackwell или более новых GPU. Ограничения включают зависимость от аппаратуры с поддержкой compressed-tensors NVFP4 и от специализированного стека, включая совместимую ветку vLLM и FlashInfer; универсальная совместимость с обычным Transformers или более старым оборудованием не заявлена. Модель распространяется по лицензии MIT.

Dumpling-Qwen2.5-32B-GGUF — это квантованные файлы языковой модели Dumpling-Qwen2.5-32B, подготовленные пользователем bartowski на базе модели nbeerbower. Модель предназначена для генерации текста и локального запуска через llama.cpp, в частности в LM Studio. Она может использоваться для диалогов, написания и преобразования текстов, ответов на вопросы и других сценариев текстовой генерации, поддерживаемых базовой моделью. Модель содержит 32 миллиарда параметров и распространяется в формате GGUF с вариантами от BF16 до низкобитных квантований Q2–Q8 и IQ. Размер файлов составляет примерно от 13,71 до 65,54 ГБ. Для квантования применялась imatrix с использованием llama.cpp. В README не указаны точный контекст, перечень поддерживаемых языков и мультимодальные возможности; по заявленному pipeline_tag это текстовая, а не мультимодальная модель. Для работы рекомендуется использовать соответствующий шаблон prompt с маркерами Qwen. Сильной стороной является широкий выбор квантований, позволяющий подобрать баланс между качеством, скоростью и требованиями к памяти; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию. Более компактные варианты экономят память, но могут заметно снижать качество. Модель лицензирована по Apache-2.0.

Gemma-2-9b-it-WPO-HB-GGUF — это GGUF-квантизация инструкционной языковой модели gemma-2-9b-it-WPO-HB, разработанной wzhouad и подготовленной в формате GGUF пользователем bartowski. Модель основана на Gemma 2 с примерно 9 млрд параметров и предназначена для генерации текста и диалогового использования в совместимых средах, включая llama.cpp и LM Studio. В описании также указано, что исходная модель обучалась на датасете wzhouad/gemma-2-ultrafeedback-hybrid. Доступны варианты от F16 до низкобитных Q2–Q8 и IQ-квантизаций, размер файлов составляет примерно от 4 до 18,49 ГБ. Квантизация выполнена с использованием imatrix и специального набора данных, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Наиболее качественными и рекомендуемыми названы варианты Q6_K_L, Q6_K, Q5 и Q4; Q3 и Q2 экономят память, но заметно уступают по качеству. Отдельные варианты оптимизированы для ARM-процессоров и требуют соответствующих инструкций SVE или i8mm. Модель подходит для локального запуска, чат-ботов и других задач текстовой генерации при наличии совместимого программного обеспечения и достаточного объёма оперативной или видеопамяти. Ограничения включают неизбежную потерю качества при сильной квантизации, отсутствие в README сведений о поддерживаемых языках, размере контекстного окна и конкретных условиях лицензирования. Формат prompt должен соответствовать шаблону Gemma с системными, пользовательскими и модельными turn-маркерами.

MaziyarPanahi/gemma-3-12b-it-GGUF — это набор файлов модели в формате GGUF для Google Gemma 3 12B IT. Исходную модель разработала Google, а квантованные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в сценариях взаимодействия с инструкциями. Главная особенность репозитория — представление модели в формате GGUF, совместимом с llama.cpp и рядом локальных приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Доступны варианты с квантованием от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества, однако конкретные характеристики каждого варианта в README не приведены. К сильным сторонам относятся поддержка распространённого формата для локального запуска, возможность GPU-ускорения и широкий выбор уровней квантования. Ограничения связаны с потерями качества, возможными при агрессивном квантовании, а также с отсутствием в предоставленных данных сведений о поддерживаемых языках, размере контекста, модальностях и точных требованиях к оборудованию. Лицензия в README не указана.

axolotl-mirrors/gemma-3-4b-pt — это предварительно обученная модель семейства Gemma 3, разработанного Google на основе технологий и исследований, использованных для Gemini. Это плотная мультимодальная модель с архитектурой Gemma3ForConditionalGeneration: она принимает текст и изображения и генерирует текст. Вариант 4B предназначен для понимания изображений, ответов на вопросы, суммаризации и других задач работы с языком и визуальными данными. Модель подходит для извлечения сведений из изображений, диалоговых интерфейсов, создания и редактирования текстов, а также экспериментов с vision-language-моделями. В README семейство Gemma 3 описано как многоязычное, с поддержкой более 140 языков и контекстом до 128 тысяч токенов; конкретные параметры этого варианта в метаданных не приведены. Для репозитория указан формат safetensors и лицензия Gemma. Качество ответов зависит от обучающих данных и формулировки запроса; возможны предвзятые, неточные или устаревшие ответы. Модель может затрудняться с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами.

Gemma 3n E4B IT — мультимодальная инструктивная модель Google из семейства Gemma, рассчитанная на эффективный запуск на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио, а выдаёт текст; доступна для использования через библиотеку Transformers. В модели около 8 млрд параметров, но выборочная активация параметров и перенос редко используемых матриц позволяют запускать её с затратами памяти, сопоставимыми с обычной моделью на 4 млрд параметров. Архитектура MatFormer включает вложенную подмодель E2B и поддерживает создание вариантов разных размеров методом Mix-and-Match. Модель подходит для диалога, генерации и суммаризации текста, описания визуальных материалов, транскрибирования речи и перевода аудио в текст. Обучающие данные охватывают более 140 устных языков, но в карточке не перечислены языки, поддерживаемые в конкретных задачах. Модель может ошибаться в фактах, упускать языковые нюансы и отражать предвзятости обучающих данных; сложные задачи и неоднозначные инструкции могут снижать качество ответов. Лицензия — Gemma License.

Gliese-OCR-7B-Post2.0-final — мультимодальная модель prithivMLmods на архитектуре Qwen2.5-VL, дообученная на базе prithivMLmods/Gliese-OCR-7B-Post1.0 для анализа документов. Модель содержит 7,1 млрд параметров, принимает текстовые запросы и изображения документов и выдаёт текстовые ответы; заявленная длина контекста — 128 000 токенов. В репозитории указаны формат safetensors и библиотека Transformers. Модель предназначена для OCR, распознавания структуры страниц, извлечения информации, ответов на вопросы и поиска сведений в сложных и многостраничных документах. Она также подходит для интерпретации таблиц, диаграмм и формул, включая преобразование уравнений в LaTeX. В карточке заявлена поддержка многоязычного OCR, но языковой тег метаданных указывает только английский. Лицензия Apache-2.0. Среди ограничений README отмечает снижение точности на сильно повреждённых или закрытых документах, высокие вычислительные требования, слабую оптимизацию для маломощных устройств и возможные ошибки в разметке или галлюцинации. Заявления о результатах на бенчмарках и поддержке видео приведены в карточке модели; отдельного pipeline-тега для видео нет.

glm-4-9b-chat-GGUF — чат-модель семейства GLM-4 с примерно 9 млрд параметров, разработанная THUDM на базе THUDM/glm-4-9b-chat. Репозиторий содержит GGUF-квантизованные варианты, подготовленные Second State Inc., для локального запуска и интеграции с совместимыми инструментами, включая LlamaEdge. Модель предназначена для диалоговых сценариев: ведения беседы, обработки пользовательских запросов и генерации текстовых ответов. Заявлены китайский и английский языки. Для запуска через LlamaEdge указан контекст до 128 000 токенов и специальный шаблон prompt glm-4-chat; требуется LlamaEdge версии 0.12.3 или новее либо другой совместимый runtime для формата GGUF. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 3,99 до 18,8 ГБ. Более компактные варианты экономят память, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, обеспечивающие баланс между размером и качеством. Лицензия указана как glm-4 с типом other; условия следует уточнять в файле лицензии оригинальной модели.