II.8Инженерия данных и аналитика

QuantFactory/Mistral-7B-Instruct-v0.1-GGUF — квантизированная версия модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI. Модель предназначена для генерации текста и ведения диалогов, включая сценарии, где требуется выполнение инструкций на естественном языке. Она распространяется в формате GGUF и создана с использованием llama.cpp. Модель основана на архитектуре Mistral с 7 миллиардами параметров и поддерживает несколько уровней квантизации: Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. README не содержит сведений о поддерживаемых языках, размере контекста, модальностях и конкретных ограничениях качества. Модель подходит для локального запуска и интеграции с инструментами на базе llama.cpp, однако конкретные требования к оборудованию зависят от выбранного уровня квантизации. Лицензия — Apache 2.0.

RedHatAI/Mistral-7B-Instruct-v0.3-FP8 — квантизированная версия текстовой instruction-модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычного ассистентского диалога, включая чат-ботов и исследовательские или коммерческие приложения. Дата выпуска — 26 июня 2024 года, версия 1.0. Модель использует архитектуру Mistral-7B-Instruct-v0.3 и квантизацию весов и активаций в формат FP8. Квантизации подвергнуты линейные операторы внутри transformer-блоков с применением симметричного масштабирования по тензору. Это примерно вдвое уменьшает число битов на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением. Модель подготовлена для инференса через vLLM версии 0.5.0 и новее; в README также указан контекст длиной 4096 токенов для процедуры оценки и примеров использования. По данным OpenLLM Leaderboard v1, средний результат FP8-версии составляет 65,85 против 66,33 у неквантизированной модели, что указывает на небольшую потерю качества при заметном снижении требований к ресурсам. Ограничения включают ориентацию на английский язык: использование на других языках указано как выходящее за заявленную область применения. Условия лицензии — Apache 2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Mistral-Nemo-Instruct-2407-GGUF — это набор квантованных версий инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и локальный запуск через llama.cpp или совместимые приложения, например LM Studio. В репозитории представлены варианты с точностью от F16 до различных форматов Q8, Q6, Q5, Q4 и Q3, с размером файлов примерно от 5,7 до 24,5 ГБ. Квантование выполнено с использованием imatrix и llama.cpp; для общения рекомендуется шаблон prompt <s>[INST]{prompt}[/INST>. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Данные о числе параметров, архитектуре исходной модели, размере контекста и мультимодальности в README не указаны; по описанию это текстовая модель без заявленной поддержки изображений или других модальностей. Сильная сторона набора — широкий выбор квантований для баланса качества, объёма файлов и требований к оперативной памяти: варианты Q5 и Q6 отмечены как высококачественные, а Q3 подходят для систем с ограниченной памятью. Некоторые варианты оптимизированы для ARM-процессоров и требуют соответствующих инструкций; они не рекомендуются для Mac или Windows. Модель распространяется по лицензии Apache-2.0.

MIRALABS/Ornith-1.5-35B-A3B-W4A16-SYM — симметрично переквантизированная версия мультимодальной модели Ornith-1.5-35B-A3B, разработанная командой Milner Team (MIRALABS) на основе модели ornith-ai. Модель относится к семейству Qwen3.6/3.5 A3B MoE и предназначена для локального запуска и обслуживания через vLLM, включая задачи генерации текста, рассуждений и обработки изображений и видео. В README также указана встроенная поддержка reasoning/tool parser для конфигурации первого запуска. Это MoE-модель с заявленным размером 35B и активной конфигурацией A3B. Маршрутизируемые экспертные слои переквантизированы в W4A16 symmetric с 4-битными весами, 16-битными активациями и размером группы 32; vision tower и MTP head сохранены в BF16. Формат хранения — compressed-tensors/pack-quantized, поддерживается vLLM версии 0.19 и новее с Marlin backend. Заявленный максимальный контекст — 32 768 токенов. Поддерживаемые языки в README не указаны. Сильная сторона модели — возможность запуска MoE-варианта на NVIDIA GPU через vLLM с существенно меньшими требованиями к памяти; на двух RTX 3090 заявлена загрузка примерно по 20 ГБ на GPU. К ограничениям относятся потери качества и расхождения с BF16-версией из-за 4-битной квантизации, а также необходимость совместимой конфигурации vLLM и оборудования. Модель распространяется по лицензии MIT.

Ornstein-Hermes-3.6-27b-i1-GGUF — квантизированная версия модели Ornstein-Hermes-3.6-27b, разработанной GestaltLabs и подготовленной в формате GGUF пользователем mradermacher. В README также указано использование набора данных DJLougen/Acta и наличие тегов, связанных с семейством Qwen, мультимодальностью и Hermes. Модель предназначена для генерации текста на английском языке, обработки изображений вместе с текстом, вызова функций, работы с инструментами и агентских сценариев. Заявлены мультимодальные возможности image-text-to-text, function calling и tool use, однако точный размер контекстного окна и подробности архитектуры в README не указаны. Доступно множество вариантов квантизации с размером файлов примерно от 7,2 до 22,2 ГБ. Варианты различаются балансом между размером, скоростью и качеством: README отмечает, что некоторые низкобитные варианты имеют низкое качество, а i1-Q4_K_M рекомендуется как быстрый вариант. Качество конкретной версии зависит от выбранного типа квантизации. Модель распространяется по лицензии Apache-2.0.

Theros/Q2.5-ColdBrew-R1-Obsidian — объединённая текстовая модель, созданная с помощью mergekit методом Passthrough на основе Theros/Qwen2.5-ColdBrew-R1. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и примерно 8,7 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия, а заявленная длина контекста составляет 131072 токена. Модель распространяется в формате safetensors; условия лицензии в предоставленных данных не описаны.

MaziyarPanahi/Qwen2.5-32B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантованную версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживающих исходную instruct-модель. Модель имеет размер 32B параметров и относится к текстовым моделям. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Сильными сторонами являются широкий выбор уровней квантования и совместимость с популярной экосистемой локального инференса. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, результатах оценки или ограничениях исходной модели. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в документации Qwen2.5-32B-Instruct и данного репозитория.

BenevolenceMessiah/Qwen2.5-72B-2x-Instruct-TIES-v1.0 — объединённая плотная языковая модель семейства Qwen2.5, созданная методом TIES с помощью mergekit. В качестве основы использована Qwen/Qwen2.5-72B; в объединение также вошли Rombos-LLM-V2.5-Qwen-72b и Dracarys2-72B-Instruct. Модель содержит 71,5 млрд параметров и имеет заявленное контекстное окно 131 072 токена. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Её можно применять для составления ответов, продолжения текста и сценариев чат-ассистента. README не уточняет специальные преимущества объединения, а сведения о языках обучения и целевых сценариях ограничены. Файлы представлены в формате Safetensors и предназначены для Transformers. Лицензия в предоставленных данных не указана.

DavidAU/Qwen3-32B-128k-NEO-Imatrix-Max-GGUF — квантованные GGUF-варианты модели Qwen3-32B, разработанные DavidAU. Модель предназначена для генерации текста, диалогов, задач с рассуждениями и творческих сценариев, включая хоррор и другие художественные применения. Указано, что модель может использоваться также для общего назначения. Модель имеет заявленный контекст до 128k токенов и поддерживает режим reasoning с автоматической генерацией блоков размышлений. Варианты используют NEO Imatrix-квантизацию, при этом выходной тензор оставлен в формате BF16 для улучшения рассуждений и генерации. Размер базовой модели — 32B параметров; конкретная архитектура, список поддерживаемых языков и точные характеристики отдельных квантов в карточке не указаны. Для качества рекомендуется контекст не менее 8k, предпочтительно 16k; IQ4XS и IQ4NL описаны как наиболее сбалансированные варианты, а более высокие кванты — как предпочтительные для усиленного reasoning. К ограничениям относятся зависимость качества от выбранного уровня квантизации, необходимость корректной настройки Jinja или CHATML-шаблона и возможная потребность в подборе параметров генерации. Для Q8_0 эффект Imatrix, согласно описанию, отсутствует. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанная ByteShape с применением технологии ShapeLearn. Технология подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и может использоваться локально с llama.cpp и Ollama на CPU и GPU. Модель относится к текстовым генеративным моделям, имеет размер исходной версии 4B параметров и представлена в вариантах KQ и IQ с разной средней разрядностью — от 2,55 до 4,74 бит на вес. KQ-варианты рекомендованы для CPU благодаря эффективности ядер GGML, а IQ-варианты — для современных Nvidia GPU. Размер файлов составляет примерно от 1,29 до 2,39 ГБ. Доступны различные компромиссы между скоростью инференса, размером и качеством; заявленные нормализованные показатели качества достигают 99,80%. Сильными сторонами являются компактность, широкий выбор вариантов под разное оборудование и оптимизация квантования с использованием ShapeLearn. Ограничения связаны с потерями качества, возможными при низкой разрядности, а также с отсутствием в README сведений о языках, размере контекста, точной архитектуре и мультимодальных возможностях. Модель распространяется по лицензии Apache-2.0.

ente-ai/Qwen3.5-2B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-2B, разработанной командой Qwen и основанной на Qwen/Qwen3.5-2B. Репозиторий подготовлен с использованием подхода Unsloth Dynamic 2.0 и предназначен для локального запуска, прототипирования, специализированного дообучения, исследований и разработки. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Она содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативный контекст длиной до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks и элементы разреженной Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель совместима с экосистемой Transformers, а также с vLLM, SGLang и KTransformers. К сильным сторонам относятся мультимодальное понимание, большой контекст, компактный размер и пригодность для локального инференса и дообучения. При этом масштаб 2 млрд параметров ограничивает максимальную глубину рассуждений и качество на сложных задачах по сравнению с более крупными моделями; README прямо указывает приоритет прототипирования и исследовательских сценариев. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-27B-Q8_0-dequant-bf16-vllm — конвертированная версия весов Qwen3.6-27B, подготовленная exolabs для запуска через vLLM. Веса взяты из GGUF-квантизации Q8_0 репозитория unsloth/Qwen3.6-27B-GGUF, деквантизированы, преобразованы в формат Transformers и сохранены в BF16 как safetensors. Это плотная модель семейства Qwen3.5 с поддержкой чата и интерфейса вызова инструментов. Исходная архитектура предусматривает обработку текста и изображений, однако в этом репозитории отсутствует визуальная башня. README рекомендует запускать модель в режиме только языковой части, поэтому для данного набора весов следует рассчитывать на текстовый ввод и генерацию текста. Конфигурация проверена на H200 с vLLM 0.23.0; автор указывает максимальную длину контекста 4096 токенов в рекомендуемой команде запуска. Это преобразование уже квантизированных весов Q8_0 в BF16, а не исходный чекпойнт BF16: точность деквантизации ограничена исходной квантизацией. Лицензия в предоставленных данных не указана.

HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Balanced — это модифицированная и квантованная версия базовой модели Qwen/Qwen3.6-27B, подготовленная HauhauCS. Модель распространяется в формате GGUF и ориентирована на мультимодальные сценарии image-text-to-text, включая работу с изображениями и текстом. Заявлена поддержка английского, китайского и других языков. По данным карточки, модель имеет 27 миллиардов плотных параметров; дополнительные сведения о полной архитектуре и размере контекстного окна не указаны. Основное отличие версии Balanced — удаление отказов при сохранении исходных датасетов и возможностей базовой модели. Она предназначена для агентного программирования, использования инструментов, рассуждений, творческого письма и ролевых сценариев. По заявлению автора, модель может подробно рассуждать перед ответом, иногда добавляя краткое предупреждение или контекст безопасности, после чего предоставляет полный ответ. Также заявлена повышенная стабильность генерации в длительных цепочках вызовов инструментов. Эти характеристики основаны на описании автора и приведённом внутреннем тесте с 0 отказов из 465 запросов, поэтому их следует интерпретировать как заявленные, а не независимые результаты. Доступны различные варианты квантования GGUF, включая пользовательские K_P-кванты, оптимизированные с помощью importance matrix; размеры файлов составляют примерно от 10 до 32 ГБ, а для мультимодальности предоставляется отдельный mmproj-файл. Модель совместима с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Рекомендуемый автором вариант Q4_K_P требует около 18 ГБ, а Q8_K_P — около 32 ГБ. Отсутствие встроенных ограничений может быть преимуществом для исследовательских, программных и творческих задач, но одновременно повышает риск небезопасных или нежелательных ответов, поэтому требуется контроль применения. Лицензия — Apache-2.0.

aquaduck/Qwen3.8-27B-GGUF — это квантизированная GGUF-версия причинной языковой модели Qwen3.8-27B, разработанной командой Qwen и Alibaba Cloud. Репозиторий Aquaduck предоставляет полную модель в формате Q4_K_M, полученную из unsloth/Qwen3.8-27B-GGUF, а также дополнительные шардированные файлы для поэтапной или многосетевой загрузки. Aquaduck отвечает за хостинг и упаковку, а не за обучение или отдельную тонкую настройку модели. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые с GGUF инструменты, такие как llama.cpp, а также использование в приложении Aquaduck. Она поддерживает мультиязычную работу в соответствии с возможностями базовой Qwen3.8-27B и рассчитана на контекст до 262 144 токенов. Архитектура включает около 27,8 млрд параметров, 64 слоя, GQA с 24 Q- и 4 KV-головами и размер скрытого состояния 5120. Ключевые преимущества — существенно меньший размер по сравнению с полноточными вариантами, совместимость с экосистемой GGUF и возможность staged loading с помощью двух шардов, разделённых после слоя 32. Полный файл подходит для обычного одноузлового запуска, тогда как отдельные шардированные файлы не являются самостоятельными моделями и предназначены только для Aquaduck Arc. Квантизация Q4_K_M может снижать качество по сравнению с версиями в более высокой точности; отдельные оценки для этого размещённого варианта не проводились, поэтому его ограничения, риски и смещения соответствуют базовой модели Qwen3.8-27B. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели. При использовании необходимо соблюдать требования лицензии и рекомендации базовой карточки модели, включая корректный chat template и режимы thinking или instruct.

minjaechoi/qwen3next-80b-a3b-2p25bit-r24 — исследовательский вариант Qwen3-Next-80B-A3B-Thinking с разреженной MoE-архитектурой. Веса маршрутизируемых экспертов усечены до среднего уровня 2,25 бита, остальные веса хранятся в BF16; тензоры весов сохранены в BF16 после деквантизации. Модель предназначена для генерации текста и диалоговых сценариев, включая сложные рассуждения и работу с длинным контекстом; метаданные указывают контекст длиной до 262 144 токенов и интерфейс вызова инструментов. Размер в метаданных указан как 2,3 млрд параметров. Репозиторий использует библиотеку Transformers и формат safetensors. README сообщает, что загрузка возможна через стандартные Transformers и vLLM. Модель основана на Qwen/Qwen3-Next-80B-A3B-Thinking; лицензия наследуется от базовой модели, поэтому её условия следует проверять в карточке базы. README обозначает её как внутренний исследовательский чекпойнт.

RedHatAI/Qwen3-Next-80B-A3B-Instruct-NVFP4 — квантизированная языковая модель для генерации текста и диалогового взаимодействия. Модель разработана Red Hat на основе Qwen/Qwen3-Next-80B-A3B-Instruct и использует архитектуру Qwen3NextForCausalLM. На вход принимает текст и возвращает текст; сведения о поддерживаемых языках и максимальной длине контекста в README не указаны. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP4 по схеме NVFP4, при этом отдельные компоненты, включая lm_head, некоторые gate- и attention-слои, не квантизируются. По данным README, это уменьшает число бит на параметр с 16 до 4, а также приблизительно на 75% снижает размер модели на диске и требования к памяти GPU. Модель предназначена для инференса и может запускаться через vLLM; в приведённом примере используется tensor parallelism на двух GPU. Основное преимущество — существенное сокращение потребления памяти при сохранении назначения исходной instruct-модели. Ограничения связаны с использованием низкоразрядной квантизации, которая может влиять на качество генерации, а также с требованиями к совместимому программному и аппаратному окружению; количественная оценка влияния квантизации и подробные результаты бенчмарков в доступном фрагменте README отсутствуют. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-GGUF — это квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет архитектуру и размер исходной версии Qwen3-235B-A22B-Instruct-2507; в названии указаны 235 млрд параметров и конфигурация A22B. Представлены варианты GGUF с разными уровнями квантизации — от Q2 до Q8_0 — размером примерно от 93 до 250 ГБ для указанных файлов. Более высокие уровни обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти. README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности. Сильной стороной являются разнообразие вариантов квантизации и возможность локального запуска, включая рекомендации Q6_K, Q5_K_M, Q5_K_S и Q4_K_M для разных компромиссов между качеством и требованиями к памяти. Ограничениями выступают очень крупный размер модели и высокие аппаратные требования; при низких уровнях квантизации качество снижается. Лицензия в предоставленных данных не указана.

Spark-X2.5-1.7B-Abliterated-GGUF — набор GGUF-квантов модели Spark-X2.5-1.7B, разработанный сообществом darioooooo0o на основе XHToken/Spark-X2.5-1.7B. Модель предназначена для генерации текста и рассуждений, включая многоязычные сценарии и агентское использование с инструментами. Основное изменение — однократная rank-1-абляция направления отказа методом heretic, выполненная на сбалансированной многоязычной выборке из 6292 запросов; это существенно снизило склонность модели к отказам и предисловиям о соблюдении ограничений. Доступны варианты Q8_0 размером около 1,8 ГБ, Q6_K около 1,4 ГБ, Q4_K_M около 1,0 ГБ и IQ4_XS около 0,9 ГБ. Для работы требуется совместимая версия llama.cpp с архитектурой spark2_5; README рекомендует F16 KV-кэш и задаваемый лимит рассуждений, поскольку типичная длина скрытого рассуждения превышает 1500 токенов, а отдельные цепочки превышают 4000 токенов. Размер контекста указан в инструкции запуска как 65536 токенов, максимальная длина вывода — 4096 токенов. Точные сведения об архитектуре базовой модели, языковом покрытии и исходном контекстном окне вынесены в отдельную карточку и здесь не приведены. По заявленным проверкам, на закрытых наборах после аудита модель не демонстрировала реальных отказов в ответах, сохранив результат 5 из 6 эффективных задач агентского использования. Ограничением стала небольшая потеря качества по perplexity: ухудшение относительно базовой модели составило 2,3%. Кроме того, абляция направлена на снятие отказов, поэтому поведение и защитные ограничения базовой модели не следует считать сохранёнными. Распространение указано по лицензии Apache-2.0.

SuperQwen3.8-abliterated-Venice-i1-GGUF — набор GGUF-квантизаций модели SuperQwen3.8-abliterated-100-fp8, разработанной Jiunsong и квантованной mradermacher. Модель предназначена для локального запуска задач генерации текста, рассуждений, работы с изображениями и текстом, вызова инструментов и сценариев с длинным контекстом. В карточке также указана поддержка английского и корейского языков. Это мультимодальная vision-модель с архитектурой и размером исходной модели, а также максимальной длиной контекста, не указанными в README. Доступны варианты i1-квантизации от i1-Q2_K размером около 11 ГБ до i1-Q6_K размером около 22,5 ГБ, включая IQ-квантизации. Разные варианты позволяют выбирать компромисс между размером, скоростью и качеством; для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. К сильным сторонам относятся мультимодальность, поддержка рассуждений, tool-calling, длинного контекста и широкий выбор квантизаций, включая варианты, оптимизированные по матрице важности. Ограничения — отсутствие в README точных сведений о характеристиках архитектуры, контекстном окне, производительности и качестве на тестах; качество также зависит от выбранного уровня квантизации. Модель распространяется по лицензии Apache-2.0.

T145/ZEUS-8B-V11 — языковая модель, созданная разработчиком T145 слиянием нескольких предварительно обученных моделей с помощью mergekit и метода DARE TIES. В качестве базовой использована T145/KRONOS-8B-V1-P3, в слияние также вошли Llama-3.1-Storm-8B, Llama-3.1-8B-Lexi-Uncensored-V2 и Llama-3.1-SuperNova-Lite. Модель предназначена для генерации текста и диалоговых сценариев; интерфейс также поддерживает вызов инструментов. Это плотная Llama-архитектура с 7,5 млрд параметров и контекстом до 131 072 токенов. Доступна в формате safetensors для Transformers. В README приведены результаты Open LLM Leaderboard, включая 81% на IFEval и 31,21% на BBH; эти оценки отражают отдельные тесты и не гарантируют качество для конкретных запросов. Лицензия в доступных данных не указана. Включение uncensored-варианта среди исходных моделей может влиять на фильтрацию ответов; не следует считать её ответы проверенными или безопасными без собственной оценки.

GLM4-32B-Neon-v2-GGUF — это квантизированная версия языковой модели GLM4-32B-Neon-v2, разработанной allura-org и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. В карточке указана поддержка английского языка и лицензия MIT. Модель содержит 32 млрд параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp release b5228. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для работы рекомендуется использовать указанный формат промпта с системным сообщением, пользовательским запросом и ответом ассистента. Это текстовая модель: сведения о поддержке изображений, аудио, других модальностей, размере контекста и архитектурных особенностях в README не приведены. Для запуска необходима совместимая инфраструктура llama.cpp и объём памяти, соответствующий выбранному файлу; размеры файлов варьируются примерно от 13,66 до 65,14 ГБ.

BigQwen2.5-Echo-47B-Instruct-GGUF — набор GGUF-квантизаций модели BigQwen2.5-Echo-47B-Instruct, опубликованный пользователем bartowski и основанный на модели mlabonne. Квантизации подготовлены с помощью llama.cpp и imatrix; модель предназначена для генерации текста и работы в локальных средах инференса, включая LM Studio. Указанный язык — английский, формат взаимодействия использует шаблон Qwen с ролями system, user и assistant. Модель имеет размер 47B параметров, однако сведения о точной архитектуре, длине контекста и мультимодальных возможностях в README не указаны. Доступны варианты от F16 размером около 94,79 ГБ до низкобитных Q3 и Q4, а также Q5, Q6 и Q8; наиболее качественными и рекомендуемыми названы некоторые варианты Q6_K, Q5 и Q4. Квантизации позволяют выбирать баланс между качеством, размером файла и требованиями к памяти; отдельные варианты оптимизированы для ARM-процессоров. Ограничениями являются значительные требования к памяти для старших вариантов и возможное снижение качества у низкобитных квантизаций. Для запуска требуется совместимое программное обеспечение, например llama.cpp или LM Studio. Лицензия указана как other с названием tongyi-qianwen; в качестве текста лицензии приведена ссылка на лицензию Qwen2-72B-Instruct.

DeepSeek-R1-0528-Qwen3-8B-GGUF — квантизированная версия языковой модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантизацию выполнил bartowski с использованием llama.cpp версии b5524 и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Это текстовая модель размером 8B параметров, представленная в формате GGUF. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ, с размером файлов примерно от 3,9 до 16,39 ГБ. Более высокие уровни квантизации обычно лучше сохраняют качество, а варианты Q3 и ниже ориентированы на устройства с ограниченным объёмом оперативной памяти. Для работы рекомендуется использовать указанный шаблон prompt format; контекстное окно, поддерживаемые языки и дополнительные модальности в README не указаны. Сильные стороны модели — возможность локального запуска, широкий выбор вариантов квантизации и компромисс между качеством, размером и требованиями к памяти. Ограничения зависят от выбранного варианта: более сильная квантизация может снижать качество генерации, а для запуска требуются совместимые инструменты и достаточно оперативной или видеопамяти. Лицензия модели указана как MIT.

NVIDIA DeepSeek-R1-0528-NVFP4 — квантизованная FP4-версия языковой модели DeepSeek-R1-0528, разработанной DeepSeek и оптимизированной NVIDIA с помощью TensorRT Model Optimizer. Это авторегрессионная трансформерная модель семейства DeepSeek V3 с 37,6 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Длина контекста — до 163 840 токенов. Модель предназначена для текстовой генерации, диалогов, рассуждений и развертывания через TensorRT-LLM. Квантизация весов и активаций линейных слоёв до FP4 сокращает требования к диску и памяти GPU примерно в 1,6 раза; заявлена совместимость с архитектурой NVIDIA Blackwell. Для развёртывания в README указана конфигурация с восемью GPU B200. README отмечает, что модель не принадлежит NVIDIA и создана на основе сторонней модели DeepSeek. Лицензия — MIT; заявлено коммерческое и некоммерческое использование. Модель может выдавать неточные, нерелевантные или повторяющиеся ответы и воспроизводить токсичный язык и предвзятости из обучающих данных.

Dracarys-Llama-3.1-70B-Instruct-GGUF — это квантованные версии инструкционной языковой модели Dracarys-Llama-3.1-70B-Instruct, разработанной AbacusAI. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и другие задачи, поддерживаемые текстовыми LLM. Варианты подготовлены пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix; запуск рекомендуется через LM Studio или совместимое программное обеспечение. Модель основана на архитектуре Llama 3.1 и содержит 70 миллиардов параметров. Доступны уровни квантования от Q8_0 до IQ1_M, что позволяет выбирать между качеством ответов и требованиями к оперативной памяти: наиболее качественными считаются Q6_K, Q5_K_M и ряд вариантов Q4, тогда как версии Q2 и Q3 заметно уступают по качеству, хотя некоторые из них остаются пригодными для использования. Размер файлов составляет примерно от 16,75 до 74,98 ГБ. Мультимодальность, поддерживаемые языки и размер контекстного окна в README не указаны. Основные преимущества — большой размер модели, инструкционная настройка и широкий выбор квантований для локального запуска. Ограничения связаны с высокими требованиями к памяти, особенно для качественных вариантов, а также с потерей качества при сильном квантовании. Для корректной работы следует использовать указанный формат prompt с системным, пользовательским и ассистентским сообщениями. Лицензия указана как llama3; дополнительные условия лицензии в README не приведены.

FuseChat-Gemma-2-9B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели FuseChat-Gemma-2-9B-Instruct, разработанной FuseAI и опубликованной в формате GGUF пользователем bartowski. Квантизации созданы с помощью llama.cpp версии b4273 и метода imatrix, предназначены для локального запуска и совместимы, в частности, с LM Studio. Модель относится к текстовым генеративным моделям и предназначена для диалогов, следования инструкциям и других сценариев генерации текста. Указан размер базовой модели — 9 миллиардов параметров; поддерживаемые модальности, языки и размер контекста в README не описаны. Для работы используется специальный шаблон промпта с маркерами Gemma для ролей пользователя и модели. Доступны варианты от F32 и F16 до квантизаций Q8, Q6, Q5, Q4 и Q3, а также IQ-форматы, что позволяет выбирать между качеством, размером файла и требованиями к памяти. В README рекомендуются, среди прочих, Q6_K_L, Q6_K, Q5 и Q4 варианты; некоторые сборки оптимизированы для ARM или AVX, а отдельные требуют аппаратной поддержки i8mm или sve и не предназначены для Mac. Более компактные варианты экономят память, но могут снижать качество генерации. Лицензия в предоставленных данных не указана.

InternLM2.5-20B-Chat GGUF — большая языковая чат-модель в формате GGUF, разработанная Shanghai AI Laboratory (上海人工智能实验室) и представленная для запуска с помощью llama.cpp. Она предназначена для локального и облачного инференса, ведения диалогов, генерации текста и интеграции в сервисы через совместимый с OpenAI API сервер llama-server. В README также показан сценарий вызова функций, например получения текущей погоды через внешний инструмент. Модель имеет размер 20B параметров и поддерживает несколько вариантов точности и квантования, включая FP16, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. В качестве языков указано English, а в примере системного промпта заявлена способность общаться на английском и китайском языках. README демонстрирует контекст размером 4096 токенов и рекомендует использование аппаратного ускорения, включая CUDA; конкретные требования к ресурсам не указаны. Сильными сторонами модели являются возможность локального развёртывания на различных аппаратных платформах, наличие низкобитных версий и поддержка чатового взаимодействия, вызова функций и OpenAI-совместимого API. Ограничения включают отсутствие подробных данных о качестве, обучающих данных, точных языковых возможностях и рекомендуемых ресурсах, а также то, что результаты зависят от выбранной точности, конфигурации llama.cpp и параметров инференса. Модель распространяется по лицензии Apache-2.0.

LFM2.5-1.2B-Thinking-MLX-bf16 — версия модели рассуждений Liquid AI, подготовленная командой LM Studio Community на базе LFM2.5-1.2B-Thinking. Это плотная авторегрессионная модель семейства LFM2 с примерно 1,5 млрд параметров, представленная в исходной точности bfloat16 в формате safetensors и адаптированная для запуска на Apple Silicon через MLX. Модель предназначена для генерации текста в диалогах, задач рассуждения и агентных сценариев; метаданные также указывают интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 128 000 токенов. В карточке указаны английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Компактный размер и оптимизация MLX подходят для локального запуска на устройствах Apple Silicon. Репозиторий указывает лицензию «other», поэтому конкретные условия использования следует сверять с лицензией исходной модели.

EXAONE-Deep-32B-GGUF — это квантованные версии языковой модели EXAONE-Deep-32B, разработанной LGAI-EXAONE и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на текстовые сценарии, включая диалоговое взаимодействие, написание и преобразование текста, программирование и другие задачи генерации на естественном языке. В README указаны английский и корейский языки. Базовый размер модели — 32B параметров; архитектура и размер контекстного окна не указаны. Доступны варианты от BF16 до квантований Q8_0, Q6, Q5, Q4, Q3 и IQ, размер файлов составляет примерно от 13 до 64 ГБ. Главное преимущество — возможность локального запуска при выборе подходящего уровня квантования: высокоточные варианты Q6 и Q5 обеспечивают качество, близкое к исходной модели, а более компактные Q4 и Q3 снижают требования к памяти. Ограничения связаны с существенными аппаратными требованиями 32B-модели, возможным снижением качества при сильном квантовании и отсутствием информации о мультимодальности, контекстном окне и результатах оценивания. Указана лицензия EXAONE; подробные условия следует уточнять в файле LICENSE.

deltanym/llama3.1-base-instruct-gradient-1 — объединённая автором модель на архитектуре Llama 3.1, созданная методом SLERP с помощью mergekit из meta-llama/Llama-3.1-8B и meta-llama/Llama-3.1-8B-Instruct. Это плотная причинная языковая модель примерно на 7,5 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; метаданные указывают поддержку интерфейса вызова инструментов. Модель принимает текст и выдаёт текст, использует библиотеку Transformers, веса опубликованы в формате safetensors, а длина контекста составляет 131 072 токена. Модель подходит для диалоговых ассистентов, генерации и продолжения текста, а также сценариев с вызовом инструментов. Инструкционно настроенная базовая модель поддерживает несколько языков, однако точный перечень языков для этого слияния не приведён. Лицензия в предоставленных данных не указана. Результат слияния может отличаться по поведению от обеих исходных моделей; качество и ограничения отдельно не описаны.