II.7DevOps, облако и эксплуатация IT-систем

Qwen3.8-27B-Uncensored-GGUF — квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная в формате GGUF для использования с llama.cpp. Модель предназначена для генерации текста, локального запуска и сценариев, где важны различные уровни квантизации, включая работу со speculative decoding благодаря сохранённой голове multi-token prediction (MTP). Доступен вариант с поддержкой изображений, если это предусмотрено базовой моделью. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Заявлены английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также варианты с объединённой MTP-головой и отдельными целевой и draft-моделями. По сравнению с исходной моделью существенно снижено поведение отказа от ответа, но оно не устранено полностью; при этом возможности, обучающие данные и архитектура базовой модели не изменялись. Сильными сторонами являются большой контекст, поддержка MTP для ускорения инференса, несколько вариантов размера файлов и сохранение качества при большинстве квантизаций. Ограничения включают возможное небольшое снижение доли принятых токенов при speculative decoding, зависимость от совместимости используемого runtime и отсутствие в README подробных сведений о фактических показателях рассуждения, программирования и мультиязычных возможностей. Распространение указано по лицензии Apache-2.0.

halt95/Qwen3.8-Flash-Next-W4A16-Merlin — это квантованный вариант Qwen3.8-Flash-Next, подготовленный halt95 на основе компонентов Qwen, Intel и RadixArk. Модель предназначена для генерации текста и инференса в vLLM, включая сценарии с длинным контекстом, параллельными сессиями, включённым режимом рассуждений, vision-вводом и speculative decoding с MTP-драфтером. Модель использует смесь экспертов с 512 маршрутизируемыми экспертами на слой и 512 экспертами MTP draft-head. Основные эксперты представлены в INT4 с групповой схемой g128, отдельные проекции Gated DeltaNet — в INT8, а часть компонентов, включая 12 attention-слоёв, vision tower, эмбеддинги и lm_head, сохранена в BF16. Таблица n-gram (PLE) на 51 млрд параметров хранится в FP8 и выгружается в память CPU. При обслуживании применяется FP8 E4M3 KV-cache; заявлена поддержка контекста до 262 144 токенов и пула KV-cache размером 806 792 токена. README не указывает поддерживаемые языки и точное общее число параметров. Сильными сторонами являются работа с очень длинным контекстом, поддержка vision, MTP speculative decoding, структурированного вывода при конкуренции запросов и возможность запуска на четырёх потребительских RTX 3090 с архитектурой Ampere без NVLink. Ограничения связаны с узкой аппаратной и программной конфигурацией: для sm_86 требуется патченный vLLM с поддержкой FP8 KV-cache и специального доступа к большой n-gram-таблице, а стандартный vLLM не подходит. Качество INT4-квантования для отдельных компонентов и влияние дополнительной квантизации attention в README не оценивались. Распространение осуществляется по лицензии qwen-community-1.0; в метаданных также указана общая лицензия other. Для запуска может потребоваться companion-репозиторий halt95/qwen38-flash-next-3090s с закреплёнными скриптами сборки и модифицированным движком.

Qwen3-Next-80B-A3B-Instruct-8bit — языковая модель для генерации текста и диалогового взаимодействия, разработанная сообществом mlx-community на основе Qwen/Qwen3-Next-80B-A3B-Instruct от Qwen. Модель преобразована в формат MLX с использованием mlx-lm версии 0.27.1 и предназначена для запуска через библиотеку mlx-lm. Из README известно, что это 8-битная версия модели с архитектурой и характеристиками базовой модели Qwen3-Next-80B-A3B-Instruct, однако подробности об архитектуре, фактическом числе активных параметров, поддерживаемых языках, модальностях и размере контекста не указаны. Модель ориентирована на текстовую генерацию и может использоваться в чат-сценариях через встроенный chat template. Для работы требуется библиотека mlx-lm; пример запуска предполагает загрузку модели и токенизатора средствами Python. Ключевое преимущество модели — адаптация в MLX-формат и 8-битное представление, что делает её подходящей для экосистемы MLX и потенциально снижает требования к памяти по сравнению с полноточной версией. Ограничения, результаты оценивания и особенности качества в README не описаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-GGUF — это квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет архитектуру и размер исходной версии Qwen3-235B-A22B-Instruct-2507; в названии указаны 235 млрд параметров и конфигурация A22B. Представлены варианты GGUF с разными уровнями квантизации — от Q2 до Q8_0 — размером примерно от 93 до 250 ГБ для указанных файлов. Более высокие уровни обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти. README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности. Сильной стороной являются разнообразие вариантов квантизации и возможность локального запуска, включая рекомендации Q6_K, Q5_K_M, Q5_K_S и Q4_K_M для разных компромиссов между качеством и требованиями к памяти. Ограничениями выступают очень крупный размер модели и высокие аппаратные требования; при низких уровнях квантизации качество снижается. Лицензия в предоставленных данных не указана.

Qwimi3.5-9B-Kimik2.6-Opus-Distill-MTP-GGUF — экспериментальная модель, разработанная trjxter на базе unsloth/Qwen3.5-9B. Это каузальная языковая модель с GGUF-квантизацией, дообученная методом supervised fine-tuning с использованием LoRA и RS-LoRA через Unsloth и Hugging Face TRL. Обучение проводилось на смеси наборов данных с рассуждениями в стилях Kimi K2.6, Qwen и Claude Opus TraceInversion; в итоговый набор вошло 12 366 примеров, из которых 12 000 использовались для обучения. Модель ориентирована на английский язык и сохраняет формат чата Qwen, включая трассы рассуждений в формате <think>...</think>. Модель предназначена для локального запуска в llama.cpp-совместимых средах, экспериментов с рассуждениями, математикой, решением задач, программированием, техническим анализом и длинным контекстом. Заявленная длина последовательности при обучении составляет 16 384 токена. Доступны варианты Q3_K_L, Q4_K_M, Q5_K_M, Q6_K и Q8_0; Q4_K_M рекомендован как сбалансированный вариант по размеру, скорости и качеству, а более высокие уровни квантизации обеспечивают лучшее сохранение качества при увеличенных требованиях к памяти. Сильными сторонами модели являются специализация на структурированных рассуждениях, поддержка локального инференса и несколько вариантов GGUF-квантизации для разных ограничений по памяти. При этом это экспериментальный fine-tune без заявленных гарантий качества, поэтому модель следует тщательно проверять перед использованием в производственных или критически важных сценариях. Лицензия — Apache 2.0.

Ring-mini-sparse-2.0-exp — экспериментальная языковая модель компании InclusionAI для генерации текста и диалогов. Она основана на Ling-mini-base-2.0 и продолжила обучение на дополнительных 100 млрд токенов. В модели сочетаются архитектура Mixture of Block Attention (MoBA) и разреженная Mixture-of-Experts (MoE); для инференса предусмотрена библиотека Transformers, а также поддержка SGLang. Модель рассчитана на рассуждения и работу с длинными входами и ответами: README сообщает о контексте до 128 тыс. токенов благодаря расширению окна YaRN в 4 раза. При декодировании с контекстом 64 тыс. токенов активируются 8 192 KV-токена на запрос; авторы заявляют о снижении нагрузки на чтение KV-кэша и ускорении генерации в сравнении с Ring-mini-2.0. Модель оценивалась на задачах математики, программирования и естественных наук, но опубликованный фрагмент карточки не содержит численных результатов. Размер модели по метаданным — 1,2 млрд параметров, родительская архитектура — Bailing MoE. Модель предназначена для текста и заявлена с поддержкой английского языка. Лицензия — MIT. Суффикс exp и исследовательские оценки указывают на экспериментальный характер; результаты и скорость могут зависеть от оборудования и используемой реализации.

arcee-ai/saul-mistral-v0.1-7b-slerp — объединённая модель от Arcee AI, созданная методом SLERP с помощью mergekit из Equall/Saul-Base и mistralai/Mistral-7B-Instruct-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых ответов. Базовая модель Mistral-7B-Instruct-v0.1 ориентирована на выполнение инструкций; слияние добавляет компоненты Saul-Base. Модель принимает текст и выдаёт текст, поддерживает чат-сценарии и имеет контекст до 32 768 токенов. В карточке не заявлены конкретные языки или специализированные предметные области, поэтому её следует считать моделью общего назначения. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

Joseph717171/SOLAR-19.2B-Instruct-v1.0 — разговорная языковая модель, созданная слиянием моделей через mergekit. В карточке она описана как увеличенная версия SOLAR-10.7B-Instruct-v1.0 с чередованием слоёв; метаданные указывают архитектуру LlamaForCausalLM и около 18,5 млрд параметров. Модель принимает текстовые запросы и генерирует текст, а её контекст составляет 4096 токенов. Модель предназначена для диалогов и ответов на инструкции, а также как основа для дальнейшего дообучения или замена исходной версии SOLAR 10.7B. Для обучения использовались наборы Alpaca-GPT4, OpenOrca, Orca DPO и UltraFeedback; карточка также упоминает SFT и DPO. Заявленная лицензия — CC; конкретный вариант лицензии в предоставленных данных не уточнён.

Soniox-7B-v1.0 — языковая модель Soniox для диалогов и генерации текста. Она построена на архитектуре Mistral и основана на Mistral 7B, дополнительно прошла предварительное обучение и дообучение для решения задач и ответов на вопросы. В карточке заявлена поддержка английского языка и кода; модель содержит 7,1 млрд параметров и имеет контекст до 32 768 токенов по метаданным. Модель можно использовать для диалоговых интерфейсов, генерации текста и помощи с кодом. Автор README заявляет сопоставимость с GPT-4 на некоторых бенчмарках, но не приводит их названия или результаты, поэтому это утверждение не позволяет оценить качество для конкретных задач. Модель доступна в формате safetensors и совместима с Transformers; для развёртывания также упоминаются vLLM и другие варианты. Лицензия — Apache 2.0. README указывает контекст 8K, тогда как метаданные каталога дают native context 32 768 токенов; это расхождение следует учитывать при выборе длины входа.

Spark-X2.5-1.7B-Abliterated-GGUF — набор GGUF-квантов модели Spark-X2.5-1.7B, разработанный сообществом darioooooo0o на основе XHToken/Spark-X2.5-1.7B. Модель предназначена для генерации текста и рассуждений, включая многоязычные сценарии и агентское использование с инструментами. Основное изменение — однократная rank-1-абляция направления отказа методом heretic, выполненная на сбалансированной многоязычной выборке из 6292 запросов; это существенно снизило склонность модели к отказам и предисловиям о соблюдении ограничений. Доступны варианты Q8_0 размером около 1,8 ГБ, Q6_K около 1,4 ГБ, Q4_K_M около 1,0 ГБ и IQ4_XS около 0,9 ГБ. Для работы требуется совместимая версия llama.cpp с архитектурой spark2_5; README рекомендует F16 KV-кэш и задаваемый лимит рассуждений, поскольку типичная длина скрытого рассуждения превышает 1500 токенов, а отдельные цепочки превышают 4000 токенов. Размер контекста указан в инструкции запуска как 65536 токенов, максимальная длина вывода — 4096 токенов. Точные сведения об архитектуре базовой модели, языковом покрытии и исходном контекстном окне вынесены в отдельную карточку и здесь не приведены. По заявленным проверкам, на закрытых наборах после аудита модель не демонстрировала реальных отказов в ответах, сохранив результат 5 из 6 эффективных задач агентского использования. Ограничением стала небольшая потеря качества по perplexity: ухудшение относительно базовой модели составило 2,3%. Кроме того, абляция направлена на снятие отказов, поэтому поведение и защитные ограничения базовой модели не следует считать сохранёнными. Распространение указано по лицензии Apache-2.0.

Spartan_v1.0 — языковая модель, созданная слиянием моделей Meta Llama 3.1 с помощью mergekit и метода SLERP. В слияние вошли Meta-Llama-3.1-8B и Meta-Llama-3.1-8B-Instruct; модель содержит 7,5 млрд параметров и использует плотную архитектуру Llama для авторегрессионной генерации текста. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на запросы, написания и продолжения текста, а также сценариев с интерфейсом вызова инструментов. Заявленная длина контекста — 131 072 токена. Для работы используется библиотека Transformers, веса опубликованы в формате safetensors. В карточке не описаны отдельные языковые специализации или результаты оценки качества, поэтому их нельзя уверенно определить. Лицензия в предоставленных данных не указана. Производные модели Llama 3.1 распространяются на условиях лицензии Meta Llama 3.1; перед использованием следует сверить применимые условия с карточкой и лицензией базовых моделей.

Ternary-Bonsai-2-27B-ConstantKV — дообученная модель tfwnotops на базе Ternary-Bonsai-2-27B-Crystal для генерации текста и диалогов с постоянным объёмом состояния внимания при длинном контексте. В основе — плотная гибридная архитектура семейства prism_hadamard_qwen35 с весами Qwen3.8-27B в троичном представлении; карточка описывает 16 слоёв полного внимания и механизм, сочетающий точное окно последних 1 024 токенов, свёрнутое состояние для дальнего контекста и хранилище точных ключей и значений размером до 8 192 токенов на KV-голову. Модель доступна в формате safetensors и использует библиотеку MLX. Модель рассчитана на локальную генерацию и ответы по длинным документам, а также на дополнение кода. По данным карточки, объём состояния внимания остаётся около 1,18 ГиБ независимо от длины контекста; заявлен запуск на Mac mini M4 с 16 ГБ памяти при контексте до 32 тыс. токенов. Карточка также указывает интерфейс вызова инструментов и повторное использование ранее вычисленных ответов через карту .mrail. Указанные измерения и возможности приведены авторами карточки; независимая проверка здесь не проводилась. Лицензия — Apache-2.0. Карточка не сообщает о специальной языковой или предметной специализации, поэтому модель следует считать общей текстовой моделью; конкретная поддержка языков отдельно не заявлена.

TopEvolution-DPO-32K — слитая языковая модель семейства Mistral, созданная сообществом mergekit-community методом SLERP на основе mergekit-community/TopEvolution и mpasila/Kunoichi-DPO-v2-Instruct-32k-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и выполнения инструкций; поддерживает контекст до 32 768 токенов. В конфигурации слияния использована V-образная кривая весов: TopEvolution задаёт вклад на входе и выходе, а Kunoichi-DPO-v2-Instruct — в средних слоях. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Языковая специализация и лицензия в предоставленных источниках не описаны.

Sakalti/ultiima-14B — объединённая модель для генерации текста, созданная автором репозитория с помощью mergekit. В слиянии методом TIES использованы Qwen/Qwen2.5-14B как базовая модель и Qwen/Qwen2.5-14B-Instruct; модель имеет плотную архитектуру Qwen2ForCausalLM и 14 млрд параметров. Модель предназначена для диалогов и генерации текста, включая структурированные ответы и взаимодействие через интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов. Репозиторий содержит веса Safetensors; указана лицензия Apache-2.0. Конкретные языковые возможности и оценки качества в карточке не описаны.

EuroLLM-22B-Instruct-2512-GGUF — это квантизированная версия инструкционной языковой модели EuroLLM-22B-Instruct-2512, разработанной utter-project и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с инструкциями, благодаря чему может использоваться в локальных чат-ботах, ассистентах и приложениях на базе llama.cpp. Модель имеет размер 22 млрд параметров и представлена в формате GGUF с вариантами квантизации от BF16 до Q3. Доступна поддержка llama.cpp, LM Studio и других совместимых проектов. Заявлена работа с широким набором языков, включая английский, немецкий, испанский, французский, итальянский, португальский, польский, русский, китайский, японский, корейский, арабский, хинди и многие другие европейские языки. Формат prompt использует шаблон ChatML с ролями system, user и assistant. Сильными сторонами являются широкий языковой охват, возможность локального запуска и выбор между вариантами квантизации, позволяющий балансировать качество и требования к памяти. Рекомендуемыми считаются варианты Q4_K_M, Q5_K_M, Q6_K и другие близкие к ним; менее битные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут обеспечивать более низкое качество. Архитектура, размер контекста и мультимодальные возможности в README не указаны; по имеющимся данным модель является текстовой и не поддерживает изображения или другие модальности. Распространение осуществляется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-GGUF — мультимодальная модель в формате GGUF, созданная автором Genesis на основе HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive с переносом данных из Hermes-файнтюна DJLougen/hermes-qwen3.5-35b-a3b-GGUF. Модель ориентирована на диалоговые сценарии, агентские задачи, следование инструкциям и function calling; в карточке также заявлена поддержка обработки изображений и текста. Заявленная архитектура — MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров. Указаны английский, китайский и другие языки, однако точный перечень языков и размер контекстного окна не приведены. Автор применил собственный метод Genesis для численной коррекции весов GGUF без дополнительного обучения, включая анализ тензоров, восстановление нулевых блоков и снижение шума с использованием кастомного SVD и распределения Марченко—Пастура. К сильным сторонам относятся заявленные улучшения стабильности, ясности контекста, следования инструкциям и агентского поведения, а также отсутствие ограничений на отказы в базовой модели по внутреннему тесту автора. Ограничения включают отсутствие независимых бенчмарков и подробных результатов оценки, а также необходимость корректной настройки MoE, GPU offload и KV-cache. В карточке указана лицензия Apache-2.0; совместимость с лицензиями базовой модели и компонентов следует дополнительно проверить.

Bagel DPO 8x7B v0.2 — экспериментальная модель-ассистент, созданная jondurbin дообучением Mixtral 8x7B v0.1: сначала применялось обучение на инструкциях (SFT), затем оптимизация предпочтений DPO. Это языковая модель архитектуры Mixtral с разреженной экспертной структурой MoE, примерно 7,1 млрд параметров и контекстом до 32 768 токенов; поддерживает диалоговую генерацию текста. Для обучения использовались данные по вопросам и ответам, математике, программированию, чтению, диалогам, ролевым сценариям и другим задачам. Модель рассчитана на общие запросы к ассистенту, написание текстов, ответы на вопросы и помощь с кодом. В карточке приведены ограниченные результаты сравнительных проверок, но автор не проводил комплексную оценку. Автор отмечает, что модель унаследовала от базовой Mixtral склонность отказывать в части запросов, несмотря на использование данных для снижения цензурирования. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0.

mrcuddle подготовил объединённую диалоговую языковую модель на базе Llama 3 8B. Веса NousResearch/Hermes-2-Pro-Llama-3-8B и jondurbin/bagel-8b-v1.0 объединены методом SLERP с помощью mergekit; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров. Модель работает через Transformers, сохранена в формате safetensors, поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и диалоговых ответов. Её можно использовать для общения с ассистентом, ответов на вопросы, написания текстов и кода, а также выполнения разнообразных текстовых инструкций. Метаданные указывают на возможность чата, однако README не приводит оценок качества или результатов тестирования. Сведения о лицензии в предоставленных источниках отсутствуют.

MaziyarPanahi/DeepSeek-R1-0528-Qwen3-8B-GGUF — это набор файлов модели в формате GGUF для базовой модели deepseek-ai/DeepSeek-R1-0528-Qwen3-8B. Исходную модель разработала deepseek-ai, а квантированную версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты. GGUF — формат, созданный командой llama.cpp и пришедший на смену GGML. Доступны варианты квантования с разной разрядностью: 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством работы. Поддерживаются llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и ctransformers. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования, GPU-ускорение в ряде клиентов и совместимость с OpenAI-совместимыми серверными интерфейсами некоторых библиотек. README не содержит сведений о точной архитектуре, размере параметров, поддерживаемых языках, длине контекста, мультимодальности, результатах тестирования или лицензии, поэтому эти характеристики нельзя достоверно определить.

DeepSeek-R1-Distill-Qwen-14B-Q4_K_M-GGUF — это квантованная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной организацией deepseek-ai и опубликованной в формате GGUF пользователем Andrew Webby из RolePlai. Модель предназначена для генерации текста, диалоговых сценариев, ролевого общения, а также задач программирования и математики; она может использоваться в приложениях на базе llama.cpp. Модель основана на архитектуре Qwen, имеет размер 14 млрд параметров и поддерживает текстовый ввод и вывод. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полной версией, что делает модель более подходящей для локального запуска, однако может снижать точность по сравнению с исходными весами. В README не указаны поддерживаемые языки, размер контекстного окна, точные требования к оборудованию, результаты тестирования и ограничения качества. Файл модели имеет формат GGUF, не использует imatrix и не разделён на части. Лицензия и условия использования в предоставленных данных не указаны.

NVIDIA DeepSeek-V3.2-NVFP4 — текстовая авторегрессионная модель на архитектуре Transformer с классом DeepseekV32ForCausalLM, основанная на DeepSeek-V3.2 от DeepSeek AI. NVIDIA выпустила эту квантованную версию с помощью TensorRT Model Optimizer; она предназначена для генерации текста и развёртывания в чат-ботах, агентных системах, RAG и других приложениях на базе ИИ. Модель принимает текст и генерирует текст, поддерживает контекст до 163 840 токенов и насчитывает 37,6 млрд параметров по метаданным Hugging Face. Квантование NVFP4 снижает требования к диску и памяти GPU примерно в 1,66 раза; для запуска README указывает TensorRT-LLM версии 1.2.0rc8 или новее и восемь GPU B200. Оптимизация рассчитана на оборудование NVIDIA Blackwell и Linux. Модель заявлена для коммерческого и некоммерческого использования по лицензии MIT. Она может воспроизводить токсичные формулировки и социальные предубеждения из обучающих данных, а также давать неточные, неполные, нерелевантные или избыточные ответы; перед внедрением её следует проверять на данных конкретного сценария.

Dracarys-Llama-3.1-70B-Instruct-GGUF — это квантованные версии инструкционной языковой модели Dracarys-Llama-3.1-70B-Instruct, разработанной AbacusAI. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и другие задачи, поддерживаемые текстовыми LLM. Варианты подготовлены пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix; запуск рекомендуется через LM Studio или совместимое программное обеспечение. Модель основана на архитектуре Llama 3.1 и содержит 70 миллиардов параметров. Доступны уровни квантования от Q8_0 до IQ1_M, что позволяет выбирать между качеством ответов и требованиями к оперативной памяти: наиболее качественными считаются Q6_K, Q5_K_M и ряд вариантов Q4, тогда как версии Q2 и Q3 заметно уступают по качеству, хотя некоторые из них остаются пригодными для использования. Размер файлов составляет примерно от 16,75 до 74,98 ГБ. Мультимодальность, поддерживаемые языки и размер контекстного окна в README не указаны. Основные преимущества — большой размер модели, инструкционная настройка и широкий выбор квантований для локального запуска. Ограничения связаны с высокими требованиями к памяти, особенно для качественных вариантов, а также с потерей качества при сильном квантовании. Для корректной работы следует использовать указанный формат prompt с системным, пользовательским и ассистентским сообщениями. Лицензия указана как llama3; дополнительные условия лицензии в README не приведены.

Droplychee Small 1B v1 — компактная языковая модель для генерации текста, разработанная droplychee-core как дообучение GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking. Модель использует плотную архитектуру Llama и содержит 837,6 млн параметров; заявленная длина контекста — 131 072 токена. Модель подходит для диалогов, следования инструкциям и сценариев с вызовом инструментов. В качестве основы использована модель MiniCPM5, предназначенная для диалогов, вызова инструментов и программирования. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0; при дообучении использовались Unsloth и библиотека TRL.

Eunoia-Llama-8B-R1 — объединённая текстовая языковая модель на архитектуре Llama, созданная с помощью mergekit методом TIES. В основу объединения вошли GoToCompany/llama3-8b-cpt-sahabatai-v1-instruct и huihui-ai/DeepSeek-R1-Distill-Llama-8B-abliterated; итоговая модель содержит около 7,5 млрд параметров и использует формат Safetensors. Модель предназначена для генерации текста и диалогового взаимодействия. Карточка базовой модели указывает на сценарии рассуждений, математики и программирования, однако README Eunoia не содержит отдельных оценок качества или подробных рекомендаций по применению. Контекст составляет 8192 токена. Данных о поддерживаемых естественных языках и лицензии в предоставленных источниках нет.

MaziyarPanahi/Falkor-7b-Mistral-7B-Instruct-v0.2-slerp-GGUF — это квантованная версия языковой модели Falkor-7b-Mistral-7B-Instruct-v0.2-slerp, разработанная и подготовленная MaziyarPanahi. Модель основана на Mistral-7B-Instruct-v0.2 и предназначена для генерации текста и выполнения инструкций в локальных и серверных сценариях. Модель поставляется в формате GGUF, совместимом с llama.cpp и рядом приложений и библиотек для локального запуска, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другие. Доступны варианты квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. Это позволяет выбирать компромисс между размером файла, требованиями к ресурсам и качеством генерации. Точное число параметров указано как 7B; поддерживаются текстовые задачи, однако сведения о языках и размере контекстного окна в README отсутствуют. Сильными сторонами являются уменьшенный размер квантованных файлов и возможность запуска на широком спектре локальных конфигураций с поддержкой CPU и GPU через совместимые инструменты. Ограничения включают потенциальное снижение качества при использовании более агрессивного квантования, а также отсутствие в README подробных результатов оценки, описания архитектуры с дополнительными деталями и характеристик мультимодальности. Модель распространяется по лицензии Apache-2.0.

FuseChat-Gemma-2-9B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели FuseChat-Gemma-2-9B-Instruct, разработанной FuseAI и опубликованной в формате GGUF пользователем bartowski. Квантизации созданы с помощью llama.cpp версии b4273 и метода imatrix, предназначены для локального запуска и совместимы, в частности, с LM Studio. Модель относится к текстовым генеративным моделям и предназначена для диалогов, следования инструкциям и других сценариев генерации текста. Указан размер базовой модели — 9 миллиардов параметров; поддерживаемые модальности, языки и размер контекста в README не описаны. Для работы используется специальный шаблон промпта с маркерами Gemma для ролей пользователя и модели. Доступны варианты от F32 и F16 до квантизаций Q8, Q6, Q5, Q4 и Q3, а также IQ-форматы, что позволяет выбирать между качеством, размером файла и требованиями к памяти. В README рекомендуются, среди прочих, Q6_K_L, Q6_K, Q5 и Q4 варианты; некоторые сборки оптимизированы для ARM или AVX, а отдельные требуют аппаратной поддержки i8mm или sve и не предназначены для Mac. Более компактные варианты экономят память, но могут снижать качество генерации. Лицензия в предоставленных данных не указана.

bartowski/gemma-2-27b-it-GGUF — это набор GGUF-квантизаций инструкционно дообученной текстовой модели Google Gemma 2 27B IT, подготовленный bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы пользователя, при запуске через llama.cpp и совместимые инструменты. В README не указаны поддерживаемые языки, максимальный размер контекста и дополнительные модальности, поэтому модель следует считать текстовой. Доступны варианты от F32 размером 108,91 ГБ до низкобитных Q2 и IQ2 размером около 9,40 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6 и Q5 сохраняют очень высокое или высокое качество, а Q4 ориентированы на более экономное использование памяти. Низкобитные варианты требуют меньше ресурсов, но снижают качество и могут быть менее стабильными. Модель не поддерживает системный промпт; для диалогов необходимо использовать указанный в README формат ролей Gemma. Для доступа к исходной модели на Hugging Face требуется принять лицензию Google Gemma. README не содержит полного текста лицензии, поэтому перед использованием необходимо ознакомиться с её условиями и проверить их применимость к конкретному сценарию.

ThomasBaruzier/gemma-2-27b-it-GGUF — это набор GGUF-квантизаций instruction-tuned модели Gemma 2 27B, разработанной Google. Квантизации выполнены с помощью llama.cpp с использованием метода imatrix на основе оригинальной модели google/gemma-2-27b-it и калибровочного файла Bartowski. Модель предназначена для текстовой генерации, включая ответы на вопросы, суммаризацию, рассуждения и другие сценарии взаимодействия по инструкциям. Это decoder-only языковая модель формата text-to-text с открытыми весами; в README указана поддержка английского языка. Доступно множество вариантов квантизации от IQ1_S до Q8_0, а также F16, с размером файлов примерно от 5,8 до 51,9 ГБ. Более компактные варианты требуют меньше памяти, но уступают менее квантизированным версиям по измеренным показателям perplexity и accuracy. Сильной стороной набора является возможность запускать крупную 27-миллиардную модель в llama.cpp и выбирать компромисс между качеством, размером и требованиями к ресурсам. Ограничения включают потенциальную потерю качества при сильной квантизации, значительные требования к памяти для крупных вариантов и преимущественную ориентацию на английский язык. Контекстное окно и точные аппаратные требования в README не указаны. Использование модели регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию Google.

ByteOtter Gemma-4-E4B-IT-TAK-Reasoning-GGUF — это текстовая генеративная модель в формате GGUF, созданная ByteOtter на основе instruction-модели google/gemma-4-E4B-it. Модель предназначена для запуска с помощью llama.cpp и ориентирована прежде всего на задачи рассуждения, а также на генерацию текста, ответы на вопросы, следование инструкциям, математические и структурированные задачи. Это квантованный вариант со смешанной точностью размером 3,236 ГБ. Квантование выполнено в рамках фиксированного ограничения на размер; дообучение, слияние весов, замена токенизатора и шаблона чата не проводились. Репозиторий содержит только текстовую версию без компонентов для обработки изображений и аудио. В заявленном тестировании модель получила 69,53% в категории рассуждений и превзошла сопоставимый низкобитный вариант Unsloth на 14,06 процентного пункта, однако уступила исходной BF16-модели 2,34 пункта. Сильной стороной модели является ориентация на рассуждения при существенно меньшем размере по сравнению с исходной BF16-версией, что может упростить локальный запуск. Результаты для других задач являются диагностическими и не гарантируют качество в прикладных сценариях; квантование может влиять на ответы, точность и стабильность в зависимости от запросов и среды выполнения. Модель распространяется по лицензии Apache License 2.0 с учетом лицензии и атрибуции базовой модели.

Granite-Embedding-English-R2 — плотная двусторонняя модель эмбеддингов из семейства Granite Embeddings, разработанная командой Granite Embedding Team компании IBM. Модель на архитектуре ModernBERT содержит 149 млн параметров и преобразует текст в векторы размерности 768; максимальная длина контекста — 8192 токена. Для работы с моделью используются PyTorch и Sentence Transformers. Модель предназначена для поиска и извлечения информации: она кодирует запросы, passages и документы в векторы, которые можно сравнивать, например, по косинусному сходству. Подходит для семантического поиска, оценки сходства предложений и поиска по длинным документам, коду, таблицам и многоходовым диалогам. Обучение включало предобучение для задач поиска, контрастивное дообучение, дистилляцию и объединение моделей; разработчики сообщают о результатах на наборах BEIR, MTEB, CoIR, MLDR и других. Модель рассчитана на английский текст. Тексты длиннее 8192 токенов обрезаются. Распространяется по лицензии Apache 2.0.