II.4Отладка, тестирование и качество ПО

Aldaris/Qwen3-14B-Q4_K_M-GGUF — это квантизированная версия базовой модели Qwen/Qwen3-14B, преобразованная в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и запуска локально через llama.cpp, включая режим командной строки и серверный режим. Модель содержит 14 миллиардов параметров и использует квантизацию Q4_K_M, что уменьшает требования к памяти по сравнению с полной версией модели, но может снижать точность и качество генерации. В README указана текстовая модальность и поддержка запуска на Mac, Linux и оборудовании с аппаратным ускорением, включая Nvidia GPU; сведения о языках, архитектурных особенностях и максимальной длине контекста не приведены. В качестве примера запуска указан контекст размером 2048 токенов, однако это не обязательно максимальное значение модели. Модель подходит для локальных чат-сценариев, генерации текста и интеграции в приложения через llama.cpp. Лицензия указана как Apache 2.0; подробные характеристики и ограничения следует уточнять в карточке исходной модели Qwen/Qwen3-14B.

Aldaris/Qwen3-4B-Q4_K_M-GGUF — это версия языковой модели Qwen3-4B, преобразованная в формат GGUF с помощью llama.cpp через сервис GGUF-my-repo проекта ggml.ai. В README разработчик репозитория не раскрыт; указано только, что модель создана на основе Qwen/Qwen3-4B. Модель предназначена для генерации текста и может использоваться локально через llama.cpp, включая режим командной строки и серверный режим. Известно, что это текстовая модель с размером 4B параметров в квантизованном формате Q4_K_M. Поддерживаемые модальности ограничены текстом; сведения о языках и исходном размере контекста в README не приведены. В качестве примера серверного запуска указано окно контекста 2048 токенов, однако это параметр запуска, а не обязательно максимальный контекст модели. Ключевое преимущество модели — возможность локального запуска в компактном GGUF-представлении с использованием llama.cpp, что подходит для инференса на совместимом пользовательском оборудовании. Ограничения и подробные характеристики унаследованной Qwen3-4B модели в данном README не описаны. Для использования указана лицензия Apache-2.0.

RobinsonLabs/Qwen3.5-122B-A10B-abliterated-GGUF — набор квантизированных моделей в формате GGUF на базе Qwen/Qwen3.5-122B-A10B. Модель разработана Robinson Labs методом abliteration и предназначена для генерации и обработки текста в совместимых локальных runtime. Базовая архитектура — MoE qwen35moe с 122 млрд параметров и бюджетом около 10 млрд активных параметров на токен. В сборке сохранён Multi-Token Prediction (MTP/NextN), поэтому совместимые runtime могут использовать спекулятивное декодирование. Доступны варианты с разными уровнями квантизации и размером файлов. Это текстовая модель: vision tower из исходного чекпойнта в GGUF не включена, поэтому обработка изображений не поддерживается. Языки и размер контекстного окна в README не указаны. Ключевая особенность версии — снижение склонности к отказам в запросах для взрослого и творческого контента при заявленном сохранении возможностей модели. При этом защитные механизмы для запросов, связанных с самоповреждением, и другие ограничения безопасности, по данным автора, сохранены. Ограничениями являются высокая требовательность к вычислительным ресурсам из-за полного размера модели, отсутствие мультимодальности и зависимость от поддержки GGUF и MTP конкретным runtime. Модель помечена как не предназначенная для всех аудиторий, а ответственность за использование возложена на пользователя. Лицензия наследуется от базовой модели и указана как Apache-2.0.

voodooquant/Qwen3.5-2B-MTP-Voodoo — это GGUF-квантизированная версия базовой мультимодальной модели Qwen3.5-2B-Base, созданная Voodoo Quant. Модель предназначена для исследовательских и прикладных сценариев, связанных с обработкой текста и изображений, включая мультимодальное понимание, рассуждения, программирование и агентские задачи. Базовая модель рассчитана преимущественно на дообучение, эксперименты с in-context learning и разработку, а не на непосредственное диалоговое использование без дополнительной настройки. Модель представляет собой причинную языковую модель с vision encoder, объединяющую Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention. Она содержит около 2 млрд параметров, 24 слоя, скрытую размерность 2048 и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Архитектура обучалась с использованием multi-step training (MTP). Квантизация Voodoo Quant выбирает уровни сжатия отдельно для разных тензоров; заявлено снижение perplexity до 89% по сравнению с обычными схемами квантизации. Чекпойнты работают в неизменённом Llama.cpp и не являются дообученными версиями исходной модели. Сильными сторонами являются мультимодальность, большой контекст, относительно компактный размер и оптимизация GGUF для эффективного локального запуска. Ограничения включают необходимость учитывать особенности конкретного уровня квантизации, а также то, что README не приводит подробных количественных результатов, требований к памяти и аппаратных рекомендаций. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3.6-27B-MLX-4bit — 4-битная квантованная версия модели Qwen3.6-27B, разработанной Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на устройствах с Apple Silicon. Модель предназначена для задач генерации текста и обработки связок изображение—текст, включая сценарии локального запуска через совместимые инструменты. В карточке указана принадлежность к классу image-text-to-text, однако подробные сведения о поддерживаемых языках, размере контекстного окна и полном наборе мультимодальных возможностей не приведены. Ключевая особенность модели — 4-битное представление, снижающее требования к памяти по сравнению с полноформатной версией и подходящее для локального использования на Apple Silicon. Ограничения включают возможную потерю качества из-за квантования, а также отсутствие в предоставленных данных конкретных результатов тестирования и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Abliterix-EGA-abliterated-i1-GGUF — набор квантованных GGUF-файлов модели, созданный mradermacher на основе jenerallee78/Qwen3.6-35B-A3B-Abliterix-EGA-abliterated. Модель относится к семейству Qwen и использует MoE-архитектуру с заявленным размером 35B параметров и 3B активных параметров; в описании также указаны Expert-Granular Abliteration и мультимодальная поддержка. Модель предназначена для диалоговых сценариев, генерации и обработки текста, а также задач image-text-to-text с анализом изображений. Заявлены английский и китайский языки. Распространяется в формате GGUF с множеством вариантов квантования от очень компактных IQ1 до более качественных Q6_K; доступны imatrix-кванты, а для баланса размера, скорости и качества автор рекомендует i1-Q4_K_M, тогда как i1-Q4_K_S обозначен как оптимальный по соотношению характеристик. К сильным сторонам относятся локальный запуск через совместимые с GGUF инструменты, широкий выбор вариантов квантования и мультимодальные возможности исходной модели. Ограничения включают возможное снижение качества на низких уровнях квантования, отсутствие в предоставленных данных сведений о размере контекста, производительности и результатах бенчмарков, а также особенности abliterated-версии, которые могут влиять на поведение модели и безопасность ответов. Лицензия — AGPL-3.0.

FreedomAISVR выпустила GGUF-квантизацию модели Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled, дообученной на базе Qwen/Qwen3.6-35B-A3B с дистилляцией рассуждений Claude 4.7 Opus. Это текстовая MoE-модель для диалогов и генерации ответов; архитектура использует 35 млрд параметров, около 3 млрд из которых активны на токен. Контекст составляет 262 144 токена, поддержка изображений отсутствует. Эксперты квантизированы в MXFP4, остальные веса — в Q8_0, веса маршрутизатора хранятся в F32; файл GGUF занимает около 18,87 ГБ. Модель можно запускать через llama.cpp, например как сервер для диалогового приложения. Лицензия — Apache 2.0.

SassyDiffusion/Qwen3.6-35B-A3B-heretic-GGUF — это набор GGUF-квантизаций языковой модели Qwen3.6-35B-A3B, подготовленный для локального запуска. Исходную модель разработала команда Qwen, а данная версия создана на базе llmfan46/Qwen3.6-35B-A3B-uncensored-heretic с использованием Heretic 1.2.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA). Модель предназначена для генерации и обработки текста, включая сценарии, где требуется меньше отказов и ограничений по сравнению с оригинальной версией Qwen3.6-35B-A3B. Модель имеет конфигурацию 35B-A3B; точные сведения об архитектуре, размере активируемой части, длине контекста и поддерживаемых языках в README не указаны. Репозиторий содержит варианты EMB_BF16, в которых таблица token_embd.weight сохраняется без квантизации в формате BF16. Эти embeddings хранятся в системной RAM и не занимают VRAM, что может повысить точность при наличии достаточного объёма оперативной памяти, хотя увеличивает требования к RAM. По заявленным результатам версия демонстрирует 10 отказов из 100 против 83 из 100 у оригинальной модели при KL-дивергенции 0,0015, то есть сохраняет близкое поведение исходной модели при значительно меньшем числе отказов. Ограничением является отсутствие подробных данных о качестве на широком наборе задач, языках и контекстном окне, а также повышенные требования к оперативной памяти для EMB_BF16-квантизаций. В метаданных указана лицензия Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, опубликованная HauhauCS. Модель распространяется в формате GGUF и предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео через отдельный vision-проектор. Указаны языки English, Chinese и multilingual, однако точный перечень поддерживаемых языков не приведён. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Встроенная поддержка MTP/NextN сохранена, а профиль HauhauCS FastMTP предназначен для ускорения генерации; заявлены преимущества в скорости для документных и reasoning-сценариев. Для изображений и видео требуется отдельный BF16 vision-проектор. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказов, что может быть полезно для задач, где важны быстрота и непрерывность генерации. Это одновременно является ограничением: README рекомендует для надёжной работы с длинным контекстом и агентскими задачами сбалансированный вариант, если он доступен. Модель не вносит изменений в датасеты или заявленные возможности базовой Qwen3.8-27B, но применяет профиль «uncensored». Доступны различные уровни квантизации, включая пользовательские K_P и IQ-варианты, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Лицензия — Apache-2.0.

valiolla/Qwen3.8-4B-Distill-heretic — версия Qwen3.8-4B с ослабленным отказом от ответов, созданная на основе модели Empero AI с помощью Heretic v1.4.0. Это плотная языковая модель с 4 млрд параметров в формате Transformers; она представляет собой полнопараметрическое дообучение Qwen/Qwen3.5-4B методом дистилляции на выборке ответов более крупной модели Qwen3.8. Модель рассчитана на диалог, следование инструкциям, рассуждения и вызов функций; в README отдельно выделены математика и общие рассуждения. Заявленная длина контекста — 262 144 токена. В сравнении с исходной Qwen3.8-4B доля отказов в приведённом тесте снизилась с 99 до 24 из 100, а KL-дивергенция составила 0,0109. Тонкая настройка ориентирована на текст; поведение с изображениями унаследовано от мультимодальной базовой архитектуры, но не оценивалось. Для запуска требуются актуальная версия Transformers с поддержкой Qwen3.5 и CUDA-совместимые ядра Gated DeltaNet; без них генерация может быть медленнее и требовать больше памяти. В README также отмечены риск циклов повторения при жадном декодировании длинных ответов и снижение результата на GSM8K относительно базовой модели. Лицензия — Apache-2.0; авторы предоставляют веса «как есть» для исследований и экспериментов.

Qwen3.8-9B-Distill-uncensored-heretic-GGUF — GGUF-квантизированная версия модели Qwen3.8-9B-Distill, подготовленная пользователем petruhonk на базе empero-ai/Qwen3.8-9B-Distill. Модель подвергнута «abliteration» с помощью Heretic v1.4.0 для снижения числа отказов при ответах на запросы, которые исходная модель отклоняет. Она предназначена для генерации текста, диалоговых приложений, агентских сценариев и функционального вызова инструментов через llama.cpp. Модель содержит 9 млрд параметров, 33 блока и сохранённую MTP-голову для speculative decoding с режимом draft-mtp. В репозитории опубликованы только текстовые веса в формате GGUF, предположительно с квантизацией Q8_0; для запуска с мультимодальными возможностями необходим отдельный файл mmproj. Исходная архитектура поддерживает изображения и видео, однако данный репозиторий не содержит соответствующих компонентов. Встроенный шаблон чата поддерживает tools и <tool_call>, а пример запуска рассчитан на контекст до 32768 токенов. К сильным сторонам относятся сохранённая MTP-голова, совместимость со speculative decoding и существенно меньшее число отказов по сравнению с исходной моделью: 6 из 100 против 100 из 100 в указанном тесте. Ограничения включают неполную мультимодальную поставку, зависимость качества и потребления памяти от выбранной квантизации, а также возможные изменения поведения из-за abliteration; показатель KL-дивергенции относительно исходной модели составляет 0,0306. Модель распространяется по лицензии Apache-2.0.

Карточка модели willhx/Qwen3-8B-Base-Math на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Карточка модели freedom-signal/Qwen3-Embedding-0.6B-f16 на Hugging Face совпадает с карточкой unsloth/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — текстовая модель эмбеддингов семейства Qwen3, представленная в репозитории Unsloth и основанная на Qwen/Qwen3-0.6B-Base. Это плотная архитектура с 507,6 млн параметров и контекстом до 32 768 токенов. Модель преобразует текст в векторы размерностью от 32 до 1024 и позволяет задавать инструкцию для конкретной задачи. Модель предназначена для семантического поиска и извлечения текстов, сравнения предложений, классификации и кластеризации текста, поиска по коду и межъязыкового сопоставления. Она поддерживает более 100 языков, включая языки программирования, и рассчитана на многоязычные и межъязыковые сценарии. Лицензия — Apache-2.0. Карточка описывает всю серию Qwen3 Embedding, поэтому приведённые в ней лидерские результаты относятся к модели 8B, а не подтверждают такие же результаты для версии 0.6B. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку распознавания архитектуры Qwen3.

Qwen3-Next-80B-A3B-Thinking-4bit — языковая модель для генерации текста, опубликованная сообществом mlx-community. Она представляет собой конвертированную в формат MLX версию базовой модели Qwen/Qwen3-Next-80B-A3B-Thinking; конвертация выполнена с использованием mlx-lm версии 0.27.1. Модель предназначена для запуска и генерации текста в экосистеме MLX, в частности через библиотеку mlx-lm на совместимых системах. Из известных характеристик указаны размер исходной модели 80B и 4-битное квантование, обозначенное в идентификаторе модели. Название Thinking указывает на ориентированность исходной модели на задачи, требующие рассуждений, однако README не содержит подробностей об архитектуре, количестве активных параметров, языках, размере контекста, поддерживаемых модальностях или результатах тестирования. В README также не описаны конкретные сильные стороны и ограничения качества модели; практические характеристики зависят от среды MLX и доступных вычислительных ресурсов. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README приводит пример загрузки модели, токенизатора и генерации ответа с поддержкой chat template, если он определён.

Alcoft/Qwen_Qwen3-4B-Thinking-2507-GGUF — это GGUF-квантизированный вариант языковой модели Qwen3-4B-Thinking-2507, разработанной командой Qwen. Модель предназначена для генерации текста и сценариев, требующих рассуждений, включая работу с локальными приложениями и системами, поддерживающими формат GGUF. В репозитории представлены варианты квантизации от Q2_K до Q8_K с размером файлов примерно от 1,38 до 3,99 ГБ. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5_K_M, Q6_K и близкие к ним конфигурации: они обеспечивают приемлемое или высокое качество при меньших требованиях к памяти. Самые лёгкие варианты Q2 и Q3 характеризуются низким качеством и в README не рекомендуются. Некоторые варианты используют повышенную точность Q8_0 или F16 для выходных и embedding-слоёв. Модель относится к text-generation и предоставляет только текстовую модальность. Данные о точной архитектуре, размере контекста и поддерживаемых языках в представленном README не указаны. Основные ограничения связаны с потерей качества при сильной квантизации и зависимостью результата от выбранного варианта. Указана лицензия Apache-2.0.

JetLM/SDAR-4B-Chat — диалоговая языковая модель семейства SDAR, разработанная авторами SDAR. Архитектура SDAR объединяет авторегрессионное обучение с дискретным диффузионным моделированием: по заявлению авторов, это сочетает эффективное обучение с параллельным выводом. Репозиторий содержит плотную модель на 3,7 млрд параметров в формате safetensors с контекстом до 32 768 токенов. Модель предназначена для генерации ответов в диалоге и других задач генерации текста; в метаданных также заявлен интерфейс для вызова инструментов. Авторы сообщают о результатах на уровне сильных авторегрессионных моделей сопоставимого масштаба и о преимуществах на отдельных задачах научного рассуждения, однако приведённые в README утверждения относятся к семейству SDAR и сами по себе не подтверждают конкретные результаты этой версии 4B Chat. Поддерживается библиотекой Transformers. Лицензия Apache-2.0.

smartyplats-7b-v2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и vihangd/smartyplats-7b-v2 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и сообщения в диалоге. Модель принимает текст и выдаёт текст; её контекст составляет до 32 768 токенов. В карточке указаны формат safetensors и лицензия Apache-2.0. README описывает схему слияния, но не приводит отдельные результаты оценки качества или специализированные области применения.

StrangeMerges_21-7B-slerp — слитая языковая модель на архитектуре Mistral, созданная Gille с помощью LazyMergekit. Она объединяет StrangeMerges_20-7B-slerp и NeuTrixOmniBe-7B-model-remix методом SLERP; веса представлены в формате safetensors и имеют точность bfloat16. Модель предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель может использоваться для диалога, написания и продолжения текстов, а также решения задач на рассуждение. В README приведены результаты Open LLM Leaderboard, включая оценки AI2 Reasoning Challenge и HellaSwag. Метаданные не задают конкретные языки или специализированные области применения. Лицензия — Apache-2.0.

Tralalabs_Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Tralalabs/Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-FP16. Исходная модель связана с семейством Qwen3 и обучена с использованием набора данных TeichAI/claude-haiku-4.5-1700x; квантизацию выполнил bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель содержит около 4 миллиардов параметров, поддерживает текстовый ввод и вывод, а в метаданных указан английский язык. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и Q4-квантизаций; размеры файлов составляют примерно от 2,36 до 8,05 ГБ. В README приведён формат шаблона чата на основе специальных токенов Qwen. Контекстное окно, точный набор поддерживаемых языков и результаты сравнительных оценок не указаны. Основное преимущество модели — выбор вариантов квантизации, позволяющий адаптировать качество и требования к памяти, причём Q6_K и Q6_K_L отмечены как варианты очень высокого качества, а Q4_K_M — как типичный вариант для большинства сценариев. Более сильное сжатие уменьшает потребление памяти, но может снижать качество генерации. Для запуска требуется совместимое программное обеспечение с поддержкой данной архитектуры; для новых моделей иногда необходимо обновление используемого инструмента. Лицензия — Apache-2.0.

TroyDoesAGI — экспериментальная плотная языковая модель на архитектуре Mistral с 15 млрд параметров и контекстом до 32 768 токенов, созданная независимым разработчиком TroyDoesAI. Модель предназначена для генерации текста по инструкциям и ответов с опорой на предоставленный контекст, в том числе для сценариев RAG. В карточке описан специальный формат контекстного запроса с разделителями для входных блоков, метаданных и инструкций. Обучение включало набор инструкций по Python, вручную подготовленные графы знаний и данные персонального помощника; автор экспериментировал с прореживанием, абляциями и учебными последовательностями. Модель распространяется в формате safetensors по лицензии CC BY-ND 4.0. Автор сообщает о хорошей привязке к контексту и следовании инструкциям, но это не сопровождается формальной оценкой; результат зависит от формата запроса и качества контекста.

Yi-1.5-9B-Chat-GGUF — квантизированная GGUF-версия чат-модели Yi-1.5-9B-Chat, разработанной 01-ai и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая запуск в локальных приложениях и сервисах на базе LlamaEdge. Модель относится к архитектуре Yi и содержит около 9 миллиардов параметров. Она работает с текстом, использует шаблон запросов ChatML и поддерживает контекст размером до 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; размеры файлов составляют примерно от 3,35 до 17,7 ГБ. В README рекомендуются варианты Q4_K_M, Q5_K_M и Q5_K_S как сбалансированные по качеству и размеру. Ключевое преимущество модели — возможность локального запуска при существенно меньших требованиях к памяти по сравнению с полноразмерной версией, особенно при использовании низко- и среднебитных вариантов. При этом сильная квантизация может заметно снижать качество генерации, а варианты Q2_K и Q3_K имеют значительные потери качества. Языки, специальные возможности и результаты сравнительных тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

32B-Qwen2.5-Kunou-v1-GGUF — это набор квантизированных моделей для генерации текста, созданный пользователем bartowski на основе Sao10K/32B-Qwen2.5-Kunou-v1. Модель предназначена для диалогов и других сценариев текстовой генерации; в README приведён шаблон промпта в формате ChatML с ролями system, user и assistant. Модель имеет размер 32B параметров и поставляется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до низкоразрядных Q2 и IQ-квантизаций объёмом примерно от 13 до 66 ГБ. Старшие варианты сохраняют более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству; для большинства сценариев рекомендуются варианты Q4_K_M, Q5 или Q6. Сведения о поддерживаемых языках, максимальном контексте и мультимодальности в README не указаны. К преимуществам относятся широкий выбор квантизаций, возможность локального запуска и использование imatrix-квантизации, направленной на сохранение качества. Ограничения зависят от выбранного варианта и доступных аппаратных ресурсов; низкоразрядные сборки имеют более низкое качество, а полноразмерная F16-версия требует значительного объёма памяти. Лицензия указана как qwen и other; в README приведена ссылка на лицензию Qwen/Qwen2.5-32B-Instruct.

Это GGUF-квантизованная версия языковой модели AI21-Jamba2-Mini, разработанной AI21 Labs и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README не указаны точные архитектурные характеристики, число параметров, поддерживаемые языки и размер контекста. Доступны варианты от BF16 до различных уровней квантования, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, с размером файлов примерно от 21 до 103 ГБ; выбор варианта позволяет балансировать качество и требования к памяти. Для работы используется заданный формат prompt с системным сообщением, запросом пользователя и ответом ассистента. Сильной стороной является широкий выбор квантованных вариантов: старшие варианты обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом RAM, но дают более низкое качество. Некоторые форматы требуют актуальной версии программного обеспечения с поддержкой модели. Лицензия — Apache 2.0.

airoboros-c34b-2.1 — созданная jondurbin модель Llama 2 с дообучением на синтетических инструкциях airoboros. Это плотная авторегрессионная модель на 33,5 млрд параметров для генерации ответов, диалогов и длинных текстов; заявленная длина контекста — 16 384 токена. В карточке описаны сценарии ответов по предоставленному контексту, программирования, планирования выполнения задач и генерации текста в заданном стиле или от лица персонажа. Модель ориентирована на англоязычные инструкции и поддерживает многоходовые диалоги, ролевые сценарии и продолжение глав. README предупреждает об ошибке форматирования промптов в обучающем коде, из-за которой модель работает некорректно; при генерации она также может продолжить диалог за пользователя, поэтому рекомендуется останавливать генерацию на маркере USER:. Доступны веса PyTorch, лицензия указана как llama2.

ALLaM-7B-Instruct-preview-GGUF — это набор GGUF-квантизаций инструкционной языковой модели ALLaM-7B-Instruct-preview, разработанной ALLaM-AI и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций, включая арабские и англоязычные сценарии. Доступен запуск через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Модель содержит около 7 миллиардов параметров; README не уточняет её архитектуру, максимальную длину контекста, формат промптов и дополнительные модальности, поэтому она описывается как текстовая. Набор включает варианты от BF16 до Q3 и IQ3-квантизаций с размерами примерно от 3,11 до 14 ГБ. Варианты Q6 и Q5 отмечены как обеспечивающие очень высокое или высокое качество, а Q4 — как оптимальные для большинства сценариев по соотношению качества и размера. Основные преимущества — поддержка локального запуска, широкий выбор квантизаций и возможность подобрать вариант под доступную оперативную память. Более агрессивные квантизации уменьшают требования к памяти, но могут снижать качество генерации; некоторые форматы имеют статус legacy или не рекомендуются. Модель распространяется по лицензии Apache-2.0.

Bamba-9B-v2 — базовая авторегрессионная языковая модель IBM AI Platform для генерации текста. Она построена на гибридной архитектуре Mamba-2 и Transformer с декодерной архитектурой и выпущена под лицензией Apache 2.0. В метаданных указано 7,5 млрд параметров; README приводит для семейства Bamba конфигурацию 9B (9,78B), 32 слоя и размер скрытого состояния 4096. Модель обучена дополнительно на 1 трлн токенов относительно Bamba v1; в карточке заявлено превосходство над Llama 3.1 8B по результатам L1 и L2 лидербордов. Модель предназначена для широкого круга задач генерации текста. Метаданные указывают контекст до 262 144 токенов, тогда как таблица README для Bamba приводит 4096 токенов; фактическое ограничение зависит от доступного чекпойнта и конфигурации. Репозиторий содержит веса Safetensors. Для запуска нужны PyTorch и дополнительные зависимости для Mamba; описанная поддержка llama.cpp предварительная, ограничена CPU, а квантование llama.cpp может заметно ухудшать качество.

BLOSSOM-v3.1-baichuan2-7b — диалоговая языковая модель, разработанная на основе Baichuan2-7B-Base и дообученная командой BLOSSOM на смеси наборов инструкций Orca, Wizard, Chat и Math. Модель имеет плотную архитектуру Baichuan с 7 млрд параметров и контекстное окно 4096 токенов; она принимает текст и генерирует текст в формате продолжения диалога. Модель предназначена для ответов на вопросы, выполнения инструкций, многоходового диалога и математических рассуждений на китайском и английском языках. Обучение проходило в два этапа: сначала на одношаговых инструкциях Wizard и Orca, затем на математических примерах и многотуровых диалогах Blossom Chat. Лицензия — Apache-2.0.

Cygnis Alpha 2 (8B) v0.3 i1 GGUF — квантизированная GGUF-версия модели Cygnis-Alpha 2 8B v0.3, разработанная автором или организацией Simonc-44. Модель относится к семейству Llama 3.1 и оптимизирована для генерации текста, рассуждений и задач, где требуется сохранение сложных паттернов цепочки рассуждений (CoT). Модель предназначена для локального вывода через llama.cpp, Ollama и совместимые инструменты. Она ориентирована на английский и французский языки. Вариант i1 использует оптимизацию Imatrix, призванную повысить качество низкобитной квантизации; доступны, в частности, варианты Q6_K размером около 6,7 ГБ и рекомендуемый Q4_K_M размером около 5,0 ГБ. Архитектура, заявленный размер около 8B параметров и текстовая модальность указаны в README, но размер контекстного окна не приведён. Сильными сторонами являются локальный запуск, поддержка французского и английского языков, а также направленность на рассуждения при сниженной потребности в памяти благодаря квантизации. Ограничения включают возможную потерю качества по сравнению с полной точностью и отсутствие в предоставленных данных количественных результатов тестирования, подробных сведений об архитектуре и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия conversational-модели datagemma-rig-27b-it, исходно разработанной Google. Релиз подготовлен пользователем legraphista с применением llama.cpp и предназначен для локального запуска и генерации текста в диалоговых сценариях. В основе лежит модель размером 27 млрд параметров в формате BF16; исходная карточка указывает текстовую генерацию, но не сообщает поддерживаемые языки и размер контекстного окна. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая форматы IQ. Квантизация позволяет выбирать компромисс между качеством, размером файла и требованиями к памяти: размеры файлов варьируются примерно от 10,45 до 54,46 ГБ. Для ряда вариантов применена IMatrix-квантизация, рассчитанная на сохранение качества при уменьшенной точности; BF16, FP16, Q8_0 и Q6_K используют статические варианты без IMatrix. Модель предназначена для работы через llama.cpp и совместимые инструменты, однако конкретные системные требования и показатели качества в README не указаны. Использование регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется принять условия лицензии. Ограничения, связанные с безопасностью, точностью ответов и конкретными сценариями применения исходной модели, в представленных данных не описаны.

Andromeda-70B-GGUF — это квантизированная версия языковой модели Andromeda-70B, разработанной ddh0. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с форматом GGUF, включая LM Studio, llama.cpp и другие проекты на его основе. Модель имеет заявленный размер 70B параметров и поддерживает несколько вариантов квантизации — от Q8_0 до Q2 и IQ-серий. Размер файлов варьируется примерно от 22 до 75 ГБ, поэтому можно выбирать между качеством ответов и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми указаны варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_L и Q4_K_M; варианты с более низкой разрядностью экономят память, но заметно уступают по качеству. В README приведён специальный шаблон приглашений с системными и пользовательскими сообщениями, а также датами отсечения знаний: декабрь 2023 года для базы знаний и 26 июля 2024 года как текущая дата шаблона. Архитектура, поддерживаемые языки, размер контекстного окна, результаты тестирования и лицензия не указаны. Условия использования следует уточнять по исходной модели ddh0/Andromeda-70B и соответствующим материалам проекта.