II.3Рефакторинг, миграция и модернизация

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это GGUF-квантизированная версия языковой модели NVIDIA Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA и подготовленной для запуска с llama.cpp. Квантизацию выполнил bartowski с использованием imatrix. Модель предназначена для генерации текста и поддерживает только текстовый ввод; заявленное количество параметров — 33 млрд. Вариант включает поддержку MTP. Модель подходит для локального запуска и задач текстовой генерации, включая диалоговые сценарии при использовании рекомендованного шаблона промпта. Доступны варианты квантизации от BF16 и Q8_0 до более компактных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. В README рекомендуются Q4_K_M как сбалансированный вариант, а также варианты Q5 и Q6 для более высокого качества. Заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков. Ограничения модели включают отсутствие мультимодального ввода и неизвестный из предоставленных данных размер контекстного окна. Более сильное сжатие уменьшает требования к памяти, но может снижать качество по сравнению с BF16 и вариантами с более высокой точностью. Модель распространяется по лицензии openmdw-1.1; в README она обозначена как license: other, с дополнительной ссылкой на условия лицензии.

Карточка модели mayflowergmbh/occiglot-7b-it-en-instruct-hf на Hugging Face совпадает с карточкой occiglot/occiglot-7b-it-en-instruct, поэтому описание составлено по ней. Occiglot-7B-it-en-Instruct — генеративная языковая модель Occiglot Research Collective, дообученная следовать инструкциям и поддерживать диалог. Это плотный decoder-only трансформер Mistral с 7,1 млрд параметров; модель принимает текст и имеет контекст до 32 768 токенов. Карточка описывает поддержку английского и итальянского языков, а также кода; обучение включало многоязычные и программные инструкции, а взаимодействие рассчитано на шаблон ChatML. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, генерации текста и помощи с кодом на английском и итальянском. Это ранний выпуск исследовательского проекта, обученный на дополнительных инструкционных данных; приведённые оценки названы предварительными, а неанглоязычные результаты ограничены особенностями тестовых наборов. Модель не прошла safety alignment и может выдавать проблемный контент. Лицензия — Apache 2.0.

Ornith-1.5-9B-Uncensored-W4A16 — мультимодальная модель для задач image-text-to-text, разработанная bowmanslayer. Это квантованная версия Ornith-1.5-9B-Uncensored в формате W4A16: веса представлены в INT4, активации — в FP16. Модель ориентирована на английский и китайский языки, а также на сценарии, где требуется обработка текста и изображений. Архитектура включает 32 слоя, из которых 24 являются linear-слоями и 8 — слоями full attention; размер скрытого состояния составляет 4096. Размер квантованной модели — около 8 ГБ. Она предназначена прежде всего для запуска через vLLM с ядром gptq_marlin; поддерживается FP8 KV-кэш fp8_e5m2, который уменьшает расход памяти и позволяет эффективнее работать с длинным контекстом. Указанные в README оценки относятся главным образом к BF16-версии-источнику; для W4A16 заявлены близкие результаты в выборочных проверках. Сильными сторонами являются сохранённые возможности рассуждения, программирования и следования инструкциям, высокая производительность на ряде тестов, а также экономичное использование памяти благодаря гибридной архитектуре и квантованию. Ограничение модели заключается в удалении исходного safety alignment: она не содержит фильтров и защитных ограничений и может выполнять вредоносные, опасные или незаконные запросы. Поэтому ответственность за безопасное и законное применение полностью лежит на пользователе. Лицензия модели — MIT.

bunsenfeng/parti_19_full — языковая модель для генерации текста и диалогового взаимодействия, опубликованная на Hugging Face. По метаданным она относится к семейству Qwen2, содержит около 7,1 млрд параметров и предназначена для использования через библиотеку Transformers с форматом safetensors. Модель подходит для чат-ботов, генерации ответов, продолжения текста и других сценариев, где требуется autoregressive text generation. Она поддерживает контекст до 32 768 токенов, что позволяет обрабатывать относительно длинные запросы и фрагменты переписки. README не содержит сведений о разработчике, языках, обучающих данных, результатах оценки, лицензии и рекомендуемых ограничениях использования. Поэтому модель следует предварительно проверять на качество, безопасность, устойчивость к галлюцинациям и соответствие требованиям конкретного применения.

Mungert/Qwen2.5-14B-Instruct-GGUF — набор GGUF-версий инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen и опубликованной в формате GGUF пользователем Mungert. Модель предназначена для генерации текста, диалоговых сценариев и чат-приложений, включая локальный запуск через llama.cpp и системы с ограниченными ресурсами. Модель содержит 14 миллиардов параметров и работает с текстом; в карточке указана поддержка английского языка. Доступны варианты BF16 и F16, а также квантизованные версии Q4_K, Q4_K_S, Q6_K и Q8_0. Более точные варианты требуют больше памяти, тогда как Q4_K и Q4_K_S подходят для CPU и устройств с небольшим объёмом памяти, но могут уступать по точности. Указанный размер контекста и дополнительные модальности не приведены. Основные преимущества — широкий выбор форматов для разных аппаратных конфигураций и возможность локального инференса с уменьшенным потреблением памяти. Ограничения включают компромисс между качеством и требованиями к памяти при квантизации, а также отсутствие в README подробных данных о производительности, бенчмарках и поддерживаемых языках помимо английского. Модель распространяется по лицензии Apache-2.0.

MingZwhy/Qwen3-4B-W2.79-QAOPD — языковая модель Qwen3 с плотной архитектурой Qwen3ForCausalLM и 3,7 млрд параметров. Это квантизированная и доработанная дистилляцией версия Qwen/Qwen3-4B: веса представлены смешанной точностью INT1.58 и INT4 в блоках по 256, с эффективной разрядностью 2,79 бита; эмбеддинги и выходной слой — INT4, активации — INT8. Квантизация включена в чекпойнт. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики и программирования. В карточке приведены результаты на GSM8K, MATH-500, AMC23, MBPP, HumanEval и QA9; по указанным метрикам она уступает исходной версии Qwen3-4B BF16. Контекст составляет до 40 960 токенов. Для загрузки README предлагает Transformers и AutoModelForCausalLM. Модель выпущена MingZwhy под лицензией Apache-2.0. В описании бенчмарков приведены режимы оценки, но они не гарантируют аналогичного качества на других задачах; поддерживаемые языки в предоставленных данных не перечислены.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая fine-tune-модель на базе Qwen3.6-27B, разработанная в коллаборации автора модели, Nightmedia, TeichAI, armand0e и trohrbaugh при использовании Unsloth. Модель ориентирована на универсальные сценарии: следование инструкциям, решение задач, рассуждения, программирование, творческое письмо, ролевые сценарии и работу с визуальными данными. Заявлена поддержка английского и китайского языков, а также vision-возможностей; другие параметры контекста в README не указаны. Модель создана как многоэтапная fine-tune-модель с несколькими дообучениями и merge-операциями. В обучении использовались наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также собственные и сторонние датасеты и обучающие трассы. Доступны обычные и MTP GGUF-квантизации, включая NEO IMATRIX; для части выходного тензора заявлена точность 16 бит, а MTP-тензоры имеют Q8_0. По утверждению авторов, модель улучшает следование инструкциям, общий интеллект, решение задач и рассуждения, однако приведённые в README результаты не подтверждены независимыми измерениями и не должны рассматриваться как гарантированные. Для MTP-вариантов рекомендуется температура не выше 1 и отключённая репетиционная штрафная функция; при низком уровне принятия токенов следует использовать обычные кванты. Модель описана как uncensored и heretic, поэтому её поведение и фильтрация контента могут отличаться от базовой модели. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6 27B. По данным README, разработка выполнялась в сотрудничестве автора модели с Nightmedia, TeichAI, armand0e и trohrbaugh; использовались, в частности, наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель распространяется в формате GGUF, включая обычные и MTP-варианты, и предназначена для запуска на потребительском оборудовании. Модель ориентирована на широкий спектр задач: следование инструкциям, решение задач, рассуждения, программирование, творческое письмо и ролевые сценарии. Заявлена поддержка английского и китайского языков, а также возможностей vision, однако подробности о поддерживаемых входных форматах и размере контекстного окна в README не указаны. MTP-варианты используют multi-token prediction; для них рекомендуется температура не выше 1 и отключённый repetition penalty, поскольку более высокие значения могут ухудшать производительность. Все квантизации относятся к NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности. К сильным сторонам относятся заявленные улучшения следования инструкциям, общего интеллекта, решения задач и рассуждений, а также доступность вариантов для разного объёма памяти. README утверждает, что модель превосходит базовую Qwen3.6 27B в шести из семи тестов и сопоставима с ней в седьмом, но независимые результаты и подробные методики приведены недостаточно. Ограничения включают отсутствие точных сведений о контекстном окне, архитектуре vision-компонента и требованиях к памяти; для MTP-вариантов также указано, что при низком уровне принятия токенов лучше использовать обычную квантизацию. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V7-GGUF — мультимодальная модель в формате GGUF, созданная LuffyTheFox на основе HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. В модель также перенесены данные дообучения DJLougen/hermes-qwen3.5-35b-a3b-GGUF на датасете NousResearch/hermes-function-calling-v1, ориентированном на Hermes-агентов и вызов функций. Модель относится к семейству Qwen3.6, использует архитектуру Mixture-of-Experts с заявленным общим размером 35B и примерно 3B активных параметров, а также поддерживает обработку текста и изображений. В карточке указаны английский, китайский и многоязычный режимы работы, однако точный размер контекстного окна не приведён. Модель предназначена для диалогов, генерации текста и кода, агентных сценариев, вызова функций, ролевых и творческих задач, а также задач image-text-to-text. Основной заявленный акцент — отсутствие встроенных отказов и улучшение стабильности, ясности контекста и следования инструкциям с помощью метода Genesis, который, по описанию автора, выполняет численную коррекцию тензоров GGUF без переобучения. Эти заявления не подтверждены независимыми результатами оценки, поэтому качество, устойчивость и фактическая степень «uncensored» зависят от сценария использования. Для запуска требуются совместимые GGUF-инструменты и настройка распределения MoE-весов между GPU и CPU; автор приводит рекомендации для RTX 3060 с 12 ГБ видеопамяти, включая использование F16 для K/V cache и ограничение числа активных экспертов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16 — квантизированный производный вариант модели Qwen/Qwen3.8-27B, опубликованный пользователем mikeinnyc. Это не дообученная модель: дополнительное обучение не проводилось, а GPTQ-квантизация выполнена непосредственно из исходного чекпойнта BF16. Модель предназначена для генерации текста и развёртывания через Transformers и vLLM, включая сценарии с OpenAI-совместимым API и Open WebUI. Она ориентирована на запуск на Intel Arc Pro B70 с использованием vLLM XPU, speculative decoding и unquantized MTP draft path. В контролируемом тестировании на одной Intel Arc Pro B70 32 GB конфигурация G128 поддерживала контекст до 161 000 токенов с FP8 KV-кэшем. Ключевые характеристики: GPTQ INT4 с симметричной квантизацией и group size 128, без квантизации LM head и MTP-тензоров; размер загрузки составляет около 19,6 ГБ, модель хранится в пяти файлах safetensors. Сильными сторонами являются уменьшенный объём памяти по сравнению с BF16, поддержка очень длинного контекста и возможность ускорения генерации с помощью MTP. Ограничения включают зависимость от совместимой конфигурации vLLM XPU и специальных патчей для проверенного сценария на Intel Arc Pro B70; заявленные характеристики производительности относятся именно к этому окружению. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем jaromer и предназначенный для запуска через llama.cpp. Модель ориентирована на генерацию текста, диалоги и другие задачи обработки текста; доступны также варианты с поддержкой изображений, если это поддерживается базовой моделью. Уровень отказов существенно снижен с помощью метода abliteration на базе Heretic, однако полностью не устранён. Дополнительное обучение и новые обучающие данные не использовались. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, контекст до 262 144 токенов, один MTP-слой и поддержку vision. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ. Варианты с сохранённой MTP-головой поддерживают speculative decoding; также предлагаются отдельные target- и draft-файлы. Заявленные языки — английский и китайский. Сильными сторонами являются большой контекст, широкий выбор квантизаций, поддержка MTP и близкие к f16 показатели perplexity у большинства вариантов; IQ2_M заметно уступает остальным по этому измерению. Perplexity не оценивает качество рассуждений, программирования, мультиязычности или поведения отказов. Модель распространяется по лицензии Apache-2.0.

Qwen3-Max-Thinking — флагманская модель рассуждений серии Qwen3 от Qwen. Она предназначена для сложных задач, требующих глубокого многошагового анализа. В карточке отмечено, что модель масштабирует вычислительные ресурсы для обучения с подкреплением. Её можно использовать для задач, где требуется последовательное рассуждение и работа со сложными запросами. Данных о размере, поддерживаемых языках, длине контекста, лицензии и конкретных ограничениях в предоставленных материалах нет.

Qwen3-4B-Instruct-2507-GGUF — набор квантованных версий инструкционной языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модели распространяются в формате GGUF и предназначены для локального запуска. Модель относится к задачам генерации текста и диалогового взаимодействия. Она может использоваться через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В README указаны варианты от BF16 до 2-битных квантований, объёмом примерно от 1,8 до 8,05 ГБ. Для работы используется форматирование промптов с ролями system, user и assistant. Данные о точной архитектуре, поддерживаемых языках и размере контекста в README не приведены. Сильная сторона набора — широкий выбор квантований с разным компромиссом между качеством, требованиями к памяти и скоростью работы. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS; более компактные варианты экономят память, но могут заметно терять в качестве. Некоторые форматы отмечены как legacy и могут иметь особенности при запуске на отдельных архитектурах. Лицензия в предоставленном README не указана; условия использования следует уточнять в документации исходной модели Qwen/Qwen3-4B-Instruct-2507.

Ternary-Bonsai-8B-gguf — языковая модель для генерации текста, разработанная Prism ML на базе Qwen3-8B. Она предназначена для локального и встраиваемого запуска, включая сценарии on-device, через llama.cpp и совместимые инструменты. Модель распространяется в формате GGUF Q2_0 и ориентирована на задачи диалога, ответов на вопросы, рассуждений и программной интеграции. Модель содержит 8,19 млрд параметров, включая около 6,95 млрд параметров без учёта эмбеддингов, и использует 36 декодерных Transformer-блоков с GQA, архитектурой SwiGLU, RoPE и RMSNorm. Длина контекста составляет 65 536 токенов, размер словаря — 151 936 токенов. Веса квантизованы до троичного представления {-1, 0, +1} с групповым масштабированием FP16; размер рекомендуемого файла Q2_0 составляет около 2,03 GiB, или 2,18 GB. Главное преимущество модели — существенное снижение требований к памяти: примерно в 7,5 раза по сравнению с FP16 при заявленном сохранении информации для троичных весов. По приведённым бенчмаркам она показывает высокое качество среди моделей сопоставимого размера, но уступает исходной Qwen3-8B по среднему результату. Для работы с форматом Q2_0 требуется специальная ветка Prism ML для llama.cpp, поскольку поддержка этого формата ещё не включена в основную ветку проекта. Языки, на которых модель оптимизирована, в README не указаны. Лицензия — Apache 2.0.

ClankLabs Wrench-35B-A3B-Q4_K_M-GGUF — квантизированная GGUF-версия модели Wrench 35B, разработанная ClankLabs на основе Qwen/Qwen3.5-35B-A3B. Это MoE-модель с 35 млрд общих и примерно 3 млрд активных параметров, дообученная методом LoRA для агентных сценариев, вызова инструментов и функций, восстановления после ошибок, планирования и точного следования системным инструкциям. Заявлена поддержка английского языка и генерации текста. Модель ориентирована на локальное развертывание в Ollama или llama.cpp, а также на использование через Clank Gateway. Ключевые возможности включают многошаговые задачи, параллельные и составные вызовы функций, обнаружение нерелевантных запросов, соблюдение форматов инструментов и безопасное ограничение действий. Внутренний тест Clank Agentic Benchmark дал 118 из 120 баллов, а на независимом BFCL non_live/AST модель получила 82,0% — 1128 правильных ответов из 1390. Контекстное окно составляет 8192 токена и может быть расширено до 32K. Модель распространяется по лицензии Apache 2.0. Используется квантизация Q4_K_M в формате GGUF; размер файла указан примерно как 20 ГБ, при этом заявлена возможность запуска на видеокарте с 16 ГБ VRAM. Обучение проводилось на двух NVIDIA H100 80GB примерно за один час на 1252 примерах из 15 категорий. Ограничения включают преимущественную ориентацию на английский язык, зависимость качества инструментальных вызовов от среды исполнения и заметно более низкую точность в отдельных категориях BFCL, включая простые вызовы на Java и JavaScript.

Yi-1.5-34B-Chat-GGUF — это набор GGUF-квантизаций чат-модели Yi-1.5-34B-Chat, разработанной организацией 01.AI и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp версии b2854 с использованием метода imatrix и набора данных Kalomaze. Модель предназначена для генерации текста в диалоговом формате и локального запуска через совместимые инструменты, включая llama.cpp. Модель содержит около 34 миллиардов параметров; README не указывает точную архитектуру, поддерживаемые языки, размер контекстного окна или дополнительные модальности, поэтому подтверждённые характеристики ограничиваются текстовой генерацией. Доступны варианты от Q8_0 до IQ1_S размером примерно от 7,49 до 36,54 ГБ. Квантизации Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-варианты отмечены как рекомендуемые за сочетание качества и экономии памяти, тогда как самые компактные варианты обеспечивают существенно более низкое качество. Сильная сторона набора — широкий выбор уровней квантизации, позволяющий адаптировать модель к доступному объёму памяти; наиболее качественные варианты близки к исходной модели, а некоторые компактные варианты сохраняют приемлемую работоспособность при ограниченных ресурсах. Ограничения связаны с потерями качества при сильной квантизации и необходимостью использовать корректный шаблон промпта Yi-1.5-34B-Chat. Модель распространяется по лицензии Apache-2.0.

airoboros-13b-gpt4-1.4 — плотная авторегрессионная модель семейства LLaMA примерно на 12,9 млрд параметров, дообученная автором jondurbin на синтетических данных, созданных с помощью GPT-4. Это полное дообучение, а не QLoRA; модель опубликована в формате PyTorch и использует шаблон диалога Vicuna 1.1. Модель предназначена для генерации ответов в диалоге, ответов на вопросы по предоставленному контексту, написания текстов и кода. В обучающие примеры включены многоходовые беседы, ролевые диалоги, шутки, загадки и задачи по программированию на десяти языках. Контекстное окно составляет 2048 токенов; русский язык отдельно не заявлен. Автор сообщает, что модель обучали отвечать по заданному контексту и стараться ограничивать ответ его содержимым, однако это не гарантирует отсутствия выдуманных фактов. В карточке также указана настройка на ответы без отказов, в том числе на потенциально незаконные или аморальные запросы. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

jondurbin/bagel-34b-v0.2 — экспериментальная версия языковой модели, дообученная Jon Durbin на базе yi-34b-200k с помощью Bagel. Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров и контекстом до 200 000 токенов; опубликованные веса представлены в формате safetensors. Модель предназначена для диалогов и генерации текста, включая творческое письмо и ролевые сценарии. В README указано, что это версия после этапа SFT, до применения DPO; автор отмечает, что она может лучше подходить для творческих задач и ролевых диалогов, тогда как версия после DPO лучше показывает себя на бенчмарках. При дообучении использовались данные для диалогов, ответов на вопросы, рассуждений, математики, программирования, SQL, понимания прочитанного и ролевых сценариев. Для примеров применялись варианты форматов Vicuna, Llama 2, Alpaca и ChatML. Лицензия — Apache-2.0. Модель рассчитана на текстовый ввод и выдаёт текст; её поведение и качество могут зависеть от формата промпта, а карточка не содержит систематической оценки качества этой версии.

Blackthinking — текстовая генеративная модель, созданная слиянием языковых моделей методом Arcee Fusion с помощью mergekit. В качестве базовой использована Novaciano/Eurinoferus-3.2-1B, также в слияние включена cazzz307/Abliterated-Llama-3.2-1B-Instruct. Модель основана на плотной архитектуре LlamaForCausalLM и содержит 1,1 млрд параметров; файлы опубликованы в формате safetensors для Transformers. Модель предназначена для генерации текста, включая диалоговые и рассуждательные сценарии. Заявленная длина контекста — 131 072 токена. В метаданных перечислены обучающие наборы с примерами мозгового штурма, программирования и рассуждений; язык модели явно не указан. Лицензия в предоставленных данных не указана.

ByteDance-Seed_Seed-OSS-36B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. Доступны варианты от BF16 до различных форматов Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Размеры файлов составляют примерно от 16,50 до 72,31 ГБ. В README не указаны архитектура, поддерживаемые языки, контекстное окно, мультимодальность и точные сценарии применения исходной модели. Для вариантов с более сильным сжатием ожидается снижение качества, тогда как Q6 и Q5 позиционируются как высококачественные, а Q4 — как практичный компромисс для большинства случаев. Модель удобна для локального инференса на совместимом оборудовании, однако требует значительных ресурсов, особенно в вариантах BF16 и высоких разрядностей. Формат лицензии в README не указан; условия использования следует уточнять на странице исходной модели ByteDance-Seed/Seed-OSS-36B-Instruct.

Andromeda-70B-GGUF — это квантизированная версия языковой модели Andromeda-70B, разработанной ddh0. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с форматом GGUF, включая LM Studio, llama.cpp и другие проекты на его основе. Модель имеет заявленный размер 70B параметров и поддерживает несколько вариантов квантизации — от Q8_0 до Q2 и IQ-серий. Размер файлов варьируется примерно от 22 до 75 ГБ, поэтому можно выбирать между качеством ответов и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми указаны варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_L и Q4_K_M; варианты с более низкой разрядностью экономят память, но заметно уступают по качеству. В README приведён специальный шаблон приглашений с системными и пользовательскими сообщениями, а также датами отсечения знаний: декабрь 2023 года для базы знаний и 26 июля 2024 года как текущая дата шаблона. Архитектура, поддерживаемые языки, размер контекстного окна, результаты тестирования и лицензия не указаны. Условия использования следует уточнять по исходной модели ddh0/Andromeda-70B и соответствующим материалам проекта.

Это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Qwen-7B, базирующейся на модели deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Квантизации подготовлены пользователем Dhptl с использованием quant-kit 18 июня 2026 года. Модель относится к классу text-generation и предназначена для диалогов, генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Доступны варианты Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 размером примерно от 2,81 до 7,54 ГБ. Рекомендуемый вариант Q4_K_M занимает 4,36 ГБ и требует около 5,9 ГБ RAM; Q3_K_M ориентирован на системы с 8 ГБ RAM, а Q8_0 — на максимальное приближение к качеству исходной модели при потребности примерно в 9 ГБ RAM. Квантизация уменьшает размер и требования к памяти, но более агрессивные варианты могут заметно снижать качество. Для модели указан английский язык; контекст, точное число параметров архитектуры и мультимодальные возможности в карточке не раскрыты. Модель подходит для локального использования на компьютерах с ограниченными ресурсами и поддерживает работу на CPU или GPU в совместимых инструментах. Приведённые значения сохранения качества около 97–99% являются ориентировочными, а фактические результаты бенчмарков в README отсутствуют. Лицензия — MIT.

DeepSeek-V4-Flash-0731-Abliterated-DS4-Quality128 — это GGUF-квантизованная версия модели DeepSeek V4 Flash, подготовленная apetersson на основе чекпойнта apetersson/DeepSeek-V4-Flash-0731-Abliterated-FP8. Модель предназначена для локальной генерации текста и запуска через DS4 или llama.cpp, включая работу на Apple Silicon с ускорением Metal. Это MoE-модель с разреженной маршрутизацией экспертов; сведения о точном общем числе параметров, поддерживаемых языках и максимальном контексте в README не указаны. Профиль DS4 Quality128 ориентирован на сохранение качества при размещении модели в памяти 128-ГБ M1 Ultra. Размер основного GGUF-файла составляет около 95,8 GiB. В наиболее чувствительных маршрутизируемых экспертах сохранён нативный формат MXFP4, остальные эксперты используют IQ2_XXS и Q2_K, а attention-, shared-expert- и output-пути — Q8; отдельные индексатор и вспомогательные тензоры защищены в F16. Abliteration затрагивает только 36 attention-тензоров wo_b, тогда как коды и масштабы routed experts сохранены без изменений. Основное преимущество модели — ориентированная на качество квантизация и возможность запуска на совместимом локальном оборудовании. Целевой GGUF совместим с DS4 и llama.cpp для обычного inference; для DSpark speculative decoding требуются отдельные runtime-специфичные companion-файлы, которые нельзя взаимозаменять. Поддержка зависит от конкретной версии runtime: stock llama.cpp b10210 поддерживает только обычный запуск, а DSpark требует специальных сборок и изменений DeepSeek V4. Приведённые в README показатели производительности основаны на кратком smoke-тесте и не являются устойчивым бенчмарком. Лицензия модели — MIT.

DeepSeek V4 Flash — это квантизированная GGUF-версия базовой модели DeepSeek-AI DeepSeek-V4-Flash, подготовленная antirez для инференс-движка ds4. Модель предназначена для генерации текста и работы с англоязычными запросами, включая локальный запуск на системах с Apple Silicon и поддержкой Metal. Модель использует архитектуру Mixture-of-Experts (MoE). Доступны варианты с квантизацией routed experts в форматах 2-bit IQ2_XXS/Q2_K и 4-bit Q4_K, при этом важные компоненты, включая attention projections, shared experts, output head и router, сохранены в менее агрессивных форматах Q8_0, F16 или F32. Размер основных файлов составляет около 80,8 ГиБ для q2 и 153,3 ГиБ для q4. Дополнительный файл MTP размером 3,6 ГиБ обеспечивает поддержку speculative decoding и не является самостоятельной моделью. Сильной стороной сборки является уменьшение размера за счёт агрессивной квантизации экспертных блоков при сохранении точности маршрутизации и ряда ключевых компонентов. Вариант q2 рассчитан на компьютеры с 128 ГиБ оперативной памяти, а q4 — на системы с объёмом памяти от 256 ГиБ. Сборка может работать с другими инференс-движками, но гарантируется прежде всего совместимость с ds4; MTP требует специального загрузчика. В README приведён пример запуска с контекстом до 100000 токенов, однако максимальный контекст самой модели явно не указан. GGUF-файлы распространяются по лицензии MIT; авторские права на базовую модель принадлежат DeepSeek, а распространение квантизированных файлов осуществляется на условиях релиза базовой модели.

dolphin-2.8-mistral-7b-v02-GGUF — это квантизированная версия текстовой генеративной модели dolphin-2.8-mistral-7b-v02, основанной на alpindale/Mistral-7B-v0.2-hf. Исходная модель опубликована организацией cognitivecomputations, а квантизации в формате GGUF выполнены bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска совместимых LLM-приложений. Модель относится к семейству Mistral и имеет размер 7 миллиардов параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q5_0, Q4_K_M, Q4_K_S, IQ4_NL, IQ4_XS, Q4_0, Q3_K_L, Q3_K_M, IQ3_M, IQ3_S, Q3_K_S и Q2_K; их размер варьируется примерно от 2,71 до 7,69 ГБ, а качество снижается при более агрессивном сжатии. В README не указаны поддерживаемые языки, размер контекста, результаты тестирования или специальные модальности, поэтому модель следует рассматривать как текстовую. Сильная сторона модели — возможность подобрать баланс между качеством, потреблением памяти и скоростью локального запуска; для большинства сценариев рекомендуется вариант Q6_K, тогда как Q3 и Q2 ориентированы на системы с ограниченной оперативной памятью и заметно уступают по качеству. Ограничения включают потерю качества из-за квантизации и отсутствие данных о бенчмарках, языковой специализации и безопасностных характеристиках. Лицензия в README не указана.

Dolphin 3.0 Llama 3.2 1B — модель для диалогов и выполнения инструкций, подготовленная Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations на основе Meta Llama 3.2 1B. Это плотная авторегрессионная языковая модель семейства Llama с 1,2 млрд параметров и контекстом до 131 072 токенов; используется формат ChatML. Модель предназначена для локального применения в качестве универсального помощника: она подходит для генерации кода, решения математических задач, вызова функций и общения на общие темы. Её можно настраивать системным промптом; обучающие данные включают наборы для кода, математики, агентных инструкций и диалогов. Карточка перечисляет английский язык. Доступны веса в формате safetensors. Модель лицензирована по условиям llama3.2. Это компактная модель с существенно меньшим числом параметров, чем крупные универсальные ассистенты; карточка не содержит результатов оценивания, поэтому качество для конкретных задач не подтверждено приведёнными тестами.

Droplychee Small 1B v1 — компактная языковая модель для генерации текста, разработанная droplychee-core как дообучение GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking. Модель использует плотную архитектуру Llama и содержит 837,6 млн параметров; заявленная длина контекста — 131 072 токена. Модель подходит для диалогов, следования инструкциям и сценариев с вызовом инструментов. В качестве основы использована модель MiniCPM5, предназначенная для диалогов, вызова инструментов и программирования. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0; при дообучении использовались Unsloth и библиотека TRL.

qwp4w3hyb/gemma-2-27b-it-iMat-GGUF — это GGUF-квантизированная версия инструкционно дообученной модели Gemma 2 27B IT, разработанной Google. Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям на английском языке. В основе лежит модель Google Gemma 2 27B IT с размером 27 миллиардов параметров. Доступен широкий набор вариантов квантизации от Q8_0 до IQ1_S, включая экспериментальные типы с суффиксом _L. Для снижения потерь качества при квантизации использована importance matrix, рассчитанная на специализированном калибровочном наборе данных. Файлы подготовлены с использованием llama.cpp с учётом исправлений, связанных с финальным logit soft-capping, sliding window и токенизатором. Основное преимущество модели — выбор вариантов GGUF для запуска в llama.cpp с разным компромиссом между качеством, размером и требованиями к ресурсам; importance matrix должна улучшать сохранение качества после квантизации. Ограничения включают зависимость характеристик от выбранного типа квантизации и отсутствие в предоставленной карточке подробностей о контекстном окне, архитектурных параметрах, мультимодальности и результатах тестирования. Лицензия указана как gemma.

qwp4w3hyb/gemma-2-9b-it-iMat-GGUF — набор GGUF-квантизованных вариантов модели Google Gemma 2 9B IT, подготовленных на основе google/gemma-2-9b-it. Модель предназначена для генерации текста и локального запуска через llama.cpp; доступно множество уровней квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты с суффиксом _L. Для квантизации использовалась importance matrix (imatrix), призванная снизить потери качества по сравнению с обычной квантизацией. Модель имеет размер около 9 миллиардов параметров, поддерживает текстовый ввод и вывод и ориентирована на английский язык. В сборке учтены исправления llama.cpp, связанные с final logit soft capping, sliding window и токенизатором; конкретный размер контекстного окна в данных не указан. Разные уровни квантизации позволяют выбирать компромисс между качеством, потреблением памяти и скоростью, однако более компактные варианты могут заметнее терять качество. Лицензия указана как gemma; дополнительные условия использования в README не приведены.

K2-Horizon-MoVA-36B-A4B-ROCmFP4-GGUF — это набор квантизованных GGUF-версий reasoning-модели IFM/MBZUAI K2-Horizon-MoVA-36B-A4B, подготовленный пользователем kingjones777 для запуска на GPU AMD с поддержкой ROCmFP4/ROCmFPX. Модель предназначена для генерации текста, рассуждений, агентских сценариев и вызовов инструментов. Базовая модель распространяется по лицензии Apache-2.0. Модель использует архитектуру k2_horizon MoVA с двумя независимыми экспертными системами: банком из 64 value-экспертов с выбором top-4 и MoE-блоком из 100 feed-forward-экспертов с выбором top-8. Всего модель содержит 36 млрд параметров, из которых активно используется около 4 млрд; архитектура включает 48 слоёв и скрытое представление размерностью 2560. Поддерживаются варианты Q4_0_ROCMFP4 и Q8_0_ROCMFPX объёмом от 18,57 до 36,45 ГиБ. README не указывает языки и максимальную длину контекста; в примерах запуска используется контекст 8192 токена. Основное преимущество — высокая скорость декодирования при меньшем числе активных параметров: на Ryzen AI Max+ 395 с Radeon 8060S заявлена скорость до 41 токена в секунду и prefill до 1238 токенов в секунду для варианта FAST. Доступны профили, ориентированные на скорость, качество квантования и агентские сценарии. Ограничения — необходимость специальной сборки llama.cpp с поддержкой одновременно k2_horizon и ROCmFP4/ROCmFPX, а также совместимого оборудования AMD Strix Halo (gfx1151). Модель генерирует рассуждения в поле reasoning_content, поэтому ей требуется достаточный бюджет токенов; при слишком коротком бюджете содержимое ответа может быть пустым.