II.3Рефакторинг, миграция и модернизация

Карточка модели openbmb/MiniCPM-2B-sft-bf16-llama-format на Hugging Face совпадает с карточкой openbmb/MiniCPM-2B-sft-bf16, поэтому описание составлено по ней. MiniCPM-2B-SFT-bf16 — текстовая генеративная модель из семейства MiniCPM, разработанного ModelBest и лабораторией обработки естественного языка Университета Цинхуа. Это версия MiniCPM-2B, дообученная с учителем (SFT) и сохранённая в формате PyTorch с точностью bf16; в метаданных указано 2,7 млрд параметров, а README описывает базовый MiniCPM-2B как модель с 2,4 млрд параметров без учёта эмбеддингов. Модель предназначена для диалогов и генерации текста, в том числе на китайском и английском языках. Контекст составляет 4096 токенов. README сообщает о сильных результатах семейства MiniCPM на общих тестах, включая китайский язык, математику и программирование, и о возможности запускать модели семейства на мобильных устройствах после отдельной квантизации. Эти результаты не следует автоматически переносить на конкретную SFT-сборку bf16. Разработчики разрешают академическое исследование и ограниченное коммерческое использование; точные условия лицензии в предоставленных данных не приведены.

Nemostein-3-Hermes-Omni-30b-a3b — модель на базе GestaltLabs/Nemostein-3-Hermes-Omni-30b-a3b, опубликованная в формате GGUF и квантизированная mradermacher. По доступным метаданным, это текстовая conversational-модель на базе Transformers с архитектурой Mixture-of-Experts; в названии указаны параметры 30b и a3b. Заявлен английский язык. Модель предназначена для генерации текста и диалоговых сценариев, включая reasoning, tool use и function calling. В метаданных также указаны SFT, LoRA и Unsloth, однако подробности обучения, поддерживаемые модальности, размер контекста и результаты тестирования не приведены. Поэтому возможности, связанные с обозначением Omni, нельзя подтвердить по представленному README. Доступно множество вариантов квантизации GGUF с объёмом файлов примерно от 18 до 33,6 ГБ. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать по качеству; среди рекомендованных автором указаны i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс между размером, скоростью и качеством. Лицензия обозначена как other, но её конкретные условия в README не раскрыты.

Nostr-Llama-3.1-8B — дообученная модель на базе Meta Llama 3.1 8B, созданная some1nostr. При обучении использовались заметки Nostr примерно от 7000 пользователей и наборы инструкций по программированию и математике. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 131 072 токенов. В репозитории указаны веса Safetensors. README не уточняет языковую специализацию и результаты оценки качества. Лицензия в предоставленных данных не указана.

Nous-Hermes-2-Yi-34B-imatrix-GGUF — набор квантизированных версий текстогенерационной модели Nous-Hermes-2-Yi-34B, разработанной Nous Research. Модель предназначена для диалогового взаимодействия и генерации текста, включая многоходовые чаты с системными инструкциями, ролями и управляемым стилем ответа. Модель имеет размер 34B и распространяется в формате GGUF с использованием imatrix-квантизации. Она поддерживает текстовую модальность и английский язык. Для взаимодействия используется формат ChatML, совместимый по принципу структурирования сообщений с API OpenAI; README также указывает на возможность запуска через llama.cpp и LM Studio. Размер контекстного окна и точная базовая архитектура в README не указаны. К сильным сторонам относятся поддержка системных инструкций, ролевой структуры диалога и локального запуска через совместимое программное обеспечение. Ограничения включают отсутствие сведений о качестве, результатах тестирования, требованиях к ресурсам и характеристиках отдельных вариантов квантизации. Лицензия обозначена как other, однако её конкретные условия в README не приведены.

NVIDIA-Nemotron-Nano-9B-v2-GGUF — набор GGUF-квантизаций модели NVIDIA-Nemotron-Nano-9B-v2, подготовленный пользователем bartowski на основе оригинальной модели NVIDIA. Модель предназначена для генерации текста и локального запуска в llama.cpp, LM Studio и других совместимых проектах. В набор входят варианты от BF16 до низкоразрядных Q2–Q8 и IQ-квантизаций; размер файлов составляет примерно от 5,27 до 17,79 ГБ. Квантизация выполнена с использованием imatrix, что направлено на сохранение качества при уменьшении требований к памяти. В README не указаны архитектура исходной модели, поддерживаемые языки, длина контекста, мультимодальные возможности и точные сценарии применения. Сильной стороной набора является широкий выбор компромиссов между качеством, размером и требованиями к оборудованию: варианты Q5–Q6 и Q4_K_M обозначены как рекомендуемые, а Q3 и Q2 подходят для систем с ограниченным объёмом RAM, но обеспечивают более низкое качество. Лицензия в предоставленных данных не указана; условия использования следует уточнять на странице оригинальной модели NVIDIA-Nemotron-Nano-9B-v2.

OpenChat 3.5 0106 GGUF — квантизированная версия текстовой генеративной модели OpenChat 3.5 0106, разработанной командой OpenChat и подготовленной в формате GGUF пользователем TheBloke. Модель основана на архитектуре Mistral и предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые графические интерфейсы, библиотеки и API-серверы. В репозитории представлены варианты квантования с разрядностью от 2 до 8 бит для инференса на CPU и GPU. Точные размер модели, длина контекста, поддерживаемые языки и мультимодальные возможности в README не указаны; по описанию это текстовая, а не мультимодальная модель. Для работы используется шаблон запросов OpenChat-Correct: GPT4 Correct User и GPT4 Correct Assistant. Ключевое преимущество — возможность более экономичного локального запуска благодаря квантованию и широкой совместимости с llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими инструментами. Ограничения связаны с потерями качества, возможными при низкоразрядном квантовании, а также с отсутствием в README подробных характеристик исходной модели и результатов оценки. Указанная лицензия — Apache-2.0.

OrcaMaid V2 Fix 13B 32K — языковая модель для генерации текста и выполнения инструкций, разработанная ddh0. Представлена в формате GGUF и квантована TheBloke для запуска на CPU и GPU через llama.cpp и совместимые приложения. Модель относится к семейству Llama и имеет около 13 миллиардов параметров; заявлено контекстное окно до 32 000 токенов. Сведения о языках обучения и поддерживаемых модальностях отсутствуют, поэтому модель следует рассматривать как текстовую. Модель предназначена для диалогов, ответов на инструкции, генерации и продолжения текста, а также сценариев локального запуска, включая использование через text-generation-webui, KoboldCpp, GPT4All, LM Studio и другие совместимые инструменты. GGUF доступен в вариантах квантования от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и качеством, однако более сильное квантование может снижать точность ответов. В README не приведены независимые оценки качества, подробности датасета или конкретные сильные стороны модели. Лицензия указана как microsoft-research-license, при этом автор README отмечает возможное одновременное действие лицензии исходной модели и Meta Llama 2 License. Условия такого двойного лицензирования требуют дополнительной проверки в репозитории исходной модели перед использованием.

Phi-3-mini-4k-instruct-GGUF — квантизированная версия инструкционной модели Phi-3-mini-4k-instruct, разработанной Microsoft. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям, включая применение в локальных и встраиваемых AI-сценариях через GaiaNet. Модель относится к семейству Phi и поставляется в формате GGUF. Она рассчитана на контекст до 4000 токенов, использует шаблон prompt phi-3-chat и поддерживает английский язык. Квантизация выполнена компанией Second State Inc. с использованием llama.cpp b3333. В README не указаны точный размер модели, конкретный вариант квантизации, перечень поддерживаемых модальностей или специализированные показатели качества. Сильными сторонами модели являются инструкционный режим работы, компактный формат GGUF и возможность запуска через совместимую инфраструктуру GaiaNet и llama.cpp. Ограничениями могут быть поддержка только текстовых задач и ограниченный контекст в 4000 токенов; сведения о производительности, качестве на отдельных задачах и системных требованиях отсутствуют. Модель распространяется по лицензии MIT.

Polaris-7B-Preview-GGUF — набор GGUF-квантизованных версий языковой модели Polaris-7B-Preview, разработанной POLARIS-Project и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и может использоваться локально в LM Studio, llama.cpp и других проектах на базе llama.cpp. В набор входят полная версия BF16 и варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3 и Q2 с размером файлов примерно от 3,55 до 15,24 ГБ. Для квантования применялась llama.cpp версии b5697 и метод imatrix. Данные о точной архитектуре, размере контекста, поддерживаемых языках, модальностях и характеристиках базовой модели в README не указаны. Более высокие уровни квантования обеспечивают лучшее сохранение качества, а компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметнее снижать качество генерации. Для работы следует использовать указанный формат приглашений с системным сообщением, пользовательским запросом и ответом ассистента. Модель распространяется по лицензии Apache-2.0.

INTELLECT-2-GGUF — это набор GGUF-квантизированных версий языковой модели INTELLECT-2, разработанной Prime Intellect и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В README также указано, что при обучении использовался датасет PrimeIntellect/Intellect-2-RL-Dataset. Доступны исходные веса в формате BF16 и варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3 и Q2 с размером файлов примерно от 13 до 66 ГБ. Более крупные варианты обычно обеспечивают более высокое качество, а менее крупные требуют меньше оперативной памяти; рекомендуемым вариантом по умолчанию назван Q4_K_M. Модель поддерживает текстовую генерацию, однако сведения об архитектуре, числе параметров, контекстном окне и языках в README не приведены. Формат подсказок использует роли system, user и assistant, а также блок рассуждений <think>. Лицензия модели указана как Apache-2.0. Ограничения связаны прежде всего с компромиссом между размером файла, требованиями к памяти и качеством, зависящим от выбранного уровня квантизации; варианты Q3 и Q2 характеризуются как менее качественные, а некоторые форматы отмечены как устаревшие.

Qwen2.5-7B-Ins-v3-GGUF — это квантизированная версия текстовой генеративной модели happzy2633/qwen2.5-7b-ins-v3, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; в README также указан запуск через LM Studio. Рекомендуемый формат промпта использует специальные маркеры ролей system, user и assistant. Доступны варианты от исходных весов F16 размером 15,24 ГБ до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы IQ. Более высокие уровни обычно сохраняют лучшее качество, а компактные варианты подходят для систем с ограниченным объёмом оперативной памяти. Для ARM-процессоров предлагаются специальные варианты Q4_0, требующие поддержки sve или i8mm; некоторые из них не рекомендуются для Mac и Windows. Модель относится к классу 7B, однако точные сведения об архитектуре, поддерживаемых языках, максимальном контексте, мультимодальности, результатах тестирования и ограничениях исходной модели в предоставленном README отсутствуют. Лицензия также не указана, поэтому условия коммерческого и иного использования необходимо уточнять на странице исходной модели.

amd/Qwen3.5-397B-A17B-MXFP4-AttnFP8-V2 — квантизированный вариант модели Qwen3.5-397B-A17B, разработанный Advanced Micro Devices, Inc. Модель построена на архитектуре Qwen3_5MoeForConditionalGeneration с разреженными экспертами и предназначена для генерации текста по текстовым, графическим и видеовходам. В README указан английский язык, но сведения о полном наборе поддерживаемых языков и размере контекстного окна отсутствуют. Модель оптимизирована для инференса на AMD MI350 и MI355 под Linux с ROCm 7.2.0, PyTorch 2.9.1, Transformers 5.3.0 и SGLang. Все эксперты MoE, включая shared expert, квантизированы в OCP MXFP4 и объединены с маршрутизируемым MoE-ядром; слои self-attention и linear attention используют FP8E4M3 для весов и активаций. Такая оптимизация уменьшает объём данных в формате bfloat16 и повышает производительность декодирования. На GSM8K модель показала 97,24% против 97,71% у исходной версии, то есть сохранила 99,55% базового результата. Модель подходит для ресурсоёмких задач генерации текста, рассуждений и мультимодального анализа при наличии совместимого оборудования и программного стека. README не приводит результаты на других тестах, поэтому обобщать подтверждённые свойства за пределы GSM8K не следует. Модель распространяется по лицензии Apache 2.0; модификации принадлежат Advanced Micro Devices, Inc.

Qwen3.6-29B-REAP-Opus-Reasoning-Distill-MTP-GGUF — набор GGUF-квантизаций модели, разработанной barozp. В основе лежит MoE-модель Qwen3.6-35B-A3B, сокращённая методом REAP до 205 из 256 экспертов, объединённая с LoRA-адаптером, дистиллированным из Opus reasoning, и дополненная головкой Multi-Token Prediction (MTP), восстановленной из исходного неприженного чекпойнта. Модель предназначена для генерации текста и задач рассуждения; поддерживаемые языки и размер контекстного окна в README не указаны. Главная особенность версии — поддержка самоспекулятивного декодирования: MTP-головка предварительно предлагает токены, а базовая модель проверяет их. В тестах с llama.cpp это обеспечило ускорение генерации на 39–67% при включённом speculative decoding, без измеримого ухудшения качества по сравнению с версией без MTP. Доступны варианты от BF16 до экстремальных IQ1_M; квантизации Q и IQ различаются требованиями к памяти, совместимостью, скоростью и потерями качества. Для квантизаций до Q4_K_M использовалась importance matrix. Для использования MTP требуется современная сборка llama.cpp или совместимый интерфейс с явным включением режима draft-mtp; без этого модель работает как обычная GGUF-модель, а в некоторых конфигурациях спекулятивное декодирование может почти не ускорять генерацию или даже замедлять её. Требования к ресурсам зависят от квантизации: размер файлов составляет примерно от 7,2 до 57,9 ГБ. Лицензия — Apache-2.0.

Qwen3-Swallow-8B-CPT-v0.2 — плотная авторегрессионная языковая модель на 7,6 млрд параметров из семейства Qwen3, разработанная проектом Swallow при Токийском технологическом институте. Это версия после непрерывного предварительного обучения (CPT) на базе Qwen3; веса доступны в формате safetensors по лицензии Apache-2.0. Модель рассчитана на генерацию текста и диалог на японском и английском языках, включая перевод между ними, а также задачи математики и программирования. Обучение включало японские и англоязычные корпуса, параллельные тексты, математические и кодовые данные, а также материалы для диалога и рассуждений. Контекст модели заявлен до 40 960 токенов; разработчики рекомендуют ограничивать длину контекста 32 768 токенами или меньше. Модель предназначена для экспериментов и приложений, которым нужна двуязычная японско-английская генерация с навыками работы с кодом и математикой. Она не обучена специально для вызова инструментов, а переключение режима рассуждений не поддерживается. Разработчики отмечают, что модель находится на раннем этапе разработки и не настроена для надёжного соответствия человеческим намерениям и требованиям безопасности.

Ultra-Instruct-12B-GGUF — набор GGUF-квантизаций базовой модели Dampfinchen/Ultra-Instruct-12B, подготовленный пользователем bartowski с помощью llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих формат GGUF, включая LM Studio. В README не указаны точные сведения об архитектуре, языках, контекстном окне и мультимодальности; по имеющимся данным, это текстовая модель без заявленной поддержки изображений или других модальностей. Доступны варианты от F16 размером 24,50 ГБ до сильно сжатых IQ2_M размером 4,44 ГБ. Рекомендуемые варианты Q4–Q6 обеспечивают высокое или хорошее качество при меньшем потреблении памяти; Q3 и Q2 экономят ресурсы, но заметно уступают по качеству. Некоторые варианты используют Q8_0 для embedding- и output-весов, что потенциально повышает качество, однако автор указывает, что практический эффект зависит от использования. Для работы требуется совместимое ПО, например llama.cpp или LM Studio, и рекомендуется применять указанный в README шаблон чата с маркерами system, user и assistant. Ограничения включают отсутствие опубликованных бенчмарков и подробных характеристик исходной модели, а также неизбежную потерю качества в низкобитных квантизациях. Распространение осуществляется по лицензии CC BY-NC-4.0, запрещающей коммерческое использование.

UNIVA-Bllossom_DeepSeek-llama3.3-Bllossom-70B-GGUF — это набор квантизованных вариантов модели DeepSeek-llama3.3-Bllossom-70B, разработанной UNIVA-Bllossom. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с форматом GGUF, включая LM Studio и проекты на базе llama.cpp. Модель имеет размер 70B параметров. В README указана поддержка корейского и английского языков. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4 и IQ3/IQ4 с размерами примерно от 27 до 75 ГБ; более крупные варианты обычно сохраняют более высокое качество, а компактные требуют меньше оперативной памяти, но сильнее теряют в качестве. Рекомендуемыми названы, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Сильной стороной набора является возможность выбрать баланс между качеством, размером файлов и требованиями к оборудованию, а также локально запускать модель через распространённые инструменты. Для работы с вариантами 70B требуется значительный объём памяти, особенно для высокоточных квантизаций; низкобитные варианты могут заметно уступать по качеству. Размер контекста и дополнительные архитектурные характеристики в README не указаны. Лицензия — MIT.

xLAM-7b-r-IMat-GGUF — это GGUF-квантизированная версия языковой модели Salesforce/xLAM-7b-r, подготовленная пользователем legraphista с использованием llama.cpp и IMatrix-калибровки. Исходная модель имеет формат BF16, а набор поставляется в вариантах от BF16 и FP16 до Q2–Q8 и IQ-квантизаций, включая версии с применением IMatrix. Модель предназначена для генерации текста, function calling, tool use и построения LLM Agent-сценариев. Она ориентирована на английский язык и поддерживает работу с инструментами и функциями; исходный датасет обучения — Salesforce/xlam-function-calling-60k. Формат GGUF и набор квантизаций позволяют выбирать баланс между размером файла, требованиями к памяти и сохранением качества, что удобно для локального запуска через llama.cpp. Для некоторых вариантов указаны размеры от 2,53 до 14,48 ГБ. Ключевые архитектурные характеристики базовой модели, включая точное устройство, размер контекста и перечень поддерживаемых модальностей, в README не указаны; по представленным данным это текстовая модель без заявленной мультимодальности. К ограничениям относятся ориентация на английский язык и возможное снижение качества при использовании низкобитных квантизаций. Модель распространяется по лицензии CC BY-NC 4.0, предусматривающей некоммерческое использование.

Yi-1.5-6B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi-1.5-6B-Chat, разработанной компанией 01-ai и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Модель содержит файлы в формате GGUF с вариантами квантизации от 2 до 8 бит, что позволяет выбирать баланс между размером, требованиями к памяти и качеством генерации. Это текстовая модель; в предоставленных данных не указаны языки, размер контекста и подробности архитектуры исходной модели. GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами, включая варианты с GPU-ускорением. Сильными сторонами являются широкий выбор уровней квантизации и удобство локального использования на различных платформах. Ограничения связаны с возможными потерями качества при агрессивной квантизации, а также с отсутствием в предоставленной карточке подробных характеристик исходной модели и результатов оценки. Модель распространяется по лицензии Apache-2.0.

Aiden T5 — текстовая модель на архитектуре T5 от or4cl3ai, представленная как универсальная модель генерации и преобразования текста. В README заявлены генерация текста, перевод, суммаризация и ответы на вопросы; метаданные Hugging Face указывают задачу text-generation и формат PyTorch. В тегах перечислены датасеты по коду, диалогам, переводу, новостям и другим областям, однако точное назначение дообучения и проверенные характеристики модели не установлены. README заявляет доступ к интернету и BDI, а также 1,5 трлн параметров, 360 слоёв и результаты на нескольких бенчмарках. Эти утверждения не подтверждены метаданными, поэтому их нельзя считать надёжными характеристиками модели. Карточка описывает модель как находящуюся в разработке. Указана лицензия OpenRAIL.

daVinci-LLM-3B — базовая языковая модель с примерно 3,1 млрд параметров, представленная исследовательской группой GAIR-NLP в проекте daVinci-LLM. Это плотный decoder-only Transformer семейства Qwen2, обученный в два этапа примерно на 8 трлн токенов: сначала на широком веб-корпусе, затем на структурированных вопросах и данных для рассуждений. Репозиторий содержит веса в формате safetensors; метаданные указывают контекст до 32 768 токенов. Модель предназначена для исследований предобучения, изучения качества данных и динамики обучения, а также для генерации текста, кода и ответов с математическими и научными рассуждениями. В README приведены результаты оценки на 19 бенчмарках и описаны более 200 абляционных экспериментов. Модель является базовой, не настроена на выполнение инструкций и не прошла выравнивание по безопасности, поэтому перед прикладным использованием необходимы дополнительная оценка и настройка. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия языковой модели cogito-v2-preview-llama-109B-MoE, разработанной deepcogito и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Архитектура модели — Mixture of Experts (MoE), общий заявленный размер — 109B параметров. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, с размером файлов примерно от 47,62 до 114,52 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp версии b6014. Более высокие варианты обеспечивают лучшее сохранение качества, а менее точные требуют меньше оперативной памяти; среди рекомендуемых указаны Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Модель подходит для локального текстового инференса при наличии значительных вычислительных ресурсов и объёма памяти, соответствующего выбранному варианту квантизации. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности, точные характеристики базовой архитектуры, лицензия и формальные ограничения использования. Шаблон чата не задан; предложенный формат является значением по умолчанию и может быть некорректным, поэтому его следует сверять с исходной карточкой модели.

mlx-community/DeepSeek-R1-Distill-Llama-70B-8bit — это 8-битная версия модели DeepSeek-R1-Distill-Llama-70B, преобразованная в формат MLX сообществом mlx-community. Конвертация выполнена из исходной модели deepseek-ai/DeepSeek-R1-Distill-Llama-70B с использованием mlx-lm версии 0.20.2. Модель предназначена для генерации текста и диалоговых сценариев в экосистеме MLX, включая запуск через библиотеку mlx-lm. README не содержит подробных сведений об архитектуре, числе параметров, поддерживаемых языках, размере контекста, модальностях, результатах тестирования или сильных и слабых сторонах модели. Известно только, что используется 8-битное представление и предусмотрена поддержка chat template при наличии соответствующей конфигурации токенизатора. Для использования требуется установить mlx-lm и загрузить модель по её идентификатору. Лицензия в README не указана, поэтому условия использования определить по предоставленным данным невозможно.

DeepSeek-R1-Distill-Llama-8B-heretic — это модифицированная версия DeepSeek-R1-Distill-Llama-8B, разработанная пользователем saidutta69 с применением Heretic v1.4.0. Модель основана на Llama и представляет собой дистиллированную 8-миллиардную модель с уклоном на рассуждения и генерацию текста. Указанный язык — английский, модальность — текстовая. Модель предназначена для диалогов, следования инструкциям и задач, требующих рассуждений, когда нужен прямой ответ без встроенного поведения отказа. Подавление отказов выполнено направленным редактированием весов в выходных проекциях attention и down-projection MLP, без дообучения. По заявлению автора, это позволяет в значительной степени сохранить знания и способность следовать инструкциям исходной модели, однако модель не является улучшением базовой версии по возможностям. Доступны полноточные веса в формате BF16 и квантизованные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0. Модель рассчитана на запуск через llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang; для локального использования рекомендуются GPU с 8–12 ГБ памяти или совместимые квантизации на потребительском оборудовании. Размер контекста в README не указан. Важное ограничение — отсутствие дополнительной фильтрации безопасности: модель может выполнять запросы, от которых исходная версия отказалась бы, включая потенциально нежелательные. Ответственность за применение и развертывание возлагается на пользователя. Лицензия унаследована от базовой модели и обозначена как deepseek-license.

DeepSeek-V2-Lite-Chat-IMat-GGUF — это GGUF-квантизированная версия диалоговой языковой модели DeepSeek-V2-Lite-Chat, разработанной deepseek-ai. Квантизацию выполнил legraphista с использованием форка llama.cpp и метода IMatrix, предназначенного для сохранения качества при уменьшении точности весов. Исходная модель имеет формат BF16. Модель предназначена для генерации текста и диалоговых сценариев при локальном запуске через совместимые инструменты, включая llama.cpp. Доступны варианты в форматах FP16, BF16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизациях, что позволяет выбирать между качеством, скоростью и требованиями к памяти. Размер файлов варьируется примерно от 6 до 31 ГБ. IMatrix применяется в ряде низко- и среднебитных вариантов, включая Q4_K, Q3_K, Q2_K и многие IQ-форматы. Сильная сторона набора — широкий выбор степеней квантизации и возможность локального использования в экосистеме GGUF. При этом квантизация снижает требования к ресурсам, но может уменьшать точность и качество генерации по сравнению с исходной моделью; степень потерь зависит от выбранного варианта. README не содержит сведений об архитектурных деталях, числе параметров, поддерживаемых языках, размере контекста и лицензии исходной модели, поэтому эти характеристики нельзя достоверно указать.

mlx-community/DeepSeek-V4-Flash-8bit — это версия модели DeepSeek-V4-Flash, опубликованная сообществом mlx-community и предназначенная для генерации текста. Модель подготовлена для работы с библиотекой MLX и запуска через mlx-lm; в README также указана поддержка шаблона диалога, если он доступен в токенизаторе. Известно, что модель использует 8-битное представление и относится к категории text-generation. Она может применяться для диалоговой генерации и других задач создания текста, однако сведения об архитектуре, количестве параметров, размере контекста, поддерживаемых языках и модальностях в README отсутствуют. К сильным сторонам относятся интеграция с MLX и возможность локального запуска через mlx-lm. Ограничения и точные требования к аппаратному обеспечению не указаны. Лицензия в предоставленных материалах не обозначена.

DeepSeek-V4-Pro-GGUF — набор GGUF-квантизаций базовой модели DeepSeek-V4-Pro, разработанной DeepSeek и опубликованный командой teamblobfish. Модель предназначена для генерации текста и локального запуска через специализированную ветку llama.cpp с поддержкой архитектуры V4. Формат подходит для сценариев локального инференса, включая серверное использование и обработку tool calls. Модель использует архитектуру Mixture of Experts: 61 слой и 384 маршрутизируемых эксперта. В реализации применяются специфичные для V4 механизмы, включая compressor decode, hyperconnection, lightning indexer, FP8-эмуляцию KV и NextN heads. Доступны варианты Q8_0, Q4_K_M-XL и Q2_K-XL; размер файлов составляет примерно от 498 ГиБ до 1,46 ТиБ. README демонстрирует запуск с контекстом 65 536 токенов, но максимальный размер контекста модели явно не указан. Поддерживается текстовая модальность; список языков не приведён. Сильной стороной является возможность запуска крупной модели в GGUF с поддержкой Apple Silicon, NVIDIA CUDA и CPU, а также проверенная работа Q2_K-XL с tool calls. Основные ограничения — чрезвычайно большой объём памяти, низкая скорость на CPU и необходимость использовать V4-совместимый fork llama.cpp; стандартная upstream-версия llama.cpp не поддерживается. ROCm, Vulkan и Metal на AMD не имеют необходимых ядер. Для практического запуска часто требуются несколько GPU или частичная выгрузка на CPU. Модель распространяется по лицензии MIT.

Dolphin-Mistral-24B-Venice-Edition-Patched — текстовая генеративная модель, опубликованная AIOpsInSpace как исправленная версия dphn/Dolphin-Mistral-24B-Venice-Edition. Модель предназначена для диалогового взаимодействия и генерации текста; в описании она позиционируется как открытая, разговорная и «uncensored». Поддерживаемый язык — английский. Это плотная модель размером 24 млрд параметров с архитектурой Mistral и механизмом sliding window attention. Патч восстанавливает параметры скользящего окна внимания, устраняя фрагментацию контекста и зависания при генерации после 4096 токенов. Также исправлены стоп-токены токенизатора. Заявленное контекстное окно составляет 32K токенов. Модель распространяется в формате GGUF и предназначена для использования в совместимых средствах локального запуска. Сильными сторонами являются большой контекст, восстановленная работа sliding window attention и отсутствие заявленных ограничений на содержание ответов. README не содержит точных данных о бенчмарках, производительности, требованиях к оборудованию или конкретных вариантах квантования, поэтому эти характеристики оценить нельзя. Модель распространяется по лицензии Apache-2.0.

flammen9-mistral-7B — объединённая авторегрессионная языковая модель на архитектуре Mistral, созданная flammenai с помощью mergekit. В объединение вошли flammen8-mistral-7B, flammen5-mistral-7B и flammen3X; базовой указана flammen8-mistral-7B, а метод слияния — DARE TIES. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и сценариев на основе языковой модели: продолжения запросов и создания ответов. В метаданных указан pipeline text-generation; конкретные специализации, наборы данных и основные языки в предоставленных сведениях не обозначены. Файлы представлены в формате safetensors, библиотека — Transformers. Модель распространяется по лицензии Apache-2.0. Поскольку это слияние нескольких предварительно обученных моделей, её качество и поведение могут различаться в зависимости от задачи; отдельные гарантии качества или подробные ограничения в карточке не описаны.

FuseO1-DeepSeekR1-QwQ-32B-Preview-GGUF — это набор квантизированных версий языковой модели FuseO1-DeepSeekR1-QwQ-32B-Preview, разработанной FuseAI и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель содержит 32 млрд параметров; README не указывает её точную архитектуру, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Более высокие уровни сохраняют лучшее качество, но требуют больше памяти, тогда как Q3 и некоторые IQ-варианты рассчитаны на системы с ограниченным объёмом RAM. Квантизация выполнена с использованием imatrix и специального датасета; для запуска требуется корректный шаблон prompt. Сильная сторона модели — широкий выбор вариантов с различным компромиссом между качеством, размером и требованиями к памяти, а также поддержка локального инференса. Ограничения включают отсутствие в README данных о фактических результатах тестирования, языках, контексте и возможностях мультимодальности; качество также зависит от выбранного уровня квантизации. Лицензия в предоставленных материалах не указана.

QuantFactory/gemma-2-9b-it-GGUF — это квантизированная версия текстовой instruction-tuned модели google/gemma-2-9b-it, созданная QuantFactory с использованием llama.cpp. Базовая модель разработана Google и относится к семейству Gemma, созданному на основе исследований и технологий Gemini. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, суммирование, рассуждения и другие задачи обработки текста. Это decoder-only языковая модель формата text-to-text, рассчитанная на работу с английским языком. Квантизация в формате GGUF может упростить локальный запуск и снизить требования к ресурсам по сравнению с исходными весами, включая использование на пользовательском компьютере или собственной облачной инфраструктуре. В названии базовой модели указано 9 миллиардов параметров, однако точный формат квантизации и контекстное окно этой версии в README не уточняются. Модель работает только с текстом; сведения о поддержке других модальностей отсутствуют. К сильным сторонам относятся относительно компактный размер семейства Gemma и instruction tuning, а ограничения включают англоязычную специализацию и возможное снижение точности из-за квантизации. Лицензия указана как gemma; условия использования приведены в Terms of Use Google.