II.11Кибербезопасность и приватность

Qwen3.6-27B-DSV4Pro-Thinking-Distill-GGUF — набор GGUF-квантизаций модели, разработанный пользователем nerkyor на основе плотной Qwen3.6-27B от Qwen. Модель представляет собой дистилляцию рассуждений в стиле DeepSeek-V4-Pro ReAct с нативной головой MTP (multi-token prediction) и imatrix-коррекцией для большинства вариантов. Дистилляция направлена на улучшение сходимости рассуждений, при этом заявлено сохранение возможностей программирования и общих знаний. Модель предназначена для локального агентного рассуждения, программирования и работы в качестве независимого от облачных сервисов резервного решения, в частности внутри Lynn Agent. Доступны варианты размером от 15,3 до 54,7 GB: IQ4_XS рассчитан на запуск на видеокарте с 16 GB памяти без выгрузки на CPU, а Q5_K_M рекомендован для систем с 24 GB и более. Для ускорения генерации поддерживается нативный MTP; в приведённых измерениях Q4_K_M обеспечивал до 2,6 раза большую скорость в одном потоке, однако выигрыш снижается при высокой параллельности. Модель ориентирована как минимум на английский и китайский языки; для обработки изображений предусмотрен отдельный vision-проектор mmproj F16. В тестах дистиллированная версия показала более высокие результаты на задачах сложного рассуждения и не достигала ограничения длины ответа в случаях, где базовая модель могла не завершить решение. Ограничения включают зависимость качества и требований к памяти от выбранной квантизации, снижение эффективности MTP при многопоточности и необходимость подбирать параметры генерации для thinking-режима; в README рекомендуется temperature 0.6 и top_p 0.95. Лицензия — Apache-2.0.

Qwen3.8-27B ThinkingCap Abliterated (MTP GGUF) — GGUF-версия модели, разработанная hotdogs на основе hotdogs/Qwen3.8-27B-thinkingcap-abliterated и дообученная с использованием датасета hotdogs/thinkingcap-sft-qwen38-27b. Модель предназначена для генерации текста, рассуждений, решения задач, следования инструкциям и помощи в программировании, включая сценарии SWE-bench. Она ориентирована на эффективное рассуждение с сокращённым числом токенов и поддерживает запуск через llama.cpp. Модель содержит 27,3 млрд параметров и сохраняет MTP-слой (Multi-Token Prediction) с 15 тензорами. Доступны варианты GGUF F16 размером около 51 ГБ, Q6_K размером около 21 ГБ и Q4_K_M размером около 16 ГБ; Q6_K позиционируется как компромисс между качеством и размером, а Q4_K_M — как наиболее быстрый вариант. В README указано тестирование с контекстом 8192 токена. Языки и набор поддерживаемых модальностей явно не указаны; по описанию это текстовая модель. Сильные стороны — эффективное рассуждение, сохранение MTP при квантовании и высокая производительность на GPQA Diamond, IFEval и SWE-bench в заявленных условиях тестирования. Ограничения включают зависимость качества от выбранной квантовки, значительные требования к памяти и вычислительным ресурсам, а также ограниченность и специфичность приведённых бенчмарков. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-mlx-oQ6e-1M — релиз Solstice-AI на базе модели DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion. Solstice-AI отвечает за downstream-квантизацию, масштабирование контекста YaRN до 1 048 576 токенов и упаковку для Apple MLX. Модель ориентирована на английский и китайский языки; в метаданных указана задача image-text-to-text, однако подробности о поддерживаемых визуальных входах не приведены. Модель предназначена для рассуждений, программирования, агентной разработки ПО, отладки репозиториев, выполнения многошаговых рабочих процессов и задач управления операционными системами. Заявлены архитектура Qwen 3.8 с гибридным вниманием, включающая Gated Delta Recurrent Network и Grouped-Query Attention, механизм Multi-Token Prediction, а также объединение весов Cold Fusion GAIN. Формат — смешанная квантизация Apple MLX oQ6e; заявлено размещение примерно в 23,7 ГБ оперативной памяти и ускорение на Apple Silicon через Metal и Anvil Runtime. К сильным сторонам относятся заявленные большой контекст до 1 миллиона токенов, поддержка локального запуска на совместимых компьютерах Apple Silicon и высокие результаты на наборах SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld, AndroidWorld, IFBench и ARC. Эти показатели и сравнения с Claude Opus 4.6 приведены авторами README, но методика и независимое подтверждение не описаны. Ограничения включают зависимость производительности от MLX, Apple Silicon и доступной памяти, возможные потери качества из-за квантизации, а также отсутствие подробных данных о тренировочном наборе, мультимодальных возможностях и безопасности. Указанная лицензия — Apache-2.0.

RockTalk/Qwen3.8-Flash-Next-MLX-4bit — это 4-битная MLX-квантизованная версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Порт создан Rocktalk-Holdings для запуска на Apple Silicon; модель использует архитектуру qwen4_exp и предназначена для генерации текста, программного кода, структурированных ответов и агентских сценариев. Вариант с соответствующим мультимодальным окружением также поддерживает обработку изображений и видео, а сама модель — вызовы инструментов. Заявленный размер составляет около 180 млрд параметров: 125 млрд параметров MoE-трансформера, из которых активно около 6 млрд, 51,2 млрд параметров n-граммной embedding-таблицы и 4 млрд параметров MTP-головы для спекулятивного декодирования. Архитектура включает 512 экспертов, разреженное внимание QSA на 12 из 48 слоёв, Gated DeltaNet на 36 слоях и Hyper-connections. Основной заявленный язык — английский. Контекст модели в README не указан. Для MLX-версии применяется преимущественно 4-битная аффинная квантизация с размером группы 64, а отдельные компоненты используют 8-битное представление. Сильной стороной модели является эффективный запуск на компьютерах Apple Silicon: на M3 Ultra заявлена скорость около 26–35 токенов в секунду, а при использовании внешнего MTP-драфтера и gmlx — до 55–86 токенов в секунду в зависимости от типа содержимого. Спекулятивное декодирование сохраняет идентичность последовательностей с обычным жадным режимом в заявленных проверках. Ограничения включают очень высокие требования к памяти, зависимость от специализированного MLX/gmlx-стека и экспериментальный статус архитектуры; заявленная поддержка изображений, видео и инструментов относится к дополнительной конфигурации с отдельным vision projector и совместимым сервером. Лицензия указана как other, без дополнительных условий в README.

AIArchiveInfo/Qwen3-Embedding-0.6B — побитовая архивная копия Qwen/Qwen3-Embedding-0.6B, разработанной командой Qwen. Это плотная модель семейства Qwen3 с 507,6 млн параметров, предназначенная для преобразования текстов в векторные представления и сравнения их семантической близости. Она подходит для поиска по тексту и коду, классификации и кластеризации текстов, поиска параллельных фрагментов на разных языках и построения семантического поиска. Модель поддерживает более 100 языков, контекст до 32 768 токенов и настраиваемую размерность эмбеддингов от 32 до 1024. Она учитывает инструкции, заданные для конкретной задачи; исходная карточка рекомендует формулировать их на английском в многоязычных сценариях. Для работы с архитектурой Qwen3 требуется Transformers версии 4.51.0 или новее. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0; согласно карточке, эта копия не обучалась и не изменялась.

michaelfeil/Qwen3-Embedding-8B-auto — текстовая модель эмбеддингов на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-8B-Base. Она предназначена для преобразования текстов в векторы и поиска по смыслу, включая поиск по документам и коду, классификацию, кластеризацию, ранжирование и сопоставление параллельных текстов. Модель содержит 7,6 млрд параметров, поддерживает контекст до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README указывает настраиваемый диапазон размерностей от 32 до 4096 и поддержку инструкций для конкретной задачи. Модель заявлена как многоязычная, с поддержкой более 100 языков, а также языков программирования. Среди сильных сторон — длинный контекст, настраиваемая размерность векторов и широкий набор задач поиска и сопоставления. Для качественного поиска рекомендуется задавать инструкции; автор отмечает, что их отсутствие может снижать качество поиска на 1–5%. Для работы с Transformers требуется версия 4.51.0 или новее. Лицензия — Apache-2.0.

Speechless Instruct Mistral 7B v0.2 GGUF — это квантизированная версия инструкционной языковой модели speechless-instruct-mistral-7b-v0.2, опубликованная в формате GGUF пользователем bartowski. Исходная модель размещена uukuguy. Модель предназначена для генерации текста по инструкциям, включая задачи программирования и выполнения общих текстовых запросов. Модель основана на архитектуре Mistral и содержит 7 миллиардов параметров. Она работает с текстом, заявлена для английского языка и поддерживает сценарии text-generation через llama.cpp и совместимые инструменты. В README указан формат промптов в стиле [INST] с системным сообщением, однако отмечено, что официальная chat template не задана и приведённый формат может быть неточным. Доступны варианты квантизации Q2–Q8 и IQ, различающиеся размером файла и компромиссом между качеством и потреблением памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и варианты Q4. Обучение или дообучение исходной модели связано с наборами jondurbin/airoboros-2.2, Open-Orca/OpenOrca, Open-Platypus, WizardLM/WizardLM_evol_instruct_V2_196k и TokenBender/python_eval_instruct_51k. В качестве сильных сторон указаны поддержка инструкций, задач программирования и широкий выбор квантизаций для запуска на устройствах с разным объёмом памяти. Ограничения включают снижение качества на низких уровнях квантизации, отсутствие подтверждённого значения pass@1 для HumanEval и неопределённость с шаблоном чата. Лицензия — Apache-2.0.

airoboros-l2-7b-2.2 — экспериментальная текстовая языковая модель на архитектуре LLaMA, разработанная jondurbin и дообученная преимущественно на синтетических данных набора airoboros-2.2. Она предназначена для ответов на инструкции и вопросы, генерации текста и кода, ответов по заданному контексту, а также формирования планов и структурированных аргументов для вызова функций. Модель содержит 6,6 млрд параметров, принимает и генерирует текст, а её нативный контекст составляет 4096 токенов. Карточка описывает шаблон диалога с метками USER и ASSISTANT и рекомендации по остановке генерации; для ответов по предоставленным источникам предусмотрен формат с явными разделителями контекста. Модель в основном ориентирована на выполнение инструкций, а не на свободный чат или ролевую игру. В README отмечены частичное выравнивание для обычного использования и возможность переопределения этого поведения системным промптом. Ответы по контексту могут галлюцинировать, поэтому автор советует явно просить не придумывать неизвестные ответы. Модель распространяется под лицензией Llama 2; опубликована в формате PyTorch.

DeepSeek-V4-Flash-0731-ds4-GGUF — набор квантизированных сборок финальной версии DeepSeek-V4-Flash от DeepSeek, подготовленных пользователем nazeshinjite для инференс-движка DwarfStar (ds4), разработанного antirez. Модель предназначена для локальной генерации текста, диалоговых приложений, программирования и агентских сценариев; поддерживаются интерактивный CLI, OpenAI- и Anthropic-совместимый HTTP API, а также дисковый KV-кэш для многошаговых сессий. Базовая модель использует архитектуру Mixture-of-Experts: около 284 млрд параметров, из которых примерно 277 млрд приходятся на маршрутизируемые эксперты. Репозиторий содержит смешанную Q2/Q4-сборку размером 90,9 GiB, плоские Q2- и Q4-варианты, а также опциональные draft head для speculative decoding. В основной сборке маршрутизируемые эксперты в последних слоях используют Q4_K, остальные — преимущественно 2-битные форматы, а attention-проекции, общие эксперты и выходной слой — Q8. Указана поддержка контекста до 1 млн токенов на подходящем локальном оборудовании; для 256K контекста заявлено потребление менее 3,5 GiB KV-кэша. Языки и мультимодальные возможности в README не указаны. Сильные стороны модели — существенное уменьшение размера при сохранении качества, высокая скорость декодирования в DwarfStar и эффективная работа с длинными повторяющимися контекстами благодаря дисковому KV-кэшу. На Apple M5 Max автор README сообщает скорость 36,8–27,1 токена в секунду в зависимости от длины контекста, однако эти результаты относятся к предварительным измерениям. Главные ограничения — файлы совместимы только с DwarfStar и не загружаются в llama.cpp, Ollama или LM Studio; для запуска требуется специализированный движок и мощное оборудование, включая системы с большим объёмом памяти, CUDA или ROCm. Распространение указано по лицензии MIT.

lunahr/Hermes-3-Llama-3.2-3B-abliterated — это изменённая версия Hermes 3 3B, диалоговой языковой модели Nous Research на архитектуре Llama с 3,2 млрд параметров. В основе лежит NousResearch/Hermes-3-Llama-3.2-3B, дообученная на базе Llama-3.2 3B; этот вариант описан как abliterated. Модель использует формат диалога ChatML и рассчитана на контекст до 131 072 токенов. Модель предназначена для многоходового общения и следования инструкциям, а также для генерации кода, ролевых диалогов, структурированных JSON-ответов и вызова функций. Метаданные указывают поддержку английского языка; модель работает с текстом на входе и генерирует текст. В README для Hermes 3 заявлены улучшения в рассуждениях, согласовании с запросами пользователя, связности на длинном контексте и агентных сценариях. При работе с вызовом функций нужно учитывать описанное автором отклонение в формате: ответы инструмента передаются в роли user, что требует адаптации кода интеграции. Модель распространяется по лицензии Llama 3.

OpenAI o3-mini — компактная языковая модель OpenAI, оптимизированная для рассуждений в задачах STEM, особенно в науке, математике и программировании. Она предназначена для генерации текста и помощи в решении технических задач; поддерживает параметр reasoning_effort для настройки уровня усилий при рассуждении. Модель подходит для объяснения научных концепций, решения математических задач и помощи с кодом. Данных о размере, контекстном окне, поддерживаемых языках и лицензии в предоставленных источниках нет.

Mungert/OpenReasoning-Nemotron-32B-GGUF — GGUF-версия большой языковой модели OpenReasoning-Nemotron-32B, производной от Qwen/Qwen2.5-32B-Instruct. Исходная модель разработана NVIDIA и дообучена для рассуждений, генерации решений по математике, программированию и научным задачам. Указан английский язык, текстовая модальность и сценарий text-generation. Модель создана с использованием llama.cpp; конкретный формат квантования зависит от файла GGUF. В README также описан подход с повышением точности отдельных важных слоёв при квантовании, что может улучшать качество на низких разрядностях, но увеличивает размер файла. Модель рассчитана на исследовательское и коммерческое/некоммерческое использование. Для сложных задач поддерживается генерация до 64K выходных токенов по данным исходной карточки. Сильные стороны — специализация на математическом, кодовом и научном рассуждении, а также возможность многократных параллельных генераций с последующим выбором решения через GenSelect. Ограничения включают высокие требования к вычислительным ресурсам для 32B-модели, возможную зависимость качества и размера от выбранного уровня квантования, а также отсутствие в предоставленных данных точного размера контекстного окна и подробностей об аппаратных требованиях. Лицензия модели — Creative Commons Attribution 4.0 International (CC-BY-4.0); для базовой модели дополнительно указана Apache 2.0.

Qwen3-Coder-30B-A3B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen/Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen. Модель преобразована в формат GGUF с квантизацией Q4_K_M, поэтому предназначена для запуска через llama.cpp, включая локальный inference и серверный режим. Модель ориентирована прежде всего на генерацию текста и задачи, связанные с программированием, однако README не содержит подробностей о поддерживаемых языках, модальностях, архитектуре, фактическом размере активной части модели и максимальной длине контекста. Ключевое преимущество этой версии — совместимость с экосистемой llama.cpp и возможность более экономичного запуска благодаря 4-битной квантизации; ограничениями могут быть потери качества по сравнению с исходной моделью и зависимость от подходящей аппаратной конфигурации. Указана лицензия Apache-2.0.

Gemma-4-12B-Coder-Fable5-Composer2.5-8bit — это 8-битная MLX-квантизированная версия модели yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1, созданная сообществом mlx-community на основе Google Gemma-4-12B-it. Модель предназначена для генерации текста, программирования и задач, требующих рассуждений, включая локальный чат-стиль инференса через библиотеку mlx-lm. Модель содержит около 12 миллиардов параметров, использует формат 8-bit и оптимизирована для локального запуска на компьютерах Apple Silicon. Квантизация существенно снижает требования к памяти при сохранении близких к исходным возможностей рассуждения и генерации кода. В репозитории добавлен Jinja-шаблон чата для корректного форматирования диалогов. Поддерживаемые языки, размер контекста и набор модальностей в README не указаны; по описанию это текстовая модель. Модель распространяется по лицензии Apache 2.0, разрешающей использование, изменение и повторное распространение. Ограничения, связанные с качеством ответов, безопасностью и областью применения, в README отдельно не описаны.

TeichAI/Gemma-4-31B-Fable-5-Agent-Distill — дообученная на трассах Claude Code и пользовательских диалогах модель Gemma 4 на 31 млрд параметров. Она предназначена для работы в агентных оболочках, включая Claude Code и pi, и помогает генерировать и отлаживать код, планировать архитектуру программ, выполнять многошаговые исследования и решать аналитические задачи. Модель поддерживает диалоговый формат, интерфейс вызова инструментов и анализ изображений; в метаданных указан английский язык. Для запуска README рекомендует актуальную версию Transformers. Разработчик сообщает, что способность к рассуждению оставлена без изменений и что модель оптимизирована дистилляцией трасс Claude Code. Бенчмарки пока не опубликованы, поэтому заявленные возможности не сопровождаются количественной оценкой. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0.

K2-Horizon-3.7B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-3.7B, разработанной IFM. Это плотная decoder-only языковая модель размером 3,7 млрд параметров, предназначенная для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Указан английский язык. Модель поддерживает нативный контекст до 524 288 токенов (512K), однако практическая производительность зависит от используемого оборудования и настроек запуска. Доступны варианты квантизации Q4_0, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 3,02 до 5,39 ГБ. В файлы встроен совместимый с llama.cpp шаблон чата; для вызовов инструментов по умолчанию используется формат XML, также доступны JSON и xml_typed. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, в частности форк MBZUAI-IFM до появления поддержки в upstream-версии. К сильным сторонам относятся компактный размер, несколько вариантов квантизации и заявленная поддержка очень длинного контекста, а также сценариев программирования и tool use. Ограничения включают зависимость от специализированной реализации llama.cpp, отсутствие в README подробных результатов бенчмарков и характеристик качества, а также отсутствие сведений о мультимодальности и поддержке языков, кроме английского. Модель распространяется по лицензии Apache-2.0.

Карточка модели DeepDive404-2/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

AtomicChat/Ornith-9B-GGUF — это квантизированная в формат GGUF версия языковой модели Ornith 1.0 9B, разработанной DeepReinforce и самостоятельно квантизированной командой Atomic Chat на основе оригинальных весов. Модель предназначена для локальной и полностью офлайн-работы, включая генерацию текста, диалоговые сценарии и задачи программирования. Она распространяется в нескольких вариантах квантизации, подходящих для запуска через llama.cpp, Ollama, LM Studio, Jan и Atomic Chat. Модель имеет плотную decoder-архитектуру с 32 слоями, 16 attention heads и 4 KV heads; в README также указана реализация Qwen3_5ForConditionalGeneration. Заявленная длина контекста — до 262 144 токенов, размер словаря — 248 320 токенов. Базовая модель поддерживает текст и изображения, однако данный репозиторий содержит только текстовые GGUF-версии без vision projector. Доступны варианты IQ4_XS, Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0; применение importance matrix должно снижать потери качества при низкой разрядности. Сильными сторонами являются большой контекст, офлайн-запуск, широкий выбор размеров файлов и ориентация исходной модели на coding agents и самоулучшающееся обучение с использованием reinforcement learning. Заявленные benchmark-результаты относятся к базовой модели DeepReinforce, а не к независимым измерениям этого репозитория; качество квантизированных версий может отличаться. Для корректного диалога требуется применять chat template Ornith 1.0 через параметр --jinja. Модель распространяется по лицензии MIT.

unsloth/Phi-4-reasoning-plus-GGUF — GGUF-версия модели Phi-4-reasoning-plus, разработанной Microsoft Research и подготовленной для распространения Unsloth. Это открытая по весам текстовая модель генерации для диалогов и задач, требующих рассуждений, прежде всего математики, естественных наук и программирования. Модель дообучалась методом supervised fine-tuning на синтетических и отфильтрованных общедоступных данных, а также с применением reinforcement learning. В основе лежит плотная decoder-only Transformer-архитектура с 14 млрд параметров и контекстом до 32 тыс. токенов. Модель принимает текстовые запросы, предпочтительно в формате чата, и генерирует текстовые ответы на английском языке. Ответы состоят из блока цепочки рассуждений и последующего блока суммаризации. Версия GGUF предназначена для запуска в совместимых инструментах, включая llama.cpp; для включения режима рассуждений в llama.cpp требуется параметр --jinja. Сильной стороной модели является повышенная точность благодаря дополнительному reinforcement learning и специализации на сложных задачах рассуждения, математике, науке и коде. Ограничением служит более высокая задержка: модель в среднем генерирует примерно на 50% больше токенов. README не содержит отдельной информации о специфических ограничениях качества или требованиях к аппаратным ресурсам именно этой GGUF-квантизации. Указанная лицензия — MIT.

DASD-4B-Thinking GGUF — компактная плотная языковая модель примерно на 4 млрд параметров, опубликованная в формате GGUF пользователем Mungert. Исходная модель разработана командой Alibaba-Apsara и создана на основе Qwen3-4B-Instruct-2507 с дистилляцией знаний от gpt-oss-120b методом distribution-aligned sequence distillation. Модель ориентирована на рассуждения с длинной цепочкой мыслей, включая решение математических задач, генерацию кода и научное рассуждение. Для обучения использовалось 448 тысяч примеров из наборов Superior-Reasoning-SFT-gpt-oss-120b и Superior-Reasoning-SFT-gpt-oss-120b-Logprob. Это текстовая autoregressive-модель для генерации текста; сведения о поддерживаемых языках и размере контекста в карточке не указаны. Версия GGUF создана с использованием llama.cpp. Автор сборки применяет модифицированный подход к квантованию: отдельные важные слои переводятся в более высокую точность с помощью опции --tensor-type, что должно повышать точность при малой разрядности, особенно для MoE-моделей, но увеличивает размер файла. Заявленные результаты DASD-4B-Thinking включают 88,5 на AIME24, 83,3 на AIME25, 69,3 и 67,5 на LiveCodeBench v5 и v6 соответственно, а также 68,4 на GPQA-D. Сильными сторонами являются компактный размер, ориентация на сложное рассуждение, высокая эффективность дистилляции и возможность локального запуска на потребительском оборудовании. Ограничения включают отсутствие в предоставленных данных подробностей о языковом покрытии, контекстном окне, конкретных требованиях к памяти и характеристиках отдельных квантованных вариантов; приведённые бенчмарки не гарантируют аналогичную производительность в любых прикладных сценариях. Лицензия — Apache-2.0.

Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.003-128K-code-ds-auto-GGUF — это GGUF-квантизация инструкционной языковой модели Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.003-128K-code-ds-auto, разработанной EpistemeAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, работы с инструкциями и задач, связанных с программным кодом; запуск возможен, в частности, через LM Studio. В README указан английский язык и лицензия Apache-2.0. Модель основана на архитектуре Meta Llama 3.1 с размером 8B параметров и заявленным контекстом 128K токенов. Репозиторий содержит варианты от исходных весов F16 размером 16,07 ГБ до квантизаций Q8_0, Q6_K_L, Q6_K, Q5_K_L и других, что позволяет выбирать баланс между качеством и требованиями к памяти. Варианты Q6_K и Q6_K_L отмечены как рекомендуемые и обеспечивающие очень высокое качество. Поддерживается только текстовая модальность. Сильными сторонами являются большой контекст, инструкционная настройка, специализация исходной модели на агентских и кодовых сценариях, а также широкий выбор GGUF-квантизаций для локального запуска. Ограничения включают зависимость качества и требований к ресурсам от выбранного уровня квантизации; приведённые результаты бенчмарков показывают неоднородную производительность на задачах рассуждения, математики и общих знаний. README не содержит подробностей о методике обучения и дополнительных языках.

GritLM-7B — языковая модель ContextualAI, дообученная на основе Mistral-7B-v0.1 с помощью метода GRIT. Она объединяет генерацию текста и получение текстовых представлений: подходит для диалогов и задач, где нужны эмбеддинги или оценки релевантности. Модель имеет плотную архитектуру MistralForCausalLM, 7,1 млрд параметров и контекстное окно 32 768 токенов. Модель предназначена для использования как в генеративных сценариях, так и в задачах представления текста, включая поиск и ранжирование. В репозитории доступны веса PyTorch и Safetensors. Лицензия — Apache-2.0.

Hermes-3-Llama-3.1-405B-GGUF — это квантизированная версия текстовой генеративной модели Hermes-3-Llama-3.1-405B, разработанной NousResearch и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для диалогов, генерации текста, ролевых сценариев, следования инструкциям, работы с ChatML, function calling и вывода в формате JSON. Указана поддержка английского языка и текстовая модальность. Модель основана на архитектуре Llama 3.1 и содержит 405 миллиардов параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_L, Q4_K_M, Q4_K_S, IQ4_XS и другие, размером примерно от 93,5 до 431,24 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют значительно больше оперативной или видеопамяти; низкие уровни позволяют экономить ресурсы ценой снижения качества. Квантизации созданы с использованием llama.cpp и imatrix, запуск рекомендуется через LM Studio. Сильными сторонами являются большой размер модели, поддержка инструкций, диалогового формата, function calling и JSON mode, а также широкий выбор вариантов квантизации. Ограничениями выступают исключительно текстовая специализация, заявленная языковая поддержка английского языка и очень высокие требования к памяти даже у компактных вариантов. Контекстное окно в представленном README не указано. Модель распространяется по лицензии llama3.

Карточка модели yijuchen/Kimi-K3-RoutedMXFP4-FP8PTPC на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

Lemur 70B Chat v1 GGUF — это квантизированная версия диалоговой языковой модели Lemur 70B Chat v1, разработанной OpenLemur и опубликованной в формате GGUF командой TheBloke. Модель основана на архитектуре Llama и предназначена для генерации текста в формате text-generation, включая диалоговое взаимодействие и задачи, связанные с программированием. Модель имеет размер 70B параметров, поддерживает английский язык и использует шаблон запросов ChatML с ролями system, user и assistant. Формат GGUF рассчитан на запуск через llama.cpp и совместимые инструменты, включая text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другие решения для CPU- и GPU-инференса. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. К сильным сторонам относятся диалоговая настройка, возможности генерации кода и широкий выбор вариантов квантизации для локального запуска. Ограничения включают отсутствие в предоставленных данных сведений о контексте, точных языковых возможностях за пределами английского, результатах тестирования и конкретных требованиях к оборудованию; крупный размер модели также может затруднять запуск на системах с ограниченными ресурсами. В карточке указана лицензия CC BY-NC 4.0. Поскольку модель основана на Llama 2, дополнительно применяются условия лицензии Meta Llama 2; репозиторий указывает на возможное двойное лицензирование, поэтому условия коммерческого и иного использования следует проверять в исходном репозитории OpenLemur.

Meta Llama 3 70B Instruct — диалоговая большая языковая модель, разработанная Meta и настроенная для общения с пользователем. Она принимает текст и генерирует текст, включая программный код, поэтому подходит для чат-ассистентов и других сценариев генерации на естественном языке. Модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и содержит 70 млрд параметров. Инструктивная версия использует supervised fine-tuning и обучение с подкреплением на основе обратной связи от людей. В карточке указано назначение прежде всего для английского языка; модель статична и обучена на офлайн-данных. Модель можно применять в коммерческих и исследовательских проектах на условиях лицензии Llama 3 Community License и соответствующей политики допустимого использования. Она не предназначена для применения на языках, отличных от английского, хотя разработчики могут дообучать её для других языков при соблюдении условий лицензии. Для конкретного приложения потребуются собственные меры безопасности; ответы модели могут содержать ошибки или небезопасные сведения.

WhiskyAKM/MiniCPM5-2B-GGUF — квантизированная версия модели openbmb/MiniCPM5-2B, подготовленная в формате GGUF с использованием инструментов проекта llama.cpp. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, создания локальных ассистентов, coding agents, сценариев вызова инструментов и задач, требующих компактной модели. Это плотная Transformer-модель архитектуры LlamaForCausalLM с 2,52 млрд параметров, 42 слоями и grouped-query attention: 16 голов запросов и 2 головы ключей и значений. Поддерживается контекст до 131 072 токенов, языки — английский и китайский. Модель поддерживает режим рассуждений, управляемый параметром enable_thinking, а также XML-стиль вызова инструментов. Доступны варианты от BF16 до 4-битных квантов; Q4_K_M обозначен как сбалансированный вариант по качеству и размеру, его файл занимает около 1,5 ГБ. К сильным сторонам относятся небольшой размер, возможность локального развертывания, длинный контекст и поддержка спекулятивного декодирования с draft-моделями MiniCPM5-2B-DSpark, что может ускорять генерацию. К ограничениям относятся поддержка только текстовой модальности и заявленных языков, а также потенциальная потеря качества при использовании более агрессивной квантизации. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-72B — базовая языковая модель семейства Qwen2.5, разработанного командой Qwen. Это предварительно обученная плотная авторегрессионная модель на 71,5 млрд параметров с архитектурой Qwen2 и классом Qwen2ForCausalLM. В архитектуре используются RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания; модель содержит 80 слоёв и поддерживает контекст до 131 072 токенов. Модель предназначена для продолжения текста и как основа для последующего дообучения, например SFT или RLHF. Семейство Qwen2.5 поддерживает более 29 языков, включая русский, и улучшено для задач программирования, математики, следования инструкциям, работы с таблицами и создания структурированных ответов. Однако эта версия — базовая, а не настроенная для диалога, поэтому её не рекомендуют напрямую использовать для разговорных сценариев. Репозиторий распространяется под лицензией с обозначением `other`; конкретные условия следует сверить с лицензией модели на Hugging Face.

Qwen3.8-27B-UD-Q3_K_XL-DFlash2-MLX — это MLX-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная для локального запуска на компьютерах Apple Silicon. Модель разработана автором репозитория nathansutton и предназначена прежде всего для генерации текста, написания и анализа кода, а также работы в локальном coding-агенте chad, стилизованном под Claude Code. Модель поддерживает текстовый ввод и вывод; язык базовой модели и точный перечень поддерживаемых языков в README не указаны. Модель имеет плотную гибридную архитектуру Qwen3.8-27B с 27 млрд параметров, 64 слоями, включая 48 слоёв GatedDeltaNet и 16 слоёв полноформатного attention. Основная часть весов квантизирована до 3 бит с группами размера 64, эмбеддинги также имеют 3-битную квантизацию, а lm_head — 5-битную. Нативное контекстное окно составляет 262 тысячи токенов. Размер весов — около 12,1 ГБ, вместе с дополнительным drafter-модулем — около 13,3 ГБ; модель рассчитана на Apple Silicon с 24 ГБ памяти, но в таком режиме фактический доступный контекст обычно составляет десятки тысяч токенов. В комплект входит 1,9-миллиардный DFlash2 block drafter, который ускоряет авторегрессионную генерацию за счёт спекулятивного декодирования. Он квантизирован до 4 бит и предлагает блоки токенов, проверяемые целевой моделью с сохранением её распределения при семплировании. На M4 Pro с 24 ГБ памяти README сообщает ускорение примерно с 17,5 до 60,1 токена в секунду для жадной генерации и с 22,4 до 49–51 токена в секунду для режима с sampling; на длинных агентских контекстах прирост ниже. Ограничения включают зависимость от Apple Silicon и памяти, снижение эффективного контекста на устройствах с 24 ГБ, а также возможные расхождения жадной генерации с последовательным декодированием из-за различий вычислительных ядер. Целевые веса наследуют лицензию базовой модели Qwen3.8-27B, а содержимое каталога dflash — лицензию исходного релиза DFlash2. Перед использованием или распространением необходимо проверить условия обеих лицензий.