II.2Создание и понимание программного кода

Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-GGUF — это GGUF-квантизации модифицированной модели Qwen3.6-35B-A3B. Модель подготовлена независимым разработчиком llmfan46 на основе оригинальной Qwen/Qwen3.6-35B-A3B с использованием Heretic 1.3.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA). В карточке она обозначена как модель для обработки текста и изображений, однако подробные сведения о поддерживаемых языках и формате мультимодального ввода не приведены. Модель предназначена для локального запуска в сценариях генерации и анализа контента, где требуется меньше отказов и ограничений по сравнению с исходной версией. Архитектура относится к семейству Qwen3.6 и имеет конфигурацию 35B-A3B; в исходной и модифицированной версиях сохранены все 20 компонентов MTP. Изменения затрагивают отдельные компоненты attention и MLP, а заявленное расхождение с исходной моделью составляет 0,0015 KL divergence. По данным автора, доля отказов снизилась с 83 до 10 на тесте из 100 запросов. Сильной стороной модели является близость к исходной Qwen3.6-35B-A3B при значительно меньшем количестве отказов, что может быть полезно для исследовательских, творческих и локальных прикладных сценариев. При этом заявленные результаты предоставлены автором и не сопровождаются подробным описанием методики тестирования; сведения о размере контекста, языках, конкретных требованиях к ресурсам и качестве мультимодальной работы отсутствуют. Снижение ограничений также означает необходимость самостоятельной оценки рисков и фильтрации результатов. Лицензия указана как Apache 2.0; ссылка ведёт на лицензию исходной модели Qwen/Qwen3.6-35B-A3B.

llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-NVFP4-Experts-Only-GGUF — квантизированная версия модели Qwen3.6-35B-A3B, разработанная независимым автором llmfan46 на основе Qwen3.6-35B-A3B от Qwen. Это MoE-модель с заявленным общим размером 35B параметров и активируемыми 3B параметров. Вариант создан как decensored-версия с применением Heretic v1.2.0 и метода Magnitude-Preserving Orthogonal Ablation; по заявленным результатам, доля отказов снизилась с 83 до 10 на 100 тестовых запросов при KL-дивергенции менее 0,0015 относительно исходной модели. Модель предназначена для генерации текста с меньшим количеством встроенных ограничений и отказов. NVFP4-квантизация применяется к тензорам MoE-экспертов, тогда как неэкспертные и чувствительные тензоры сохранены в более высокой точности; в файлах могут присутствовать тензоры BF16, F32, U8 и F8_E4M3. Метаданные Hub указывают pipeline image-text-to-text, однако README не содержит подробностей о поддерживаемых языках, размере контекста, фактических возможностях обработки изображений или требованиях к оборудованию. Сильными сторонами являются близость к исходной модели по заявленной KL-дивергенции, существенно меньшее число отказов и снижение требований к хранению и вычислениям благодаря квантизации. Ограничения включают отсутствие подробных данных о языках, контексте, производительности на широком наборе задач и совместимости с конкретными средствами запуска. Модель распространяется по лицензии Apache-2.0.

Ryn1998/Qwen3.8-27B-Heretic-Abliterated-Uncensored-GGUF — вариант текстовой генеративной модели Qwen3.8-27B, основанный на модели Qwen/Qwen3.8-27B и доработанный с применением метода ARA (Arbitrary-Rank Ablation). Исходную abliteration-версию создал Tim Rohrbaugh, после чего она была дополнительно обработана двумя полными проходами ARA для уменьшения остаточных отказов. Модель предназначена для генерации текста, исследований, творческого письма и roleplay-сценариев, включая случаи, где требуется сниженное количество встроенных отказов. При этом она ориентирована на совершеннолетнюю аудиторию и требует ответственного использования в соответствии с законодательством. Модель содержит 27 млрд параметров и использует архитектуру Qwen3.8 с гибридом Gated DeltaNet и стандартного внимания: 64 слоя, из которых 16 используют обычное внимание, а 48 — линейное внимание Gated DeltaNet. Поддерживаются GQA с 24 attention heads и 4 KV heads, размер скрытого состояния составляет 5120, словарь содержит 248 320 токенов, максимальная длина контекста — 262 144 токена. Распространяется в формате GGUF для llama.cpp; доступны варианты с поддержкой MTP speculative decoding и без неё. Ключевая особенность — существенное снижение поведения, связанного с отказами: по приведённым независимым измерениям, их частота уменьшена с 3 из 100 у исходной abliteration-версии до 0–1 из 100, при этом заявлено небольшое изменение поведения модели (KL около 0,0085). Ограничение состоит в намеренном ослаблении защитных механизмов: модель может генерировать потенциально вредный или небезопасный контент, а отдельные guardrails всё ещё могут сохраняться. Лицензия — Apache-2.0, унаследованная от базовой модели Qwen3.8-27B.

JC1DA/Qwen3.8-27B-heretic-ara-W4A16 — 4-битная версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, разработанная JC1DA и опубликованная на базе библиотеки Transformers. Модель предназначена для генерации текста и может использоваться в сценариях, поддерживаемых causal language models, включая локальный инференс с пониженным потреблением памяти. Модель содержит около 27 млрд параметров и поставляется в десяти файлах. Используется квантование весов W4A16: веса представлены с точностью 4 бита, а активации — 16 битами. Квантование выполнено с помощью AutoRound в формате auto_round, с размером группы 128, 1000 итерациями и включённой компиляцией Torch. Некоторые слои, включая эмбеддинги, визуальные слои, отдельные нормализующие и линейные слои, не квантовались. Язык, размер контекста и точный набор поддерживаемых модальностей в README не указаны. Для загрузки рекомендуется использовать загрузчик AutoRound; также приведён вариант загрузки через Transformers при совместимой конфигурации. Лицензия модели — Apache-2.0. К ограничениям относятся зависимость от совместимости окружения с AutoRound или Transformers, а также отсутствие в README подробностей о качестве, языковой поддержке и результатах тестирования.

Qwen3.8-27B-Uncensored-oQ4e-fp16-mtp — это мультимодальная версия модели семейства Qwen3.8 с архитектурным типом qwen3_5 и примерно 27 млрд параметров. Артефакт создан pyros-vault как deployment-конверсия модели orcarouter/Qwen3.8-27B-Uncensored для Apple MLX с использованием oMLX 0.6.1 и смешанной квантизации oQ. Модель предназначена для диалоговых сценариев и обработки текста вместе с визуальными данными; в репозитории сохранены ресурсы Vision, обработчики изображений и видео, а также один слой MTP для потенциального speculative decoding. Основной формат хранения использует аффинную квантизацию Q4/G64 с 166 переопределениями тензоров Q5/G64. Размер тензорного содержимого составляет около 16,66 ГиБ в четырёх Safetensors-фрагментах; вспомогательные MTP-тензоры частично сохранены в F16, поэтому суффикс fp16 не означает полностью FP16-голову MTP. Конфигурация заявляет максимальный контекст 262 144 токена, однако этот предел не тестировался. Калибровка выполнялась на 128 последовательностях по 512 токенов с набором oqe_code_multilingual, но конкретный список поддерживаемых языков не указан. Модель ориентирована на запуск через oMLX на компьютерах Apple Silicon с macOS. Она не предназначена для непосредственного использования как GGUF-, Transformers- или CUDA-артефакт, а размещённая на Hugging Face инфраструктура не предоставляет для неё готовый hosted inference. Скорость, потребление памяти, качество Vision, работа MTP и фактическая пригодность длинного контекста зависят от версии oMLX, клиента и чипа Apple; качество может отличаться из-за квантизации, а заявка Uncensored унаследована от исходной модели и отдельно не проверялась. Для upstream-модели указана лицензия Apache-2.0; дополнительные условия следует сверять с исходной карточкой модели.

SalmanHabeeb/qwen-llamafiles — текстовая генеративная модель семейства Qwen, представленная в виде файлов safetensors и GGUF F16 для запуска через llamafile. В метаданных указана архитектура Qwen2 с плотной decoder-only моделью Qwen2ForCausalLM; размер составляет 463,9 млн параметров, контекст — до 32 768 токенов. Поддерживается диалоговый режим. Модель предназначена для генерации текста и ответов в чате. README описывает семейство Qwen1.5 как многоязычное и отмечает адаптированный к разным языкам и программному коду токенизатор, но метаданные этой конкретной модели подтверждают английский язык. README также указывает на возможные ошибки переключения между языками и рекомендует использовать параметры генерации из generation_config.json. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования по предоставленным данным определить нельзя.

Это набор файлов языковой модели QwQ-32B в формате GGUF, подготовленный TensorBlock на основе mlx-community/QwQ-32B-bf16. Репозиторий содержит варианты разной степени квантования, включая Q2_K и Q3_K; сильнее квантованные варианты занимают меньше места, но могут заметно терять в качестве. Модель предназначена для генерации текста в диалоговом формате и совместима с llama.cpp начиная с указанного в карточке коммита b4882. Для использования передавайте системный промпт и запрос пользователя по шаблону карточки. Лицензия — Apache-2.0. Карточка не приводит размер исходной модели, длину контекста или языковой охват; в метаданных отмечен английский язык.

Replete-LLM-Mist-Nemo-12b-test-merged-250k-GGUF — набор GGUF-квантизированных версий языковой модели Replete-LLM-Mist-Nemo-12b-test-merged-250k, разработанной Replete-AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio. Указанный язык — английский. Модель имеет размер около 12 млрд параметров; точная архитектура и размер контекстного окна в README не указаны. Доступны варианты от F32 до низкобитных Q2_K_L, включая Q4, Q5, Q6 и Q8; версии Q4–Q6 отмечены как рекомендуемые благодаря балансу качества и размера, а Q3 и Q2 подходят для систем с ограниченной оперативной памятью, но дают более низкое качество. Это текстовая, а не мультимодальная модель; поддержка других языков не заявлена. Модель распространяется по лицензии Apache-2.0. Для работы требуется совместимое ПО, поддерживающее формат GGUF и соответствующий вариант квантизации. README не содержит подробностей о данных обучения, результатах тестирования, безопасности, системных ограничениях или точном назначении исходной модели.

Replete-LLM-V2.5-Qwen-3b-GGUF — набор GGUF-квантизаций текстовой генеративной модели Rombos-LLM-V2.5-Qwen-3b, разработанной rombodawg. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локальных языковых приложений, в том числе через LM Studio. Модель имеет размер около 3 миллиардов параметров и работает в текстовой модальности. В репозитории представлены варианты от F16 до низкобитных IQ и Q-квантизаций размером примерно от 1,62 до 6,80 ГБ. Доступны конфигурации, ориентированные на высокое качество, экономию оперативной памяти и инференс на ARM-процессорах; отдельные варианты требуют поддержки sve или i8mm. Для работы используется шаблон промпта ChatML с ролями system, user и assistant. Сильная сторона набора — широкий выбор уровней квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к оборудованию. Низкобитные варианты могут уступать по качеству полной версии F16, а конкретные характеристики исходной архитектуры, поддерживаемые языки, размер контекста и результаты бенчмарков в README не указаны. Модель распространяется по лицензии Apache-2.0.

Shadowm7expMeliodaspercival_01_experiment26t3q-7B-GGUF — это квантизированная версия языковой модели automerger/Shadowm7expMeliodaspercival_01_experiment26t3q-7B, подготовленная MaziyarPanahi в формате GGUF. Модель предназначена для генерации текста и совместима с инструментами и библиотеками, поддерживающими GGUF, включая llama.cpp, llama-cpp-python, LM Studio и text-generation-webui. Модель относится к семейству Mistral и имеет размер 7B параметров. В репозитории представлены варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать между требованиями к памяти и качеством генерации. Указана поддержка текстовой генерации; сведения о языках, длине контекста, мультимодальности и результатах тестирования не приведены. Модель может использоваться локально и через совместимые серверные или программные интерфейсы, однако конкретные характеристики производительности зависят от выбранного варианта квантования и оборудования. Лицензия — Apache 2.0. Ограничением является отсутствие подробной документации о назначении исходной модели, обучающих данных, языковой специализации и качестве на конкретных задачах, поэтому пригодность для специализированных сценариев требует самостоятельной проверки.

Skywork_Skywork-OR1-32B-GGUF — это набор квантизированных версий языковой модели Skywork-OR1-32B, разработанной командой Skywork и преобразованной в формат GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp версии b5338 и метода imatrix на данных Skywork/Skywork-OR1-RL-Data. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от исходных весов BF16 размером 65,54 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3, Q2 и IQ с размером примерно от 13,07 до 34,82 ГБ. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5_K_M, Q6_K и другие версии с пометкой recommended; более компактные варианты экономят оперативную память, но снижают качество. В README указаны специальный шаблон промпта и поддержка текстовой генерации, однако сведения о языках, максимальном контексте, архитектуре исходной модели, мультимодальности и точных характеристиках обучения отсутствуют. Сильная сторона модели — возможность локального запуска на широком диапазоне оборудования благодаря множеству уровней квантизации и совместимости с экосистемой llama.cpp. Ограничения связаны с компромиссом между размером файлов, требованиями к памяти и качеством, а также с отсутствием в предоставленных данных результатов оценки и подробного описания возможностей. Лицензия в README не указана; условия использования следует уточнять у разработчика исходной модели Skywork-OR1-32B.

state-0-GGUF — это набор квантованных файлов модели state-0, базовая версия которой разработана Exthalpy. Квантование выполнил mradermacher; модель распространяется в формате GGUF и предназначена для запуска совместимыми инструментами локального вывода и генерации текста. В метаданных указаны библиотека Transformers, английский язык и обучающий датасет diverse. Модель относится к causal language models и поддерживает генерацию текста, включая сценарии со структурированными ответами; среди заявленных тегов также указан chain-of-thought. Точные архитектура, количество параметров, размер контекста и перечень поддерживаемых модальностей в README не приведены, поэтому подтвердить мультимодальность нельзя. Доступно множество вариантов квантования размером примерно от 3,3 до 16,2 ГБ: более компактные варианты экономят память, а f16 обеспечивает максимальное сохранение качества среди представленных файлов. README рекомендует варианты Q4_K_S и Q4_K_M как быстрые, а Q8_0 отмечает как вариант с лучшим качеством. Ограничения модели и результаты оценивания не указаны; качество зависит от выбранного уровня квантования. Лицензия базовой модели — MIT. README также ссылается на взвешенные варианты квантования, доступные в отдельном репозитории.

Steelskull_L3.3-San-Mai-R1-70b-GGUF — это набор GGUF-квантизаций текстогенерационной модели L3.3-San-Mai-R1-70b, разработанной Steelskull. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. В основе лежит модель размером 70 миллиардов параметров, однако сведения о конкретной архитектуре, поддерживаемых языках, модальностях и максимальной длине контекста в представленном README не указаны. Доступны варианты квантизации от Q8_0 до Q2_K_L, различающиеся размером файлов, требованиями к памяти и качеством вывода. Варианты Q6_K, Q5_K и ряд вариантов Q4 отмечены как рекомендуемые благодаря удачному балансу качества и размера; низкоразрядные варианты экономят память, но дают более низкое качество. Сильной стороной модели является возможность локального запуска на совместимом оборудовании и широкий выбор степеней квантизации. Ограничения включают значительные требования к оперативной памяти: размер файлов составляет примерно от 27 до 75 ГБ, а качество некоторых компактных вариантов заметно снижено. Для работы следует использовать указанный формат prompt в совместимом программном обеспечении. Лицензия указана как llama3.3.

Tiger-Gemma-9B-v3-GGUF — набор GGUF-квантизированных версий модели Tiger-Gemma-9B-v3, опубликованный и квантизированный пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, в том числе в LM Studio. Исходная модель разработана TheDrummer, однако README не содержит подробностей о методике её обучения. Доступны варианты от исходных весов F16 размером 18,49 ГБ до сильно сжатых Q2 и IQ2-версий. Квантизация выполнена с использованием imatrix на базе llama.cpp b3878; представлены форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ, включая варианты, оптимизированные для ARM-процессоров. Более качественными считаются F16, Q8_0, Q6_K и Q5_K, тогда как низкобитные варианты экономят память за счёт снижения качества. README не указывает архитектуру, поддерживаемые языки, размер контекста, модальности, точные сценарии применения исходной модели и лицензию. Формат промпта также не определён; для корректного использования рекомендуется обратиться к странице исходной модели.

watt-tool-8B — языковая модель watt-ai на 7,5 млрд параметров, дообученная на базе meta-llama/Llama-3.1-8B-Instruct. Она предназначена для диалоговых систем и агентов, которым нужно выбирать инструменты и вызывать функции в ходе многошагового взаимодействия, например для построения рабочих процессов. Модель обучалась с использованием supervised fine-tuning и DMPO на специализированных данных для работы с инструментами и многоходовых диалогов; README сообщает о сильных результатах на Berkeley Function-Calling Leaderboard. Модель принимает текст и генерирует текст с интерфейсом диалога; заявленный контекст — до 131 072 токенов. В карточке указана поддержка английского языка. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0. Модель рассчитана на сценарии вызова инструментов и функций, однако фактическая надёжность зависит от доступных инструментов, формата их описаний и интеграции в приложение. Заявление о лидерских результатах на BFCL приведено в README; методика и цифры оценки там не указаны.

bartowski/zai-org_GLM-4.6-GGUF — набор GGUF-квантизаций базовой языковой модели GLM-4.6, разработанной zai-org. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix, поэтому модель предназначена для локального запуска и генерации текста в приложениях на базе llama.cpp, включая LM Studio. Доступны варианты с разными уровнями квантования — от Q8_0 до IQ1_M — и размером файлов примерно от 79,56 до 379,32 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как младшие требуют меньше оперативной памяти, но заметно уступают по качеству; рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в README не указаны. Модель подходит для локальной текстовой генерации при наличии совместимого оборудования и программного обеспечения. Основные ограничения — очень большой размер файлов, зависимость от llama.cpp-совместимого окружения и снижение качества при низких уровнях квантования. Формат лицензии в README не указан.

Это набор квантованных версий модели zephyr-7b-sft-full-SPIN-iter3 в формате GGUF с использованием imatrix. Модель разработана на основе UCLA-AGI/zephyr-7b-sft-full; исходная модель представляет собой GPT-подобную модель примерно с 7 млрд параметров, дообученную на синтетических наборах данных. Базой послужила alignment-handbook/zephyr-7b-sft-full, созданная на основе mistralai/Mistral-7B-v0.1. Модель предназначена для генерации текста и преимущественно ориентирована на англоязычные NLP-сценарии. Формат GGUF позволяет запускать её с помощью llama.cpp и совместимых приложений, включая JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. README не содержит сведений о поддерживаемых модальностях помимо текста, размере контекста, конкретных вариантах квантования или требованиях к ресурсам. Сильными сторонами являются относительно компактный размер класса 7B и возможность локального запуска через широкий набор совместимых инструментов. Ограничениями выступают преимущественная ориентация на английский язык, отсутствие заявленных мультимодальных возможностей и недостаток подробных данных о качестве, контексте и характеристиках отдельных квантованных вариантов. В метаданных текущего репозитория указана лицензия other, тогда как в описании исходной модели заявлена лицензия MIT; условия использования следует уточнять для конкретного варианта и исходной модели.

ABEJA-Qwen2.5-32b-Japanese-v0.1 — 32-миллиардная плотная языковая модель на архитектуре Qwen2, разработанная командой ABEJA на базе Qwen/Qwen2.5-32B-Instruct. Модель прошла продолженное предварительное обучение с упором на японский язык; для усиления следования инструкциям применён ChatVector — разностный вектор между Qwen2.5-32B-Instruct и Qwen2.5-32B. Дополнительное постобучение не проводилось. Модель предназначена для генерации текста и диалогов на японском языке. Она принимает текст и выдаёт текст, работает через Transformers, поддерживает контекст до 32 768 токенов и имеет интерфейс для вызова инструментов. Поставляется в формате safetensors. Лицензия — Apache-2.0. Карточка не содержит конкретных результатов оценки качества; модель не проходила этап постобучения, поэтому качество следования инструкциям может отличаться от полноценно постобученных чат-моделей.

Apollo-V0.1-4B-Thinking-GGUF — это GGUF-квантизация языковой модели Apollo-V0.1-4B-Thinking, разработанной AllThingsIntel и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально в приложениях LM Studio, llama.cpp и других проектах на базе llama.cpp. Модель содержит около 4 миллиардов параметров и поставляется в форматах от BF16 до различных вариантов квантизации Q8, Q6, Q5, Q4 и Q3, включая IQ-форматы. Размер файлов варьируется примерно от 2,08 до 8,05 ГБ, что позволяет выбирать между качеством ответов и требованиями к оперативной памяти. README не содержит сведений об архитектуре исходной модели, поддерживаемых языках, размере контекстного окна, мультимодальности и специализированных сценариях применения. К сильным сторонам относятся возможность локального запуска, широкий выбор уровней квантизации и применение imatrix-калибровки, призванной сохранить качество при уменьшении размера. Более высокие варианты, такие как Q6_K_L и Q6_K, отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как сбалансированный вариант. Ограничения включают неизбежную потерю качества у низкобитных вариантов и отсутствие в README данных о результатах тестирования, лицензии и фактической производительности. Формат запросов использует шаблон ChatML с тегами system, user и assistant.

calme-2.2-phi3-4b-GGUF — это квантизированная версия модели calme-2.2-phi3-4b, разработанная и преобразованная в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие инструменты экосистемы GGUF. В основе лежит модель семейства Phi-3 с заявленным размером 4 млрд параметров. Доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на эффективный инференс, включая использование GPU, однако сведения о поддерживаемых языках, размере контекстного окна, точной архитектуре и результатах оценки в README не приведены. Основные преимущества модели — широкий выбор уровней квантизации и совместимость с популярными средствами локального запуска. Ограничения качества и производительности зависят от выбранного варианта квантизации и оборудования. Лицензия в предоставленном README не указана; условия использования исходной модели также требуют отдельной проверки.

Carnice-9b-GGUF — набор GGUF-сборок модели Carnice-9b, разработанной kai-os на основе Qwen/Qwen3.5-9B и специально дообученной для работы с Hermes-Agent. Модель предназначена прежде всего для локальных агентных сценариев, в которых требуется многошаговое взаимодействие с инструментами, включая терминал, файловую систему и браузер, а также корректное формирование действий в формате, ожидаемом Hermes-Agent. Обучение было ориентировано не на обычный диалоговый стиль, а на tool-use и поведение автономного агента в многоходовых задачах. В обучающие данные входили Hermes-совместимые траектории, примеры восстановления общего reasoning после специализированного дообучения и дополнительный этап настройки под формат действий и использование инструментов в Hermes-Agent. Модель имеет размер 9B и поддерживает текстовую генерацию; сведения о языках, максимальном контексте и мультимодальных возможностях в README не указаны. Репозиторий содержит три варианта квантизации: Q4_K_M размером около 5,3 ГБ для наиболее быстрого локального тестирования, Q6_K размером около 6,9 ГБ как компромисс между качеством и размером и Q8_0 размером около 8,9 ГБ для максимального качества среди GGUF-вариантов. Сборки предназначены для запуска через llama.cpp и являются самостоятельными объединёнными моделями, а не PEFT-адаптерами. Ограничения включают зависимость качества и скорости от выбранной квантизации и оборудования, а также специализированную ориентацию на Hermes-Agent, из-за которой поведение в универсальных чат-сценариях может не быть основной целью модели. Модель распространяется по лицензии Apache-2.0.

aerdincdal/CBDDO-LLM-8B-Instruct-v1 — инструктивная языковая модель на архитектуре Llama 3, дообученная разработчиком для работы с турецким языком. В метаданных указаны 7,5 млрд параметров, контекст до 8192 токенов и формат safetensors; модель предназначена для диалогового использования и генерации текста. Модель можно применять для генерации и редактирования текстов на турецком языке, ответов на вопросы, суммаризации, перевода и написания кода по запросу. README сообщает об обучении на наборе из 2,5 млн строк и перечисляет эти сценарии, но не приводит результатов бенчмарков. Модель распространяется по лицензии MIT.

Это GGUF-квантизированная версия языковой модели cogito-v1-preview-llama-3B, разработанной deepcogito и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие проекты на его основе. Модель относится к семейству Llama и имеет размер 3B параметров. Доступны варианты с разными уровнями квантизации — от BF16 до Q2_K_L, включая наиболее рекомендуемые Q4_K_M, Q5_K_M, Q6_K и другие форматы. Квантизация позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти; более компактные варианты подходят для устройств с ограниченными ресурсами, но могут заметнее уступать по качеству. В README не указаны поддерживаемые языки, размер контекстного окна, мультимодальные возможности и результаты бенчмарков, поэтому эти характеристики нельзя подтвердить. Для работы необходимо использовать совместимое программное обеспечение и соответствующий шаблон промпта. Лицензия указана как llama3.2.

DeepSeek-V4.1-Flash-MLX-mixed-4_8bit-engram6 — сборка модели DeepSeek-V4.1-Flash для MLX и компьютеров на Apple Silicon. Модель разработана на базе DeepSeek-V4.1-Flash; данная сборка подготовлена PipeNetwork. Это текстовая модель для генерации текста, работающая через специальный порт deepseek-v41-mlx, поскольку стандартные transformers, mlx-lm и mlx-vlm её не поддерживают. Модель содержит около 754,6 млрд параметров и использует архитектуру mixture-of-experts: 40 слоёв и 384 маршрутизируемых эксперта в каждом слое. В ней применяются MLA с межслойным совместным использованием KV-кэша, двухслойные hashed n-gram engram-эмбеддинги, hyper-connections и attention sinks. Экспертные блоки квантизированы до 4 бит, attention, общие компоненты и эмбеддинги — до 8 бит, а таблицы engram — до 8 бит с группами по 64 элемента; отдельные компоненты сохранены в bf16 или fp32. Vision tower и aligner присутствуют, но среда выполнения в этой сборке поддерживает только текст. Контекст модели и поддерживаемые языки в README не указаны. Размер файлов составляет около 476,8 ГБ, поэтому для запуска требуется компьютер с примерно 1 ТБ оперативной памяти; модель не помещается в 512 ГиБ с учётом рабочих активаций. Сборка прошла проверку на соответствие эталонной реализации DeepSeek, включая кэшированный и поэтапный вывод. Указанные измерения показывают небольшое расхождение с bf16-версией при смешанном 4/8-битном квантовании, однако полноценная perplexity для этой сборки не измерена. Модель распространяется по лицензии MIT; для загрузки необходим специализированный порт PipeNetwork.

bartowski/Donnager-70B-v1-GGUF — это набор GGUF-квантизаций 70-миллиардной текстовой модели Donnager-70B-v1, разработанной TheDrummer и сконвертированной и квантованной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio. Она поддерживает формат приглашений <s>[INST] {prompt} [/INST] и не поддерживает системный промпт. Доступны варианты квантования от Q8_0 до IQ1_M с размером файлов примерно от 15,94 до 73,29 ГБ. В README не указаны точная архитектура исходной модели, контекстное окно, поддерживаемые языки и модальности, поэтому эти характеристики нельзя определить по предоставленным данным. Более качественными считаются Q8_0, Q6_K, Q5_K_M и Q4_K_M; низкоразрядные варианты требуют меньше памяти, но заметно уступают в качестве. Некоторые варианты используют Q8_0 для embedding- и output-весов. Лицензия указана как other, без дополнительных условий в README. Для работы необходим совместимый рантайм GGUF, например llama.cpp или LM Studio; варианты размером более 50 ГБ могут быть разделены на несколько файлов.

FuseO1-DeepSeekR1-QwQ-SkyT1-32B-Preview-GGUF — набор GGUF-квантизаций базовой текстовой генеративной модели FuseAI/FuseO1-DeepSeekR1-QwQ-SkyT1-32B-Preview. Квантизации подготовлены пользователем bartowski с использованием llama.cpp версии b4514 и метода imatrix. Модель предназначена для локального запуска и генерации текста; в README отдельно указана совместимость с LM Studio. Модель имеет размер 32B параметров, поддерживает текстовый ввод и вывод, а доступные варианты используют форматы BF16, Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K. Размер файлов варьируется примерно от 15,94 до 65,54 ГБ, поэтому выбор варианта позволяет находить компромисс между качеством и требованиями к памяти. Для работы требуется соблюдать указанный формат промпта со специальными токенами модели. Сильной стороной являются многочисленные варианты квантизации: от полноразмерных BF16-весов до более компактных сборок для систем с ограниченным объёмом RAM. Для некоторых вариантов заявлено качество, близкое к исходному, однако низкобитные варианты могут заметно уступать по качеству. В README не указаны языки, размер контекстного окна, результаты тестирования, конкретные прикладные сценарии и лицензия исходной модели или квантизированных файлов.

G2-9B-Blackout-R1-GGUF — набор GGUF-квантизаций модели G2-9B-Blackout-R1, разработанной inflatebot и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp или совместимые приложения, включая LM Studio. Доступны варианты от полноточного F16 размером 18,49 ГБ до компактных форматов с 2–8-битным квантованием и размерами примерно от 3,81 до 9,83 ГБ. Квантизация выполнена с использованием imatrix; наиболее качественными и рекомендуемыми названы варианты Q6_K_L, Q6_K, Q5 и Q4. Для ARM-процессоров предусмотрены специальные варианты Q4_0_8_8, Q4_0_4_8 и Q4_0_4_4, отличающиеся требованиями к поддержке инструкций. Сильная сторона набора — широкий выбор компромиссов между качеством, размером файлов и требованиями к памяти, что позволяет запускать модель на различных локальных системах. Точные архитектура, поддерживаемые языки, размер контекста и формат промпта в представленном README не указаны; формат промпта рекомендуется уточнять на странице исходной модели. Лицензия также не указана.

DevQuasar-7/huihui-ai.DeepSeek-R1-Distill-Qwen-7B-abliterated-GGUF — квантованная версия модели huihui-ai/DeepSeek-R1-Distill-Qwen-7B-abliterated, опубликованная под брендом DevQuasar. Модель предназначена для генерации текста и относится к семейству DeepSeek-R1-Distill-Qwen-7B; формат GGUF ориентирован на использование в совместимых локальных инструментах инференса. Из доступных данных известно, что модель поддерживает сценарии текстовой генерации, однако сведения об архитектуре, конкретном размере квантования, языках, длине контекста, модальностях, сильных сторонах и ограничениях отсутствуют. Лицензия и условия использования в README также не указаны, поэтому их необходимо уточнить в исходном репозитории модели и у разработчиков.

Huihui-gemma-4-E4B-it-qat-q4_0-unquantized-abliterated-i1-GGUF — это GGUF-квантизированная версия модели Huihui-gemma-4-E4B-it-qat-q4_0-unquantized-abliterated, разработанной huihui-ai и подготовленной для распространения mradermacher. Модель основана на Gemma 4 и предназначена для диалоговых и генеративных задач; в карточке также указано, что это vision-модель, способная работать с визуальными данными при наличии соответствующего mmproj-файла. Заявленный язык — английский, библиотека — Transformers. Модель поставляется в вариантах GGUF с imatrix-квантизацией и разными форматами точности, включая i1-IQ1_S, i1-IQ2_M, i1-IQ3_M, i1-IQ4_XS и i1-Q4_0. Размер доступных файлов составляет примерно от 3,4 до 5,3 ГБ, что позволяет запускать модель на устройствах с ограниченными ресурсами, однако более агрессивная квантизация может снижать качество ответов. Конкретные сведения о размере архитектуры, максимальном контексте, поддерживаемых языках помимо английского и результатах тестирования в README не приведены. К сильным сторонам относятся компактные GGUF-варианты, возможность локального запуска и поддержка мультимодального сценария через отдельный mmproj-файл. Ограничениями являются отсутствие подробных оценок качества, неопределённость характеристик контекстного окна и потенциальная потеря качества при использовании малобитных вариантов. Модель помечена как abliterated и uncensored, поэтому её поведение, отказоустойчивость и безопасность следует самостоятельно проверять перед применением. Лицензия указана как Apache 2.0; для Gemma дополнительно приведена ссылка на официальные условия лицензирования Google.

Это GGUF-квантизованная версия языковой модели L3.3-Ignition-v0.1-70B, разработанной invisietch и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях на базе llama.cpp, включая LM Studio. Модель имеет размер 70B параметров и представлена в нескольких вариантах квантования от Q8_0 до Q2_K_L, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Для квантизации использовался llama.cpp с методом imatrix и калибровочными наборами данных. Наиболее качественными и рекомендуемыми в README названы варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M; более компактные варианты обеспечивают экономию памяти за счёт снижения качества. Модель подходит для локальной текстовой генерации, однако конкретные языки, длина контекста, архитектурные особенности исходной модели, рекомендуемый формат промпта и результаты оценки в README не указаны. Лицензия также не приведена, поэтому условия использования следует уточнять на странице исходной модели invisietch/L3.3-Ignition-v0.1-70B. Для работы требуются совместимое приложение на базе llama.cpp и значительный объём памяти, особенно для вариантов высокого качества.