II.2Создание и понимание программного кода

Mungert/gemma-3-27b-it-GGUF — это квантованная GGUF-версия мультимодальной инструкционной модели Gemma 3 27B IT, разработанной Google и преобразованной в формат GGUF автором Mungert. Базовая модель указана как google/gemma-3-27b-pt. Модель предназначена для диалогового использования, генерации текста и анализа изображений через экспериментальную поддержку Gemma 3 Vision в llama.cpp. Из README известно, что модель поддерживает текст и изображения, а для работы с изображениями требуется отдельный файл mmproj. Предусмотрен запуск через llama-gemma3-cli; доступны команды загрузки изображения, очистки истории и выхода. Точные сведения о языках, размере контекста, параметрах конкретных квантованных файлов и их производительности для версии 27B в README не приведены. Описанный подход с IQ-DynamicGate относится к экспериментам на Llama-3-8B и не подтверждает характеристики данной модели. Основные преимущества — мультимодальность, возможность локального запуска и снижение требований к памяти благодаря квантованию. Ограничения включают экспериментальный статус поддержки Vision в llama.cpp, необходимость совместимого runtime и отдельного mmproj-файла, а также потенциальную потерю качества при низкобитном квантовании. Для доступа на Hugging Face требуется принять лицензию Google Gemma; в карточке указана лицензия gemma.

Gemma-4-96E-A4B-Heretic-TQ — сборка модели blascotobasco/Gemma-4-96E-A4B-Heretic в формате GGUF с квантизацией TurboQuant. Репозиторий содержит варианты TQ3_1S и TQ4_1S, а также шаблон чата Gemma 4 Interleaved. Весовые данные были переквантованы для публикации; последующее обновление изменило метаданные GGUF и встроенный шаблон, но не переквантизировало тензоры. Модель предназначена для генерации текста и диалогового использования через совместимую ветку llama.cpp с поддержкой TurboQuant. Обновлённый встроенный шаблон поддерживает режим рассуждений без отдельного файла шаблона чата. README не приводит размер исходной модели, окно контекста или список языков, поэтому эти характеристики здесь не уточняются. Для запуска требуется указанная в README ветка llama.cpp с поддержкой TurboQuant. Лицензия в предоставленных данных не указана.

DuoNeural Gemma-4-E2B-Heretic-GGUF — набор квантизированных моделей в формате GGUF, разработанный лабораторией DuoNeural на основе google/gemma-4-e2b-it. Это инструкционно настроенная версия Gemma 4 2B, модифицированная методом abliteration: из активаций и весов удалено направление, связанное с отказами, при заявленном сохранении возможностей следовать инструкциям и рассуждать. Модель предназначена для генерации текста, диалоговых ассистентов и локального запуска через llama.cpp, Ollama, Jan, LM Studio и Open WebUI. Указан английский язык, текстовая генерация и контекст до 128K токенов. README также заявляет мультимодальные входы у базовой модели, однако для данного GGUF-набора конкретная поддержка мультимодальности не описана. Доступны варианты от FP16 размером около 8,7 ГБ до экстремально сжатых IQ1_S около 2,2 ГБ; Q4_K_M указан как рекомендуемый компромисс между качеством и размером, а IQ-варианты используют importance matrix. Сильными сторонами являются небольшой размер базовой модели, широкий выбор уровней квантизации и возможность локального запуска на оборудовании с ограниченной памятью. Abliteration направлена на снижение отказов при сохранении полезности, но README не приводит независимых бенчмарков, подробных результатов валидации или количественной оценки качества. Агрессивная квантизация может ухудшать качество, а заявленное отсутствие отказов может повышать риск небезопасной генерации. Лицензия — Apache-2.0.

TrevorJS/gemma-4-E4B-it-uncensored-GGUF — это набор GGUF-квантизаций инструкционной модели TrevorJS/gemma-4-E4B-it-uncensored, основанной на google/gemma-4-E4B-it. Модель предназначена для генерации текста и диалогового использования, включая локальный запуск через llama-server. В README указано, что это версия с удалённым типичным отказным поведением, полученная методом norm-preserving biprojected abliteration. Доступны варианты Q4_K_M размером 5,3 ГБ и Q8_0 размером 8,0 ГБ. Заявленный язык — английский. В качестве примеров запуска используется контекст 8192 токена, однако максимальный размер контекста и подробные характеристики архитектуры в README не указаны. Формат GGUF удобен для локального инференса и позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. К сильным сторонам относятся локальный запуск, наличие двух уровней квантизации и сниженное количество отказов на запросы. Ограничения связаны с отсутствием подробных данных о производительности, мультимодальности, фактическом размере модели, качестве после abliteration и поддерживаемых языках помимо английского. README указывает лицензию Apache-2.0.

GLM-5.3-Flash-Uncensored-GGUF — это квантованные GGUF-версии модели GLM-5.3-Flash от Z.ai, подготовленные и опубликованные OrcaRouter. Модель предназначена для локального запуска в llama.cpp на CPU, CUDA, Metal и ROCm. Она ориентирована на исследовательские задачи, включая интерпретируемость, изучение механизмов отказа, red teaming, оценку устойчивости и контролируемые эксперименты. Вариант uncensored получен удалением значительной части механизмов отказа, поэтому модель может выполнять вредоносные, незаконные или этически проблемные запросы. Модель имеет архитектуру Mixture-of-Experts: около 320 млрд параметров, из которых активно примерно 18 млрд; используется 288 маршрутизируемых экспертов с выбором top-8 и один общий эксперт. Заявлены гибридное линейное и разреженное внимание, Manifold-Constrained Hyper-Connections шириной 4, поддержка текста, изображений и видео, а также контекст до 1 млн токенов. Поддерживаются английский и китайский языки. Доступны квантизации от 2 до 6 бит; Q4_K_M рекомендуется как баланс качества и размера, а Q6_K обеспечивает наивысшую точность среди представленных вариантов. Для обработки изображений требуется отдельный файл mmproj. GGUF-сборки не содержат MTP-голову для спекулятивного декодирования, а для работы необходима свежая версия llama.cpp с поддержкой архитектуры glm5next. Модель распространяется по лицензии MIT, однако её использование требует самостоятельных мер безопасности, модерации и предотвращения злоупотреблений.

IRx-2 Pro — офлайн-чат-ассистент семейства IRx, опубликованный ikppramesh. Это 4-битная модель семейства Gemma 4 в формате MLX/SafeTensors с шаблоном чата; она рассчитана на локальную работу на Mac и требует устройства с 12 ГБ оперативной памяти или больше. Модель генерирует текст и предназначена для длинных подробных ответов и продолжительных диалогов; примеры применения включают помощь с разработкой ПО, планированием фермерского сезона, подготовкой отчётов и обучением. README указывает, что модель обучалась с контекстным окном 2048 токенов. В неё также включён офлайн-дайджест новостей с данными по 3 октября 2026 года. Модель работает без подключения к интернету, а запросы остаются на устройстве. В карточке заявлена лицензия Apache-2.0. README предупреждает, что модель уступает крупным размещённым сервисам в сложных рассуждениях, программировании и широте знаний, может уверенно сообщать неверные факты и не подходит для вызова инструментов или функций. Дайджест не обеспечивает надёжных сведений о новостях за пределами перечисленных заголовков.

Это набор квантованных файлов модели ishaanxgupta/gemma-2-2bit-quantised в формате GGUF, подготовленный командой featherless-ai-quants. Модель предназначена для генерации текста и может использоваться в совместимых локальных или серверных средах, поддерживающих GGUF. README не указывает точную архитектуру базовой модели, число параметров, поддерживаемые языки и размер контекста. Доступны варианты квантования IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0; их размер составляет примерно от 1,17 до 2,66 ГБ. Разные варианты позволяют выбирать компромисс между размером файлов и качеством или скоростью работы, однако результаты сравнительного тестирования в README не приведены. Указаний о мультимодальности нет, поэтому набор следует рассматривать как текстовую модель. Лицензия в README не указана. Также отсутствуют сведения об ограничениях применения, точных требованиях к оборудованию и рекомендуемых параметрах запуска.

KIN-Verification-Translator — специализированная текстовая модель для анализа и проверки утверждений в области кибербезопасности. Модель разработана автором nyxspecter4 на базе Qwen/Qwen2.5-3B-Instruct и дообучена методами LoRA SFT и DPO. Она предназначена не для общего диалога или энциклопедических ответов, а для преобразования результатов работы AI-агентов, комментариев к pull request, отчётов об уязвимостях и трассировок агентов в структурированные проверяемые заключения. Основной формат ответа включает утверждение, потенциальный ущерб, объяснение причины, способ самостоятельно воспроизвести или проверить проблему, а также уровень уверенности и условия опровержения. Модель ориентирована на code review, bug bounty, анализ CVE, SOC, DFIR, threat intelligence, incident response, CTF, penetration testing и задачи red team и blue team. Предусмотрено представление на трёх уровнях детализации: для сопровождающего проекта, инженера и начинающего специалиста. Известен английский язык; модель относится к текстовым моделям генерации текста и имеет размер 3B параметров. Модель обучена на 1 635 DPO-парах, где предпочтение отдавалось структурированным аудитам с первопричиной, исправлением и регрессионным тестом, а не расплывчатым заявлениям без проверки. Её ключевая особенность — отказ демонстрировать высокую уверенность при отсутствии воспроизводимого доказательства. В README заявлены показатели anti-hallucination-grounding 98,4%, pass-at-1 recall 96,8% и gap-delta-eval 0,84, однако методика и сопоставимые базовые результаты не приведены. Для качественной работы рекомендуется использовать указанный системный промпт и температуру 0,3; это ограничивает универсальность модели и может ухудшать результаты при иных инструкциях. Лицензия — Apache-2.0.

Daring Fortitude — плотная языковая модель семейства Llama 2 с 12,9 млрд параметров, созданная sequelbox на основе Llama 2 13B. Модель дообучена на открытых данных для улучшения технических знаний и общих возможностей; её основная задача — генерация текста, а нативный контекст составляет 4096 токенов. Модель предназначена прежде всего как улучшенная относительно исходной Llama 2 13B база для дальнейшего дообучения. Её можно использовать для экспериментов с языковыми моделями и генерацией ответов на технические вопросы, но автор не рекомендует применять её напрямую как производственную чат-модель. Модель выпущена в формате safetensors по лицензии Llama 2.

Llama2-13B-DiamondForce — чат-модель общего назначения, дообученная sequelbox на базе Llama 2 13B. Она предназначена для диалогов и технических задач; при обучении использовались открытые и частные данные, преимущественно в формате чата INST. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 12,9 млрд параметров и поддерживает контекст до 4096 токенов. Модель выдаёт текст и распространяется в формате safetensors по лицензии Apache 2.0. Автор характеризует её как пригодную к использованию без дополнительной настройки, но отмечает, что дальнейшее дообучение может улучшить удовлетворённость пользователей. Модель обозначена как устаревшая и предлагается главным образом для справки; для общего применения автор рекомендует Llama 3.

Llama-3.1-WhiteRabbitNeo-2-8B-GGUF — это набор GGUF-квантизаций модели Llama-3.1-WhiteRabbitNeo-2-8B, подготовленный пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через совместимые приложения, включая LM Studio. Модель основана на архитектуре Llama 3.1 и содержит 8 миллиардов параметров. Доступны варианты от исходных весов F16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Размеры файлов варьируются примерно от 3,78 до 16,07 ГБ. Для некоторых вариантов предусмотрена оптимизация под ARM-процессоры, включая требования к поддержке sve или i8mm. Сильной стороной набора является широкий выбор степеней квантизации: высококачественные варианты Q6 и Q5 подходят для минимизации потерь, а Q4 и Q3 — для устройств с ограниченными ресурсами. Ограничения включают возможное снижение качества при сильной квантизации, отсутствие в README сведений о поддерживаемых языках, длине контекста, мультимодальности и результатах оценки. Для корректной работы следует использовать указанный формат prompt и совместимое ПО. Лицензия указана как llama3.1.

QuantFactory/llama7b-wizardlm-unfiltered-GGUF — квантизированная версия языковой модели ausboss/llama7b-wizardlm-unfiltered, подготовленная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и соответствует задаче text-generation. Из доступных данных известно, что в основе лежит модель семейства Llama с заявленным размером 7B параметров и вариантом WizardLM Unfiltered. Формат GGUF предназначен для использования в совместимых инструментах локального запуска, включая llama.cpp. Конкретный метод и уровень квантизации, поддерживаемые языки, размер контекста, модальности и аппаратные требования в карточке не указаны. Модель может быть полезна для локальной генерации текста и экспериментов с открытыми языковыми моделями. Ограничения включают отсутствие подробных сведений о качестве, языковой поддержке, безопасности, лицензии и точных характеристиках данного квантизированного варианта; перед применением необходимо проверить условия распространения исходной модели и совместимость выбранного файла с используемым программным обеспечением.

Magnum-v3-9b-customgemma2-GGUF — это набор GGUF-квантизированных файлов базовой текстогенерационной модели anthracite-org/magnum-v3-9b-customgemma2. Квантизацию выполнил bartowski с использованием llama.cpp версии b3658 и метода imatrix. По идентификатору и названию модель относится к классу примерно 9-миллиардных моделей на базе customgemma2, однако точная архитектура, языки и длина контекста в представленном README не указаны. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp и LM Studio. Доступны варианты от полного F16 размером 18,49 ГБ до компактных IQ3_XS и других низкобитных квантизаций; варианты Q6_K_L и Q6_K отмечены как обеспечивающие очень высокое качество, а Q4_K_M — как компромиссный вариант по размеру и качеству. Отдельные сборки оптимизированы для ARM-процессоров и требуют соответствующей аппаратной поддержки. К сильным сторонам относятся широкий выбор квантизаций, возможность локального инференса и применение imatrix для повышения качества сжатых версий. Ограничения включают отсутствие в README сведений о результатах тестирования, поддерживаемых языках, контекстном окне, мультимодальности, формате промптов и специальных сценариях применения; формат промпта необходимо уточнять на странице исходной модели. Лицензия указана как gemma.

Menlo_Jan-nano-GGUF — это набор квантизированных версий языковой модели Jan-nano, разработанной Menlo и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального инференса через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от полного BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы IQ. Размер файлов составляет примерно от 1,5 до 8,05 ГБ. Квантизация выполнена с использованием llama.cpp b5627 и метода imatrix. Более высокие уровни обычно сохраняют лучшее качество, тогда как компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству; для большинства сценариев README рекомендует варианты Q4_K_M, Q5, Q6 и некоторые другие. README не содержит сведений об архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста, поэтому эти характеристики нельзя достоверно определить. Для работы требуется совместимое программное обеспечение на базе llama.cpp; модель поддерживает указанный в README шаблон чата. Лицензия — Apache-2.0.

Ministral-3-14B-Reasoning-2512-Uncensored-GGUF — квантизированная GGUF-версия модели Ministral-3-14B-Reasoning-2512-Uncensored, разработанной ccharnkij и подготовленной к квантизации mradermacher. Модель предназначена для генерации текста и задач, требующих рассуждений; заявлена поддержка мультимодальных сценариев image-text-to-text, включая обработку изображений через дополнительный multimodal projector. Указан английский язык. Модель относится к семейству Ministral и имеет размер 14 млрд параметров. Доступны варианты квантизации от Q2_K до Q8_0, а также IQ4_XS, с размером файлов примерно от 5,3 до 14,5 ГБ; варианты Q4_K_S и Q4_K_M обозначены как быстрые и рекомендуемые, а Q8_0 — как обеспечивающий наилучшее качество среди представленных. README не содержит сведений о размере контекста, точной архитектуре, результатах тестирования или практических ограничениях качества. Это uncensored-модификация, поэтому поведение модели с точки зрения безопасности и отказов следует дополнительно проверять перед применением. Модель распространяется по лицензии Apache-2.0. Для мультимодального использования требуются отдельные файлы mmproj в форматах Q8_0 или F16. README не уточняет системные требования, совместимые приложения и подробные инструкции по применению.

afrideva/mpt-3b-8k-instruct-GGUF — набор квантизированных GGUF-файлов модели mpt-3b-8k-instruct, разработанной niallturbitt и опубликованной в форматах для локального запуска. Квантизацию выполнил afrideva. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется компактная языковая модель, пригодная для работы на ограниченных ресурсах. Модель имеет размер 3 миллиарда параметров, поддерживает контекст до 8 тысяч токенов согласно идентификатору базовой модели и относится к текстовым моделям без заявленной поддержки дополнительных модальностей. Доступны варианты квантизации q2_k, q3_k_m, q4_k_m, q5_k_m, q6_k и q8_0 размером от 1,54 до 3,86 ГБ. Более компактные варианты требуют меньше памяти, но могут сильнее терять в качестве относительно менее агрессивной квантизации. Карточка не содержит сведений о поддерживаемых языках, точной архитектуре, результатах тестирования, рекомендуемом программном обеспечении для запуска или лицензии. Поэтому языковые возможности, производительность и условия распространения следует уточнять в карточке исходной модели и сопроводительных материалах.

MysticFusion-13B-GGUF — это квантизированная версия языковой модели MysticFusion 13B, разработанной wbag (Walmart-the-bag) и опубликованной в формате GGUF компанией TheBloke. Модель предназначена для генерации текста и обработки текстовых инструкций на английском языке; в README приведён шаблон запросов в формате Alpaca-Tiefighter. Архитектура указана как Llama, размер — 13 млрд параметров, модальность — текстовая. Размер контекста не указан. Файлы GGUF поддерживают различные уровни квантизации от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью работы и качеством генерации. Модель совместима с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие, поэтому подходит для локального запуска на CPU и GPU. Качество и производительность зависят от выбранного варианта квантизации; конкретные результаты тестирования и ограничения исходной модели в README не приведены. Лицензия указана как llama2.

NorMistral-11B-warm — большая языковая модель, разработанная Language Technology Group Университета Осло в сотрудничестве с NORA.LLM. Она входит в семейство NORA.LLM и создана на основе Mistral-Nemo-Base-2407 посредством дополнительного предобучения на 250 млрд субтокенов. Модель предназначена прежде всего для исследовательских задач, связанных с генерацией и обработкой текста, включая перевод и работу со скандинавскими языками, саамскими языками, английским языком и программным кодом. Модель использует архитектуру Mistral с 40 слоями Transformer, 11,4 млрд параметров, скрытым размером 5120, механизмами RMSNorm, SwiGLU, rotary positional embeddings и grouped-query attention. В словаре 51 200 токенов; специализированный токенизатор уменьшает количество токенов на слово по сравнению с исходной моделью, что может ускорять инференс на целевых языках. Обучение сочетает causal language modeling и masked next-token prediction, поэтому модель может использоваться как генеративная causal-модель и как двунаправленная encoder-модель. README не указывает размер контекстного окна. Сильными сторонами модели являются адаптация к Bokmål, Nynorsk и Northern Sámi, поддержка Danish, Swedish, Icelandic, Faroese и English, а также обучение на сбалансированном многоязычном корпусе с повторным использованием данных малоресурсных языков. При этом модель не дообучалась для следования инструкциям и может генерировать вредоносные продолжения при неподходящих запросах, поэтому не предназначена для неконтролируемого пользовательского применения. Весы распространяются по лицензии Apache-2.0, однако разработчики не заявляют права на все данные обучающей коллекции.

Ognoexperiment27Multi_verse_model-7B — автоматическое слияние моделей, опубликованное Maxime Labonne. В карточке указано объединение ammarali32/multi_verse_model с automerger/OgnoExperiment27-7B методом dare_ties; параметры слияния включают density 0,53, weight 0,6 и int8_mask. Метаданные относят модель к семейству Mistral, архитектуре MistralForCausalLM с плотными весами; размер — 7,1 млрд параметров, формат — safetensors, контекст — до 32 768 токенов. Модель предназначена для генерации текста и может использоваться в сценариях, поддерживаемых её базовыми моделями. В README приведён пример загрузки через Transformers. Указана лицензия Apache-2.0. Карточка не описывает специализацию, языки или сравнительные результаты, поэтому их нельзя установить по доступным данным.

pavansn2000/ollama3.2_flutter — модель, разработанная pavansn2000 и дообученная на основе unsloth/llama-3.2-3b-instruct-bnb-4bit. Для обучения использовались Unsloth и библиотека TRL от Hugging Face; в README также указано, что обучение выполнялось в два раза быстрее с применением Unsloth. Модель предназначена для генерации текста и относится к семейству Llama. Из доступных данных известны размер базовой модели — 3 миллиарда параметров, формат квантования — 4-bit, а также поддержка английского языка. Указаний на дополнительные модальности, размер контекста, специализированные сценарии применения или конкретные изменения, внесённые в ходе дообучения, нет. К сильным сторонам относятся компактный размер, инструкционная направленность базовой модели и сниженные требования к ресурсам благодаря 4-битному представлению. Ограничения связаны с неизвестными характеристиками дообучения, отсутствием данных о качестве, тестах и поддерживаемых языках за пределами английского. Модель распространяется по лицензии Apache-2.0.

bartowski/OpenThinker-7B-GGUF — набор квантизированных GGUF-версий модели OpenThinker-7B, разработанной open-thoughts. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Квантизация выполнена с использованием llama.cpp и метода imatrix на основе набора данных open-thoughts/open-thoughts-114k. Доступны версии с точностью от F32 и F16 до различных вариантов Q8, Q6, Q5, Q4, Q3, Q2 и IQ-квантизации. Размер файлов варьируется примерно от 3,02 до 30,47 ГБ; варианты с более высокой точностью обычно обеспечивают лучшее качество, а менее точные требуют меньше оперативной памяти. В README не указаны архитектура исходной модели, поддерживаемые языки, размер контекста и мультимодальные возможности, поэтому эти характеристики нельзя подтвердить. Модель подходит для локальной текстовой генерации при выборе квантизации под доступные ресурсы. Сильной стороной является широкий выбор форматов и возможность запуска на совместимом локальном оборудовании, однако квантизация может снижать качество по сравнению с исходными весами, особенно в компактных вариантах. Распространяется по лицензии Apache-2.0.

oss-20B-opus-distill-i1-GGUF — это набор квантизированных файлов в формате GGUF для текстовой генерации на основе модели P0x0/oss-20B-opus-distill. Квантизацию выполнил mradermacher; модель предназначена для локального запуска и инференса с использованием совместимых инструментов, поддерживающих GGUF. В метаданных указаны библиотека transformers, архитектура causal language model и английский язык. Модель содержит около 20 млрд параметров; сведения о точной архитектуре, размере контекста и мультимодальности не приведены. Доступны варианты квантизации i1-IQ1_M, i1-IQ1_S, i1-IQ2, i1-IQ3, i1-IQ4, i1-Q2_K, i1-Q3_K, i1-Q4, i1-Q5_K и i1-Q6_K размером примерно от 12,1 до 22,3 ГБ. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать в качестве; в README вариант i1-Q4_K_M назван быстрым и рекомендованным, а i1-Q4_K_S — оптимальным по сочетанию размера, скорости и качества. Сильной стороной модели является широкий выбор квантизаций для локального использования и снижение требований к памяти по сравнению с полноразмерными весами. Ограничения включают отсутствие опубликованных данных о результатах тестирования, контексте, языках кроме английского, качестве на конкретных задачах и требованиях к программному обеспечению. Лицензия в README не указана, поэтому условия использования следует уточнять у базовой модели и автора.

MaziyarPanahi/Qwen2.5-1.5B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2.5-1.5B-Instruct, разработанной командой Qwen. Квантованные варианты подготовлены MaziyarPanahi. Модель предназначена для генерации текста и использования в локальных приложениях и чат-интерфейсах, совместимых с GGUF. Модель относится к семейству Qwen2.5 и имеет размер 1,5 млрд параметров. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать между снижением требований к памяти и сохранением качества. Формат поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами. README не содержит сведений о языках, размере контекста, точной архитектуре, показателях качества или лицензии. Сильная сторона модели — возможность локального запуска на широком спектре устройств благодаря компактному размеру и квантованию. Ограничения включают потенциальное снижение качества в более агрессивных вариантах квантования и отсутствие подтверждённых в README характеристик мультимодальности, языкового охвата и контекстного окна. Условия лицензирования в предоставленных данных не указаны.

Qwen2.5-32B-Instruct-abliterated-v2-GGUF — это GGUF-версия модифицированной языковой модели Qwen2.5-32B-Instruct. Базовую модель разработала команда Qwen, а данную адаптацию опубликовал пользователь zetasepic. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-интерфейсах и локальных приложениях, поддерживающих формат GGUF. Модель основана на инструкционно дообученной архитектуре Qwen2.5 с размером около 32 млрд параметров и работает в текстовой модальности. В карточке указано, что она ориентирована на английский язык; сведения о размере контекстного окна и конкретном формате квантования отсутствуют. Версия создана с применением техники abliteration и кода проекта refusal_direction, направленной на уменьшение выраженности отказов и моральных предостережений модели. Потенциальным преимуществом является более свободное следование запросам по сравнению с исходной инструкционной моделью, а также возможность локального запуска через совместимые инструменты GGUF. При этом изменение поведения отказов может снизить встроенные защитные ограничения и повысить риск небезопасных или нежелательных ответов; качество и скорость также зависят от конкретной квантованной сборки и оборудования. Модель распространяется по лицензии Apache 2.0.

lmstudio-community/Qwen3-1.7B-MLX-4bit — языковая модель для генерации текста, разработанная сообществом lmstudio-community на основе Qwen/Qwen3-1.7B от Qwen. Модель преобразована в формат MLX с использованием mlx-lm версии 0.24.0 и предназначена для запуска через библиотеку mlx-lm, в том числе в сценариях локальной генерации текста и чат-взаимодействия с применением chat template. Известно, что модель имеет размер 1,7 млрд параметров и использует 4-битное представление MLX. Она относится к классу text-generation; поддерживаемые языки, точный размер контекста, архитектурные детали, модальности и количественные показатели качества в README не указаны. К сильным сторонам относятся компактный размер и формат, ориентированный на эффективный запуск в экосистеме MLX. Ограничения включают отсутствие подробных данных о возможностях, производительности и языковом покрытии, а также зависимость от совместимого окружения mlx-lm. Модель распространяется по лицензии Apache-2.0.

MMOPD/Qwen3-1.7B-OT3-tau — плотная языковая модель Qwen3 с 1,7 млрд параметров, разработанная MMOPD. Это дообучение MMOPD/Qwen3-1.7B-OT3-2ep методом supervised fine-tuning на траекториях использования инструментов Tau2 из inclusionAI/AReaL-tau2-data. Базовая модель ранее была дообучена на OpenThoughts3-1.2M и поддерживает режим рассуждений. Модель предназначена для диалоговых сценариев с несколькими ходами, где ассистент рассуждает и вызывает инструменты. Обучение охватило 33 531 траекторию; шаблон чата унаследован от базовой модели. Нативное окно контекста — 32 768 токенов, модель работает через Transformers и распространяется в формате safetensors. Модель может воспроизводить как успешные, так и неуспешные эпизоды использования инструментов: в обучении использовались все траектории Tau2 независимо от результата. В README не приводятся результаты оценки на отложенных данных Tau2. Также модель унаследовала ограничения базовой модели и не проходила отдельную настройку безопасности сверх неё и обучающих данных. Лицензия — Apache-2.0.

Carlosian/Qwen3.5-35B-A3B-Abliterated-GGUF — набор квантованных сборок модели Carlosian/Qwen3.5-35B-A3B-Abliterated в формате GGUF. Модель разработана Carlosian и предназначена для локального запуска через llama.cpp, Ollama и LM Studio; задача библиотеки — генерация текста. Это MoE-модель с общим размером 35B параметров и, судя по названию, примерно 3B активных параметров на токен. Доступны варианты квантования от Q2_K до Q8_0: Q2_K рассчитан на минимальные требования к видеопамяти, Q3 — на ограниченные ресурсы, Q4_K_M указан как рекомендуемый вариант по умолчанию, а Q5–Q8 ориентированы на более высокое качество. Более подробные сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Сильная сторона набора — широкий выбор уровней квантования для разных аппаратных ограничений и сценариев локального использования. При этом квантование может снижать качество по сравнению с исходной моделью, особенно в наиболее компактных вариантах; конкретные требования к памяти, производительность и результаты оценивания не приведены. Модель помечена как abliterated и uncensored, однако практические последствия этого описания не раскрыты. Лицензия указана как other, без дополнительных условий в README.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-W4A16-AWQ — это 4-битная AWQ-квантизированная версия модели DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель распространяется для использования с библиотекой Transformers и имеет тег image-text-to-text, то есть исходная архитектура включает поддержку работы с текстом и изображениями. Заявлены языки English и Chinese. Точное число параметров в README не указано, но идентификатор исходной модели содержит обозначение 9B. Квантизация выполнена по схеме W4A16_ASYM: веса Linear-слоёв представлены с точностью 4 бита, а активации — 16 битами, с размером группы 128. Формат compressed-tensors поддерживается LMDeploy Turbomind. Эмбеддинги, lm_head, нормализации, компоненты linear attention, vision tower и MTP heads сохранены в BF16. Указано, что модель рассчитана на инференс с LMDeploy; пример запуска использует language_model_only=True и tensor parallelism tp=1. README не содержит результатов собственных бенчмарков, ссылаясь на исходную модель. К основным преимуществам относятся существенное уменьшение размера весов за счёт 4-битной квантизации, возможность запуска на ограниченных GPU-ресурсах и сохранение мультимодальных компонентов и MTP heads в BF16. Ограничения включают зависимость от совместимого загрузчика и формата compressed-tensors, а также потенциальные особенности качества и совместимости, характерные для квантизированных моделей; числовые параметры контекста и подробные характеристики архитектуры не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-abliterated-GGUF — это набор квантизированных GGUF-версий модели wangzhang/Qwen3.6-27B-abliterated-v2, разработанной сообществом wangzhang на базе Qwen3.6-27B. Модель предназначена для локальной генерации текста и диалоговых сценариев через llama.cpp и совместимые приложения, включая Ollama, LM Studio, Jan и KoboldCpp. Версия abliterated подавляет стандартные отказы модели и ориентирована прежде всего на исследовательские и экспериментальные задачи. Модель содержит около 27 млрд параметров и поддерживает английский и китайский языки. Архитектура использует гибридное внимание: 48 слоёв GatedDeltaNet и 16 слоёв полного внимания, чередуемых по схеме с одним полносвязным attention-блоком после трёх GDN-блоков. Доступны варианты F16 размером около 54 ГБ, Q8_0 размером около 28 ГБ и Q4_K_M размером около 16 ГБ; последний рекомендован для видеокарт с 24 ГБ памяти. GGUF-конверсия рассчитана на текстовый вывод: vision tower удалён, поэтому обработка изображений недоступна. Максимальный контекст в карточке не указан, приведены лишь примеры запуска с длиной 4096 и 8192 токена. К сильным сторонам относятся близкое к исходному качество варианта Q8_0, возможность локального запуска и сниженный уровень отказов при выполнении запросов. Ограничения включают требование свежей версии llama.cpp с поддержкой архитектуры Qwen3.5 hybrid-GDN, отсутствие MTP для спекулятивного декодирования и возможное ухудшение качества у Q4_K_M без imatrix-калибровки. Модель намеренно лишена защитных отказов и может генерировать опасный контент без предупреждений, поэтому при пользовательском развёртывании необходим отдельный защитный слой. Распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive OptiQ 6bpw MLX — это текстовая версия модели, разработанная dawncr0w на основе bf16-сборки ericpandev, которая, в свою очередь, создана на базе оригинальной модели HauhauCS. Модель предназначена для генерации текста и локального запуска в экосистеме MLX, включая сценарии работы через mlx_lm. Сборка использует смешанную квантизацию OptiQ с целевой точностью 6 бит на вес и фактическим показателем 6,12 BPW. Применены группы размера 64, калибровка по 24 образцам и распределение 163 высокоточных и 228 низкобитных слоёв. Размер модели составляет 18,64 GiB. В README не указаны языки, размер контекста и точная архитектура; из названия и исходной модели известно обозначение 35B-A3B, но его внутреннюю структуру нельзя подтвердить по приведённым данным. Модель ориентирована только на работу с текстом: визуальные компоненты исходной мультимодальной модели исключены, а встроенный MTP отключён. Квантизация уменьшает требования к памяти, однако может снижать точность по сравнению с исходной bf16-версией. Распространяется по лицензии Apache-2.0.