II.2Создание и понимание программного кода

pszemraj/rnj-1.5-instruct — перепакованная версия EssentialAI/rnj-1.5-instruct для быстрой проверки инференса и совместимости с Transformers. Это плотная текстовая причинная модель семейства Gemma 3 с 8,3 млрд параметров, доступная в формате safetensors и сохранённая в bfloat16. Поддерживает диалоговую генерацию текста и интерфейс вызова инструментов; метаданные указывают контекст до 163 840 токенов. В репозитории изменены настройки локального внимания: тип chunked_attention заменён на sliding_attention, а параметры RoPE перенесены в соответствующий раздел. Веса не изменены, однако окно скользящего внимания составляет 8192 токена, поэтому ответы на длинных запросах могут отличаться от исходной модели; для точного инференса с длинным контекстом автор README рекомендует upstream-репозиторий с vLLM 0.20.0. Модель распространяется по лицензии Apache-2.0.

SillyTilly-Meta-Llama-3.1-8B-GGUF — набор квантованных файлов модели SillyTilly/Meta-Llama-3.1-8B, подготовленный командой featherless-ai-quants. Модель предназначена для генерации текста и может использоваться в сценариях локального или совместимого с GGUF запуска, где требуется сократить потребление памяти и вычислительных ресурсов за счёт квантования. README не уточняет конкретные прикладные задачи, языки и поддерживаемые модальности, поэтому модель следует рассматривать как текстовую. Доступны варианты квантования IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Размер файлов составляет примерно от 3,03 до 8,15 ГБ, что позволяет выбирать компромисс между качеством и требованиями к памяти. Архитектура, точное число параметров, размер контекстного окна и дополнительные характеристики в README не указаны. Преимущество набора — широкий выбор уровней квантования и формат GGUF, однако более сильное квантование обычно связано с потенциальной потерей качества по сравнению с исходной моделью; конкретные показатели в README не приведены. Лицензия для этого набора и базовой модели не указана, поэтому условия использования необходимо уточнить в соответствующих материалах правообладателей.

Smaug-Llama-3-70B-Instruct-abliterated-v3 — экспериментальная версия Smaug-Llama-3-70B-Instruct от автора failspy. Это плотная авторегрессионная модель семейства Llama 3 с 69,5 млрд параметров, предназначенная для диалоговой генерации текста. Автор изменил веса исходной модели методом ортогонализации, чтобы ослабить склонность отказывать пользователям; модель сохраняет исходное обучение и знания, но поведение при отказах не гарантировано. Модель рассчитана на ответы в чате и другие задачи генерации текста. Контекст — до 8192 токенов. README не сообщает поддерживаемые естественные языки. Автор отмечает возможные побочные эффекты новой методики и призывает проверять модель на собственных сценариях. Указана лицензия Llama 3; перед использованием следует соблюдать её условия.

SuperGemma 4 E4B Abliterated — LiteRT-LM — это неофициальная общественная конверсия модели Jiunsong/supergemma4-e4b-abliterated в формат .litertlm для рантайма LiteRT-LM. В основе лежат google/gemma-4-E4B-it от Google DeepMind и аблитерированная дообученная версия от Jiunsong. Сборка не опубликована Google, командой LiteRT или Jiunsong. Модель предназначена для генерации текста и локального запуска на устройствах и настольных системах через единый пакет LiteRT-LM. Заявлены сценарии использования на Android, iOS, macOS, Linux, Windows и в Web, включая работу на Apple Silicon с CPU или Metal GPU. Размер пакета составляет 3,65 ГБ. Для macOS ARM64 указана измеренная производительность около 40 токенов в секунду при декодировании на Metal против примерно 13 токенов в секунду на CPU, однако фактические показатели зависят от оборудования. Ключевое ограничение связано с повторной int4/int8-квантизацией: результаты могут отличаться от исходной модели, а аблитерированное поведение на некоторых запросах может быть ослаблено. Для этой сборки рекомендуется отключать speculative decoding, поскольку MTP-драфтер может иметь низкую долю принятых токенов и не гарантирует ускорения, хотя проверка основой моделью сохраняет корректность. Языки, размер контекста, точная архитектура и поддерживаемые модальности в карточке не указаны. Распространение регулируется лицензией Gemma, условия которой необходимо проверить перед использованием и перераспределением.

Terminal-completetrimmed4k — дообученная модель на базе Qwen/Qwen3-8B, созданная автором репозитория cuong1692001 на наборе данных qwen_data_complete_trimmed_4k. Это диалоговая языковая модель с плотной архитектурой Qwen3ForCausalLM и 7,6 млрд параметров; она предназначена для генерации текста в формате общения. Модель принимает текст и выдаёт текст, поддерживает контекст до 40 960 токенов. В репозитории указаны веса в формате Safetensors. Карточка не описывает конкретные сценарии настройки, результаты оценки или ограничения дообученной версии. Базовая Qwen3-8B рассчитана на многоязычную генерацию текста, рассуждения, выполнение инструкций, работу с кодом и вызов инструментов, но карточка этой модели не подтверждает качество этих возможностей после дообучения. Лицензия указана как «other», поэтому условия использования следует проверить в файлах репозитория и у правообладателей базовой модели.

Ternary-Bonsai-1.7B — квантизированная версия модели prism-ml/Ternary-Bonsai-1.7B-unpacked, созданная Prism ML на основе Qwen3-1.7B от Alibaba Cloud. Модель упакована в формат .litertlm для запуска через LiteRT-LM и предназначена прежде всего для локальной генерации текста и чат-сценариев на мобильных устройствах, включая Android и приложение Google AI Edge Gallery. Модель имеет размер 1,7 млрд параметров и использует тернарное представление весов INT2. Рекомендуемая сборка применяет INT2 per-channel для весов, fp32 для активаций и поддерживает контекст до 4096 токенов. Экспериментальные сборки поддерживают контекст до 32768 токенов — полного значения max_position_embeddings базовой модели — и могут использовать fp16-активации или оптимизацию fused SDPA. Все варианты содержат чат-шаблон Qwen3 ChatML с блоком рассуждений. К сильным сторонам относятся компактное хранение весов, возможность работы на устройстве и адаптация к мобильному GPU-ускорителю. Модель запускается на GPU, а не на NPU; совместимость экспериментальных сборок зависит от версии LiteRT и LiteRT-LM и доступных зависимостей. INT2 является форматом хранения, тогда как вычисления выполняются в fp16 или fp32. Встроенные параметры сэмплирования — top-k 20, top-p 0,85 и temperature 0,5 — можно переопределить на стороне хоста. Модель распространяется по лицензии Apache-2.0. Это посттренировочная квантизация и перепаковка выпущенной модели без дополнительного обучения, дообучения или калибровки; веса не переобучались.

Tess-2.0-Llama-3-70B-v0.2-GGUF — набор GGUF-квантизаций модели Tess-2.0-Llama-3-70B-v0.2, разработанной migtissera. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; исходная модель доступна на Hugging Face. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые инструменты. Она основана на архитектуре Llama 3 с 70 млрд параметров и работает в текстовой модальности. В репозитории доступны варианты от Q8_0 до низкобитных IQ1/IQ2 и Q2–Q6, различающиеся размером файлов, требованиями к памяти и качеством: старшие квантизации обеспечивают более высокое качество, а младшие позволяют запускать модель на системах с меньшим объёмом RAM, но заметно снижают качество. Сильной стороной является широкий выбор квантизаций, включая рекомендованные варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S, а также более новые IQ-форматы с хорошим соотношением размера и качества. Ограничения — большие требования к памяти даже у компактных вариантов и возможная деградация качества при использовании низкобитных квантизаций. Языки и размер контекста в README не указаны. Указанная лицензия — llama3.

BEE-spoke-data/tFINE-900m-e16-d32-instruct — дообученная компанией BEE-spoke-data модель семейства T5 на наборе pszemraj/infinity-instruct-7m-T2T_en. Она предназначена для генерации текста по инструкциям и условного преобразования текста; в метаданных также отмечена возможность работы с кодом. Архитектура — плотная T5ForConditionalGeneration, около 284,3 млн параметров; модель распространяется в формате Safetensors и запускается через Transformers. Карточка приводит результаты оценки на тестовом наборе и таблицу Open LLM Leaderboard 2. Данные указывают на экспериментальный масштаб модели и не гарантируют качество для конкретных прикладных задач. Основной язык набора обучения — английский. Лицензия — Apache-2.0.

TheDrummer_Rivermind-24B-v1-GGUF — это набор квантизированных вариантов языковой модели Rivermind-24B-v1, разработанной TheDrummer и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения. Модель содержит 24 миллиарда параметров; доступны исходные веса BF16 и варианты квантования от Q8_0 до Q2_K. Квантизация выполнена с использованием llama.cpp и метода imatrix, что позволяет уменьшить требования к памяти при сохранении качества. Размер файлов варьируется примерно от 9 до 47 ГБ в зависимости от варианта. В README не указаны поддерживаемые языки, размер контекста, точная архитектура, мультимодальные возможности и результаты тестирования. Сильная сторона набора — широкий выбор вариантов с разным балансом между качеством и потреблением памяти: Q6_K и Q6_K_L обозначены как близкие к исходному качеству, а Q4_K_M рекомендуется как стандартный вариант для большинства сценариев. Более компактные версии подходят для систем с ограниченным объёмом оперативной памяти, но обеспечивают более низкое качество. Шаблон чата явно не задан, поэтому используется шаблон по умолчанию, который может быть некорректным; перед применением следует свериться с карточкой исходной модели. Лицензия в предоставленных данных не указана.

MaziyarPanahi подготовил GGUF-версию UNA-Cybertron-7B-v2 на базе Mistral-7B-Instruct-v0.1. Это плотная текстовая модель для генерации ответов и диалогового использования; репозиторий содержит файлы GGUF, включая варианты с разной степенью квантования, и предназначен для запуска через llama.cpp и совместимые приложения. В метаданных формат указан как GGUF BF16. Модель подходит для локальных чат-сценариев и генерации текста. Карточка описывает формат и способы запуска, но не приводит отдельной оценки качества, размера контекста или списка поддерживаемых естественных языков. Лицензия — Apache-2.0.

v6-Finch-7B-HF-GGUF — это набор GGUF-квантизированных вариантов языковой модели v6-Finch-7B-HF, разработанной RWKV. Квантизацию выполнил bartowski с использованием llama.cpp версии b3751 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio. В основе лежит архитектура RWKV v6-Finch с примерно 7 млрд параметров. Доступны варианты от полноразмерного F16 до низкоразрядных Q2 и IQ2, включая Q4, Q5, Q6 и Q8; размеры файлов составляют примерно от 3,02 до 15,51 ГБ. Некоторые варианты оптимизированы для ARM-процессоров и требуют поддержки SVE или i8mm. В README также указано исправление токенов BOS/EOS. Сильной стороной набора является широкий выбор компромиссов между качеством, размером и требованиями к памяти: варианты Q5 и Q6 отмечены как высококачественные, а Q4 — как подходящие для случаев, где важен размер. Более агрессивные квантизации экономят память, но снижают качество. Сведения о поддерживаемых языках, размере контекста, конкретных возможностях мультиязычной работы и формате промптов отсутствуют; для последнего рекомендуется обратиться к странице исходной модели. Лицензия — Apache-2.0.

vicgalle-Configurable-Llama-3-8B-v0.2-GGUF — набор GGUF-квантизованных версий модели vicgalle/Configurable-Llama-3-8B-v0.2, подготовленный Featherless AI Quants. Модель предназначена для генерации текста и локального или совместимого с GGUF развертывания; конкретные прикладные сценарии, языки и формат обучения в README не указаны. Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0. По названию базовой модели можно определить размер 8B, однако сведения об архитектуре, контекстном окне и модальностях отсутствуют; pipeline указан как text-generation. Размеры файлов варьируются примерно от 3,0 до 8,1 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Главное преимущество набора — несколько уровней квантизации для запуска модели на оборудовании с разными ресурсами. Ограничения включают отсутствие в README результатов оценки, описания качества, поддерживаемых языков, системных требований и рекомендаций по выбору варианта. Лицензия в предоставленных данных не указана.

watt-tool-70B — языковая модель на 69,5 млрд параметров, дообученная watt-ai на базе meta-llama/Llama-3.3-70B-Instruct. Она предназначена для диалоговых ассистентов и AI-агентов, которым нужно выбирать инструменты и вызывать функции, в том числе в многошаговых сценариях автоматизации рабочих процессов. Модель поддерживает контекст до 131 072 токенов и принимает текст, выдавая текст и структурированные вызовы инструментов. В README заявлена высокая производительность на Berkeley Function-Calling Leaderboard и описано обучение с учителем на специализированных данных, а также применение подходов CoT и DMPO. Модель рассчитана прежде всего на английский язык; базовая модель мультиязычна, но отдельный список поддерживаемых языков для watt-tool-70B не приведён. Веса доступны в формате safetensors. Лицензия — Apache-2.0.

duyntnet/Yarn-Llama-2-7b-128k-imatrix-GGUF — набор квантованных GGUF-версий базовой языковой модели Yarn-Llama-2-7b-128k, первоначально разработанной NousResearch. Модель предназначена для генерации и продолжения текста, а также для других сценариев инференса базовой языковой модели. Специальный формат промпта не предусмотрен, поскольку это предварительно обученная, а не диалоговая модель. В основе лежит архитектура Llama 2 с размером около 7 миллиардов параметров и поддержкой контекста до 128 тысяч токенов благодаря технологии YaRN. Модель ориентирована на английский язык и работает с текстовой модальностью. Варианты представлены в формате GGUF и используют imatrix-квантизацию, что может снизить требования к памяти и ускорить локальный запуск по сравнению с полноразмерными весами, однако конкретные уровни квантизации в предоставленных данных не указаны. Сильными сторонами являются большой контекст и возможность локального использования через совместимые инструменты для GGUF. Ограничения включают отсутствие специализированной настройки для диалогов, неизвестные характеристики отдельных квантованных вариантов и отсутствие данных о качестве на конкретных тестах. В карточке указана лицензия «other», но её точные условия не приведены; перед использованием необходимо проверить лицензионные требования исходной модели и данного набора квантований.

Zephyr Quiklang 3B 4K — компактная авторегрессионная языковая модель для генерации текста, разработанная wbag (Walmart-the-bag). Представленная версия распространяется TheBloke в формате GGUF с квантованием и предназначена для локального запуска через llama.cpp и совместимые интерфейсы и библиотеки. В качестве одного из наборов данных указан teknium/openhermes; исходная модель доступна в формате PyTorch FP16. Модель имеет архитектуру stablelm_epoch, около 3 млрд параметров и контекст до 4096 токенов. Она работает с текстом и поддерживает диалоговый шаблон Zephyr с ролями system, user и assistant. GGUF-файлы доступны с различными вариантами квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством, однако README не содержит результатов бенчмарков, перечня поддерживаемых языков или подробной оценки ограничений модели. Лицензия указана как other, без уточнения конкретных условий, поэтому перед использованием необходимо проверить лицензионные положения исходной модели и распространяемой версии. Модель рассчитана прежде всего на локальную генерацию текста и диалоговые сценарии; поддержка конкретных инструментов зависит от выбранного GGUF-клиента.

Antares-350M — компактная языковая модель на 350 млн параметров, разработанная fdtn-ai на базе IBM Granite 4.0 350M и дообученная для локализации уязвимостей в исходном коде. Она предназначена для специалистов по безопасности, исследователей и разработчиков, которым нужно находить вероятные уязвимые файлы в репозитории по идентификатору CWE и его общему описанию. Модель работает в цикле терминального агента: исследует репозиторий командами и формирует кандидатов на проверку, без внешней поисковой системы или векторной базы; её можно использовать в локальной среде и CI/CD. Модель принимает текстовый контекст и выводы инструментов, а генерирует текст и вызовы инструментов через интерфейс агента. В метаданных указан английский язык, библиотека Transformers и формат Safetensors. Лицензия — Apache-2.0. Результаты зависят от размера репозитория, бюджета команд и типа уязвимости: на больших кодовых базах и при анализе нескольких взаимосвязанных файлов качество снижается, а семантически сложные проблемы даются хуже, чем уязвимости с характерными текстовыми шаблонами. Модель предназначена для поиска файлов-кандидатов, а не для подтверждения уязвимости или автономных решений; результаты требуют проверки человеком. Общий чат и генерация эксплойтов не входят в её назначение.

Big-Tiger-Gemma-27B-v1-GGUF — это набор GGUF-квантизаций модели Big-Tiger-Gemma-27B-v1, опубликованный пользователем bartowski. Модель предназначена для генерации текста и запуска через llama.cpp или совместимые инструменты. Доступны варианты с разной степенью квантования — от Q8_0 до Q2_K и IQ2_M; размер файлов составляет примерно от 9,4 до 28,94 ГБ. Квантизация выполнена с использованием imatrix и калибровочного набора данных. Модель рассчитана на сценарии локального развертывания, включая диалоговую генерацию и другие задачи текстового вывода. Для работы используется формат приглашений Gemma с ролями user и model; системные сообщения не поддерживаются. В README не указаны точные архитектурные характеристики исходной модели, поддерживаемые языки, размер контекстного окна, мультимодальность и результаты сравнительных тестов. Сильная сторона набора — широкий выбор квантов, позволяющий находить компромисс между качеством, размером файла и требованиями к оперативной памяти. В README варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые, а низкобитные варианты экономят память ценой снижения качества. Лицензия модели в предоставленных данных не указана.

Denash/codebert-vuln-classifier — дообученный классификатор кода, созданный как Stage-2 компонент конвейера CEVuD. Он принимает фрагмент Python-кода длиной до 512 токенов и оценивает вероятность того, что фрагмент содержит уязвимость, относя его к одному из двух классов: «уязвимый» или «безопасный». Модель построена на базе microsoft/codebert-base с архитектурой RoBERTaForSequenceClassification; размер составляет 151,8 млн параметров. Модель предназначена для локальной предварительной оценки фрагментов кода в CI/CD и объединения нейросетевой оценки с серьёзностью находки Semgrep, чтобы решать, какие случаи передавать более дорогому LLM-анализатору. Для обработки функции её следует разбивать на окна по 64 строки с перекрытием 8 строк и агрегировать оценки. Модель обучена на Python-фрагментах из набора CEVuD, основанного на CVEfixes. Классификатор консервативен: при пороге 0,5 полнота на тесте CVEfixes составляет 20,7%, поэтому он пропускает многие уязвимости и не подходит как единственный источник вердикта. Производительность для других языков и устойчивость к специально сформированному коду не проверены. Лицензия — MIT.

Experiment24Experiment28-7B — автоматическое слияние языковых моделей, созданное Maxime Labonne с помощью mergekit. В конфигурации использован метод dare_ties для объединения yam-peleg/Experiment24-7B и yam-peleg/Experiment28-7B; метаданные указывают yam-peleg/Experiment28-7B как базовую дообученную модель. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и может использоваться для диалогов, черновиков и экспериментов с языковыми моделями. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. В карточке не приведены сведения о поддерживаемых языках или специализированных областях применения.

Fabletron Nemotron-3-Super-120B-A12B Fable-5 NVFP4 — дообученная Greghavens версия NVIDIA Nemotron-3-Super-120B-A12B. Это гибридная языковая архитектура Mamba-2 и Latent-MoE: 120 млрд параметров суммарно и около 12 млрд активных. Модель обучена методом QLoRA на диалоговых трассах pi_agent из Glint-Research/Fable-5-traces для рассуждений, планирования действий и вызова инструментов. Репозиторий содержит квантованный экспорт NVIDIA ModelOpt NVFP4, рассчитанный на запуск через vLLM или TensorRT-LLM на видеокартах NVIDIA Blackwell. README сообщает о поддержке собственного контекста до 262 144 токенов и обслуживании через vLLM. Модель принимает текст и выдаёт текст, включая ответы в диалоге и вызовы инструментов; MTP-голова базовой модели в экспорте отсутствует. Модель предназначена для экспериментов с агентными сценариями и применима к многошаговому планированию и работе с инструментами. README предупреждает, что модель не получила дополнительного выравнивания по безопасности сверх базовой версии, поэтому перед использованием в производственной среде её следует оценить. Лицензия в метаданных указана как other; конкретные условия следует сверить с карточкой репозитория.

MaziyarPanahi/gemma-2b-GGUF — это набор файлов модели в формате GGUF для базовой модели google/gemma-2b, разработанной Google. Квантованные файлы подготовлены пользователем MaziyarPanahi и предназначены для локального запуска задач генерации текста. Модель доступна в вариантах квантования от 2 до 8 бит, включая форматы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. GGUF поддерживается llama.cpp и рядом совместимых приложений и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и candle. Это позволяет запускать модель с использованием CPU или GPU через локальные интерфейсы и серверы. README не содержит сведений о размере контекста, языках, точной архитектуре, мультимодальности или характеристиках производительности. К преимуществам относятся наличие нескольких уровней квантования и широкая совместимость с инструментами локального инференса, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти. К ограничениям относятся потенциальная потеря качества из-за квантования и отсутствие в предоставленных данных подробных оценок, инструкционного режима и прикладных сценариев. В карточке указано обозначение лицензии «other», однако конкретные условия лицензии не приведены.

mlx-community/gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14B — квантованная и подвергнутая прореживанию версия Gemma-4, разработанная сообществом mlx-community на базе mlx-community/gemma-4-26B-A4B-it-OptiQ-4bit. Модель предназначена для локальной генерации текста и запуска LLM на устройствах Apple Silicon через MLX. Она может использоваться для диалогов, следования инструкциям, решения математических задач, генерации кода и вызова функций, однако точный набор языков и размер контекстного окна в README не указан. Модель использует MoE-архитектуру с 128 экспертами на слой, из которых сохранены 64; для каждого токена по-прежнему активируются 8 экспертов. После прореживания объём параметров уменьшен с 25,8 млрд до 14,3 млрд, размер на диске — с 17,5 до 10,4 ГБ, а пиковое потребление памяти — с 16,4 до 9,4 ГБ. Активное число параметров на токен не изменилось, поэтому заявлено отсутствие снижения скорости из-за маршрутизации. Применено 4-битное квантование OptiQ и метод REAP; сохранённые эксперты не деквантизировались, не переквантизировались и не переобучались. Главное преимущество модели — заметное сокращение требований к диску и памяти при сохранении высокой производительности в отдельных сценариях: показатели GSM8K, IFEval и BFCL-V3 составляют соответственно 89,1, 80,8 и 90,0. Ограничение — существенная потеря качества относительно родительской модели: итоговый Capability Score снижен с 75,75 до 68,13, MMLU — с 65,0 до 38,9, а HumanEval — с 90,2 до 72,0. Поэтому модель может быть менее подходящей для широких академических задач и генерации кода. Лицензия — Apache 2.0.

Это пакет GGUF с разбиением по слоям для запуска Gemma 4 26B A4B Instruct в распределённой среде Mesh LLM. Пакет подготовлен Mesh LLM на основе unsloth/gemma-4-26B-A4B-it-qat-GGUF и сохраняет исходную квантизацию UD-Q4_K_XL, разделяя модель на артефакты слоёв для распределённого инференса. Модель предназначена для локального диалогового инференса, в том числе с обработкой изображений, на кластере из нескольких машин, когда ресурсов одного узла недостаточно. Mesh LLM предоставляет OpenAI-совместимый интерфейс чата и дополнений; библиотека пакета — mesh-llm. Репозиторий распространяется по лицензии Apache-2.0. Пакет удобен для приватного локального запуска и распределения вычислений между узлами. Он не содержит самостоятельной модели с отдельным обучением: это упаковка производной GGUF-модели. Карточка пакета не приводит сведения о размере контекста, поддерживаемых языках и собственных оценках качества; подробности архитектуры и рекомендации по использованию отсылают к карточке исходной модели.

TrevorJS/gemma-4-31B-it-uncensored-GGUF — это квантизированная GGUF-версия модели gemma-4-31B-it-uncensored, разработанной TrevorJS. В её основе лежит Google Gemma 4 31B Instruct, к которой применена abliteration — метод удаления отказов в ответах с использованием norm-preserving biprojected abliteration. Модель предназначена для генерации текста и диалогового использования, включая локальный запуск через llama.cpp или совместимые инструменты. Доступны варианты Q4_K_M размером 18,7 ГБ и Q8_0 размером 32,6 ГБ. README указывает поддержку английского языка, текстовую модальность и контекст до 8192 токенов в примерах запуска. Квантизация снижает требования к ресурсам по сравнению с полноточной моделью, а версия Q8_0 должна лучше сохранять точность, чем Q4_K_M, ценой большего объёма памяти. При этом удаление отказов может повышать риск генерации небезопасного или нежелательного содержимого; подробные характеристики качества, аппаратные требования и результаты тестирования в карточке не приведены. Модель распространяется по лицензии Apache-2.0. Для полной информации о методе преобразования, показателях отказов и валидации рекомендуется обращаться к карточке базовой модели и исходному коду abliteration.

gemma-4-31B-it-Uncensored-MAX-GGUF — модель от prithivMLmods, созданная на основе google/gemma-4-31B-it. Это модифицированная версия с уменьшенным количеством встроенных отказов, полученная с применением анализа направлений отказа и методов abliteration. По заявлению авторов, она сохраняет возможности рассуждения и следования инструкциям исходной модели, обеспечивая подробные ответы и более высокую готовность выполнять запросы. Модель предназначена для генерации текста, диалоговых приложений, агентских сценариев и исследовательских экспериментов, где требуется менее ограниченное поведение. Доступна в формате GGUF для совместимого локального запуска, включая варианты BF16, F16, F32 и Q8_0. Указан размер 31 млрд параметров, поддерживаемый язык — английский. Наличие файлов mmproj и тег image-text-to-text указывает на заявленную мультимодальную совместимость, однако конкретные возможности работы с изображениями и ограничения контекстного окна в README не описаны. Сильными сторонами являются сохранение исходных способностей к рассуждению и следованию инструкциям, подробность ответов и широкий выбор вариантов точности и квантования. Ограничения связаны с отсутствием гарантии безопасности: модель специально модифицирована для снижения отказов, поэтому может генерировать вредный или незаконный контент. README также не содержит результатов бенчмарков, точных сведений об архитектуре и контекстном окне. Модель распространяется по лицензии Apache-2.0 и заявлена для исследовательских и учебных целей; ответственность за использование и генерируемый контент возлагается на пользователя.

GLM-5.2-mxfp4 — конвертированная версия модели GLM-5.2-FP8 от zai-org для запуска с библиотекой MLX. Модель предназначена для генерации текста; конкретные сценарии применения, архитектура, количество параметров, поддерживаемые языки и максимальная длина контекста в представленном README не указаны. Модель использует формат mxfp4 и требует версию mlx-lm с изменениями из pull request #1410. Это указывает на подготовку к запуску в экосистеме MLX, однако сведения о производительности, преимуществах, ограничениях и совместимых устройствах отсутствуют. Лицензия и условия использования в README не указаны.

Это GGUF-квантизированная версия Gemma 3 1B IT — инструкционно дообученной модели Google с примерно 1 миллиардом параметров. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель опубликована Google. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, включая LM Studio и проекты на базе llama.cpp. Доступно множество вариантов точности и размера — от BF16 примерно на 2,01 ГБ до низкобитных форматов около 0,69 ГБ, что позволяет выбирать между качеством ответов и требованиями к памяти. В README не указаны поддерживаемые языки, размер контекста, архитектурные детали и модальности, поэтому эти характеристики нельзя подтвердить. Сильными сторонами являются компактность, возможность локального запуска и широкий выбор квантизаций; варианты Q5 и Q6 обозначены как высококачественные, а Q4_K_M рекомендован как сбалансированный вариант для большинства сценариев. Более сильное сжатие уменьшает требования к памяти, но снижает качество. Для доступа к модели на Hugging Face требуется принять лицензию Google Gemma; конкретные условия лицензии в README не раскрыты.

grimjim-Llama-3-Instruct-demi-merge-8B-GGUF — набор квантизированных файлов модели grimjim/Llama-3-Instruct-demi-merge-8B, подготовленный командой featherless-ai-quants. Модель относится к классу text-generation и предназначена для генерации текста в сценариях, где требуется запуск Llama-модели в формате GGUF, включая локальное или совместимое с GGUF развёртывание. Конкретные прикладные задачи, языки и мультимодальные возможности в README не указаны. Модель имеет размер 8B параметров; архитектура унаследована от Llama 3, однако подробные сведения о конфигурации и размере контекста отсутствуют. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 объёмом примерно от 3 до 8,1 ГБ. Это позволяет выбирать компромисс между требованиями к памяти, скоростью и потенциальным качеством генерации, но README не содержит результатов сравнительного тестирования. Сильной стороной является широкий выбор GGUF-квантизаций для различных аппаратных ограничений. Ограничения включают отсутствие данных о качестве, обучении, поддерживаемых языках, контекстном окне и рекомендуемых параметрах запуска. Лицензия в README не указана; условия использования следует уточнять в карточке базовой модели grimjim/Llama-3-Instruct-demi-merge-8B.

Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-GGUF — это GGUF-квантизированная версия модели Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated, подготовленная и опубликованная mradermacher. Модель основана на семействе Qwen3.6 и предназначена для генерации текста, рассуждений и задач, связанных с дистилляцией. В описании также указаны характеристики mixture-of-experts (MoE), LoRA и uncensored/abliterated-версии, однако подробности архитектуры исходной модели не приведены. Доступны варианты квантования GGUF от Q2_K до Q8_0, включая IQ4_XS, с размером файлов примерно от 13 до 37 ГБ. Для мультимодального использования предоставляются дополнительные файлы mmproj в форматах Q8_0 и F16, поэтому модель, вероятно, может работать с мультимодальными входами при наличии совместимого программного обеспечения, но поддерживаемые типы данных не уточнены. Заявлен английский язык; сведения о размере контекста и других языках отсутствуют. К сильным сторонам относятся широкий выбор вариантов квантования, возможность локального запуска в совместимых инструментах и наличие более качественных вариантов Q6_K и Q8_0, а также рекомендуемых по скорости Q4_K_S и Q4_K_M. Ограничения включают значительные требования к дисковому пространству и памяти, зависимость качества от выбранного уровня квантования и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизация модели gpt-oss-120b-uncensored-bf16, разработанной huizimao и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие проекты на его основе. Формат pipeline — text-generation, однако точный шаблон промпта в README не указан. Модель имеет размер 120 миллиардов параметров и использует архитектуру, связанную с OpenAI gpt-oss; в README упоминается MoE-компонент и специальный формат MXFP4_MOE для feed-forward networks. Рекомендуемый файл занимает 63,39 ГБ и поддерживает запуск в формате GGUF. Доступны также варианты Q6_K, Q4_K, Q3_K, Q2_K и IQ-квантизаций, но их преимущество по размеру ограничено, поскольку FFN сохраняются в MXFP4_MOE. Сведения о поддерживаемых языках, длине контекста, мультимодальности, качестве и лицензии не приведены, поэтому эти характеристики нельзя достоверно оценить по представленному README.