II.2Создание и понимание программного кода

InternLM2 Math Plus 7B — математическая языковая модель, разработанная командой InternLM. Данная версия распространяется в формате GGUF для запуска через совместимые приложения, включая LM Studio; квантизация выполнена bartowski на основе llama.cpp. Модель предназначена для решения, доказательства, проверки и дополнения математических рассуждений, а также для генерации решений с пошаговым рассуждением и работы с кодом. Модель имеет около 7 миллиардов параметров и основана на InternLM2 Math Plus 7B. Она поддерживает английский и китайский языки, использует текстовую модальность и шаблон запросов ChatML. В обучении применялись около 100 миллиардов высококачественных математических токенов и примерно 2 миллиона двуязычных математических примеров с контролируемым обучением. Среди заявленных направлений улучшения — неформальное математическое рассуждение, интерпретация кода, перевод на LEAN 4 и доказательство теорем в LEAN 4. К сильным сторонам относятся специализация на математических задачах, двуязычность и поддержка формальных доказательств. Ограничения включают возможные неточности, ошибки и ненадёжность результатов, характерные для языковых моделей; заявленный размер контекста и точные параметры архитектуры в представленном README не указаны. Лицензия обозначена как other, без дополнительных условий в README, поэтому конкретные правила использования следует уточнять в исходном репозитории модели.

Intervitens Mini Magnum 12B v1.1 GGUF — это квантизированная версия языковой модели intervitens/mini-magnum-12b-v1.1, подготовленная командой featherless-ai-quants. Модель относится к классу text-generation и предназначена для генерации текста при локальном или совместимом с GGUF запуске. README не содержит подробного описания специализации, целевых сценариев, языков или результатов тестирования, поэтому её конкретные преимущества и области применения не уточняются. Модель имеет около 12 миллиардов параметров и поставляется в формате GGUF с несколькими вариантами квантизации: от Q2_K и Q3_K до Q8_0, включая IQ4_XS и варианты Q4–Q6. Размер файлов составляет примерно от 4,6 до 12,4 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Данные о базовой архитектуре, поддерживаемых модальностях и размере контекста отсутствуют; по указанному pipeline_tag модель предназначена для работы с текстом. Лицензия в README не указана. Ограничения качества, производительности и совместимости также не описаны и могут зависеть от выбранного варианта квантизации и используемого программного обеспечения.

Это квантованная версия большой языковой модели jaskier-7b-dpo-v5.6, разработанной bardsai и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных приложениях и интерфейсах, совместимых с GGUF, включая llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Модель относится к классу 7B и основана на архитектуре Mistral; исходная версия обучалась с применением DPO на датасете argilla/distilabel-math-preference-dpo. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Основная заявленная модальность — работа с текстом; в README указан английский язык. Размер контекстного окна не указан. Сильные стороны модели — возможность локального запуска, широкий выбор степеней квантования и поддержка различных программных клиентов с CPU- и GPU-ускорением. Ограничения включают потенциальную потерю качества при использовании более агрессивного квантования, отсутствие сведений о точных характеристиках контекста и бенчмарках, а также то, что README не содержит подробного описания областей применения и поведения модели. Для репозитория указана лицензия CC BY 4.0.

MagenticBrain — языковая модель на 14 млрд параметров от Microsoft Research AI Frontiers, предназначенная для оркестрации действий в агентных системах. Это decoder-only трансформер семейства Qwen3, дообученный на данных о вызове функций, работе с файлами и терминалом, делегировании подагентам и планировании. Модель принимает текстовые запросы и описания доступных инструментов, а вызовы инструментов выдаёт в виде структурированных JSON-объектов. Контекст модели составляет 40 960 токенов по метаданным; в README указана настройка обучения на траекториях до 32K токенов. Модель разбивает многошаговые задачи на этапы, выбирает инструменты из переданной схемы, формирует аргументы, использует результаты вызовов в следующих шагах и может передавать подзадачи компьютерному подагенту Fara1.5-9B. Она не выполняет внешние действия самостоятельно: их запускает хост-приложение, например MagenticLite, которое также обрабатывает протокол завершения задачи. Наиболее полно поведение проверено в связке с MagenticLite; модель не предназначена для свободного потребительского чата или неограниченной автономной работы. Веса опубликованы под лицензией MIT. Для запуска требуются совместимый шаблон чата и хост-среда, которая обрабатывает вызовы инструментов; README рекомендует Transformers версии 4.51.0 или новее и режим без thinking-токенов. Авторы предупреждают, что жадное декодирование может приводить к повторениям.

MiniCPM5-1B-GGUF — набор GGUF-квантизаций базовой языковой модели MiniCPM5-1B, разработанной командой OpenBMB. Репозиторий подготовлен пользователем NANI-Nithin и предназначен для запуска модели через совместимые среды, включая llama.cpp. Модель относится к задачам генерации текста и может использоваться локально на устройствах с ограниченными ресурсами; конкретные языки, размер контекста и дополнительные модальности в README не указаны. Набор включает 30 файлов объёмом от 0,27 до 2,02 ГБ: исходную версию BF16 и варианты с разной степенью квантизации от Q8_0 до IQ1_M и Q1_0. Более крупные варианты обеспечивают качество, близкое к исходному, тогда как агрессивная квантизация существенно уменьшает требования к памяти, но приводит к заметному или существенному ухудшению качества. Для большинства пользователей в README рекомендуется Q4_K_M как компромисс между качеством и размером; выбор зависит от доступной RAM или VRAM. Лицензия в предоставленных данных не указана.

NeuralsynthesisMeliodas-7B-GGUF — набор файлов модели в формате GGUF для automerger/NeuralsynthesisMeliodas-7B. Исходную модель разработал automerger, а квантованные версии подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, llama-cpp-python, LM Studio и другие приложения, поддерживающие GGUF. Модель имеет размер 7B параметров и распространяется в нескольких вариантах квантования: от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством вывода. В метаданных также указана совместимость с экосистемой Mistral, однако подробные сведения об архитектуре, контекстном окне, поддерживаемых языках, модальностях и результатах тестирования в README не приведены. Основное преимущество модели — удобство локального развертывания и широкий выбор уровней квантования, подходящих для разных конфигураций оборудования. Ограничения связаны с отсутствием в описании бенчмарков, рекомендаций по параметрам инференса и подтвержденных сведений о языковых и прикладных возможностях; качество может различаться в зависимости от выбранного варианта квантования. Лицензия — Apache 2.0.

Noeum-1-Nano — компактная языковая модель Noeum, независимой исследовательской лаборатории из Австрии. Это плотная архитектура Ramo с механизмом Mixture-of-Experts: в README указано 0,6 млрд параметров всего и 0,2 млрд активных, а в метаданных — 187,1 млн параметров. Модель обучена с нуля на 18 млрд токенов; метаданные указывают контекст длиной 512 токенов и поддержку Transformers и PyTorch. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, логических и математических задач, ответов на научные вопросы и простых задач программирования. В README описан отдельный режим рассуждений с пошаговым решением и самопроверкой; для него авторы рекомендуют бюджет 128 токенов и температуру 0,1. Обучающий набор включал Wikipedia, C4, FineWeb-Edu, arXiv и Stack Exchange, а также математические и синтетические данные. Карточка сообщает о склонности к галлюцинациям без режима рассуждений и трудностях с точными вычислениями больших чисел. Модель ориентирована на английский язык и не предназначена для медицинских, юридических или критически важных решений. Лицензия — Apache-2.0.

Это экспериментальный чекпойнт Qwen3-1.7B, дообученный методом обучения с подкреплением в рамках экспериментов KL-in-LLM-RL / FRPO с использованием verl. В репозитории сохранён чекпойнт global_step_200 в формате safetensors и точности fp32; веса загружены без последующей обработки. Модель предназначена для генерации текста и диалогового взаимодействия на основе Qwen3. В основе — плотная авторегрессионная архитектура Qwen3ForCausalLM с 1,7 млрд параметров и контекстом до 32 768 токенов. Базовая модель многоязычная и поддерживает диалоги, рассуждения, код и выполнение инструкций, однако карточка этого чекпойнта не уточняет языки и конкретные способности, полученные в ходе дообучения. Лицензия в предоставленных данных не указана.

SassyDiffusion/Qwen3.6-35B-A3B-heretic-MTP-GGUF — GGUF-квантизированная версия модели Qwen3.6-35B-A3B, подготовленная независимым автором LLMfan46 на основе модели llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved. Модель представляет собой децензурированную и «abliterated» модификацию исходной Qwen3.6-35B-A3B, созданную с использованием Heretic v1.3.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA). В репозитории также указана поддержка image-text-to-text pipeline, однако подробности о мультимодальных возможностях не приведены. Модель предназначена для генерации текста и сценариев, в которых требуется меньше отказов по сравнению с исходной моделью. Согласно приведённым данным, доля отказов снизилась с 83 до 10 на тесте из 100 запросов, а KL-дивергенция относительно оригинала составляет 0,0015, что указывает на небольшое отклонение поведения при заявленном сохранении качества. Все 19 MTP-компонентов исходной модели сохранены. Размер модели обозначен как 35B-A3B; точные сведения об архитектуре, поддерживаемых языках и размере контекста в README отсутствуют. Репозиторий содержит EMB_BF16-квантизации: эмбеддинги token_embd.weight, position_embd.weight, token_types.weight и per_layer_token_embd.weight могут храниться в полном формате BF16 в системной RAM и не занимать VRAM. Это может повысить точность, но требует больше оперативной памяти. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B RVN Heretic Abliterated Uncensored — это модифицированная версия Qwen3.8-27B от Qwen, дополнительно обработанная с применением метода ARA из инструментария heretic. Основой послужила версия trohrbaugh/Qwen3.8-27B-heretic-ara, созданная Tim Rohrbaugh; затем модель прошла ещё два полноразмерных ARA-прохода для уменьшения остаточных отказов. Распространяемый вариант предназначен для генерации текста, исследований, творческого письма и ролевых сценариев, включая случаи, где требуется существенно меньше защитных отказов. Модель рассчитана на совершеннолетних пользователей и должна применяться ответственно и в соответствии с законодательством. Модель имеет архитектуру qwen3_5_text семейства Qwen3.8 с гибридом Gated DeltaNet: 27 млрд параметров, 64 слоя, включая 16 стандартных attention-слоёв и 48 слоёв линейного внимания Gated DeltaNet. Используются 24 attention-heads, 4 KV-heads с GQA, размер головы 256, hidden size 5120 и словарь из 248 320 токенов. Заявленная длина контекста составляет 262 144 токена. Модель текстовая, поставляется в формате GGUF для llama.cpp; тензоры MTP/NextN исключены. Ключевая особенность — намеренное снижение защитных механизмов: по данным README, доля отказов на тесте вредоносных запросов снизилась до 0–1 из 100, а поведенческое отклонение от базовой модели оценивается через KL примерно в 0,0085. Это делает модель более подходящей для неконтролируемой генерации и экспериментов, но одновременно повышает риск выдачи опасного или неподходящего содержания. Сохранены некоторые защитные ограничения, поэтому полное отсутствие отказов не гарантируется. Лицензия — Apache-2.0, унаследованная от Qwen3.8-27B.

Это GGUF-сборка модели Qwen3.8-27B Heretic ARA, объединённая с черновой моделью DFlash2 для спекулятивного декодирования. Репозиторий подготовил sirus; целевая модель содержит около 27,3 млрд параметров и предназначена для текстовой генерации и чата с ускорением вывода через DFlash2 в llama.cpp. Веса используют смесь MXFP6_E2M3 и OCP MXFP8, размер целевого файла — около 20,72 ГиБ; отдельно поставляется черновая модель размером около 1,47 ГиБ. Для запуска требуется Blackwell-оптимизированная экспериментальная сборка llama.cpp, поскольку формат MXFP6_E2M3 не поддерживается стандартной версией. Репозиторий сообщает об успешных структурных проверках и пробных генерациях, но не приводит итоговой оценки качества PPL/KLD или подтверждённого сравнительного выигрыша в скорости. Лицензия — Apache-2.0.

aclava/Qwen3.8-27B-Q3_K_M-GGUF — это квантованная модель в формате GGUF, созданная на основе Qwen/Qwen3.8-27B. Репозиторий подготовлен пользователем или организацией aclava, а исходная базовая модель разработана командой Qwen. Конвертация выполнена с помощью llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для локального запуска через llama.cpp в режиме командной строки или сервера, что подходит для генерации текста и интеграции в локальные приложения. В карточке указана категория image-text-to-text, поэтому модель заявлена для задач преобразования изображений и текста в текст, однако подробности о поддерживаемых языках, конкретных мультимодальных возможностях и сценариях применения не приведены. Из известных характеристик указаны размер базовой модели 27B параметров и квантование Q3_K_M, позволяющее уменьшить требования к памяти по сравнению с полноразмерными вариантами, потенциально снижая точность. Формат GGUF ориентирован на экосистему llama.cpp. В примере запуска используется контекст длиной 2048 токенов, но максимальный размер контекста в карточке не подтверждён. Архитектура, точный размер файла, требования к оборудованию и результаты оценки качества не указаны. Модель распространяется по лицензии Apache-2.0. Для использования требуется совместимый интерфейс llama.cpp; конкретные ограничения исходной модели следует уточнять в карточке Qwen/Qwen3.8-27B.

raspberry-3B-GGUF — это набор GGUF-квантизаций языковой модели raspberry-3B, разработанной qnguyen3 и опубликованной в формате для запуска через llama.cpp. Квантизации подготовлены пользователем bartowski с использованием imatrix и могут применяться для генерации текста, в том числе локально через LM Studio. Модель относится к классу text-generation; исходный README не указывает поддерживаемые языки, точный контекст, архитектуру или формат промптов. Доступны варианты от F16 размером 6,18 ГБ до Q2_K размером 1,27 ГБ. Наиболее высокое качество обещают F16, Q8_0 и варианты Q6_K; для более экономичного использования памяти предлагаются Q4, Q3 и Q2. Некоторые варианты используют Q8_0 для embedding- и output-весов, а отдельные сборки оптимизированы для ARM-процессоров и требуют поддержки SVE или i8mm. Более агрессивная квантизация снижает требования к памяти, но может ухудшать качество; Q4_K_M обозначен как рекомендуемый вариант стандартного размера, а Q3 и Q2 описаны как менее качественные. Лицензия указана как qwen-research; README ссылается на лицензию Qwen/Qwen2.5-3B-Instruct.

Gemmasutra-Small-4B-v1-GGUF — это квантованные GGUF-версии языковой модели Gemmasutra-Small-4B-v1, разработанной TheDrummer и подготовленные bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях и инструментах на базе llama.cpp, включая LM Studio. Доступны варианты от исходных весов BF16 размером 7,73 ГБ до более компактных квантований Q2–Q8 и IQ. Модель имеет около 4 миллиардов параметров; поддерживаемые модальности, языки и размер контекста в README не указаны. Для работы требуется специальный формат промпта Gemma с маркерами ролей. Системный промпт не поддерживается. Основное преимущество набора — широкий выбор квантований, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти. В README рекомендуются варианты Q4_K_M, Q5, Q6 и некоторые IQ-квантизации; низкобитные варианты экономят память, но могут снижать качество. Лицензия модели в предоставленных данных не указана.

Yuan2-M32-hf-IMat-GGUF — это GGUF-квантизированная версия текстовой генеративной модели IEITYuan/Yuan2-M32-hf. Квантизацию выполнил legraphista с использованием llama.cpp и метода IMatrix; исходная модель имеет формат BF16. Модель предназначена для генерации текста и локального запуска в совместимых инструментах, включая llama.cpp. Репозиторий содержит варианты квантизации от IQ1_S и IQ2 до Q8_0, с размером файлов примерно от 8,70 до 42,93 ГБ. Для вариантов с более низкой разрядностью применена IMatrix, что может помогать сохранять качество при уменьшении размера, однако конкретные характеристики качества, языки, размер контекста, архитектура и результаты тестирования в README не указаны. Доступны также FP16-файлы общим размером 80,12 ГБ, разделённые на части. Модель распространяется по лицензии Apache 2.0.

CerebrumTech-cere-llama-3-8b-tr-GGUF — это набор GGUF-квантизаций базовой текстогенерационной модели CerebrumTech/cere-llama-3-8b-tr, опубликованный и подготовленный квантизатором featherless-ai-quants. Модель предназначена для генерации текста и запуска в средах, совместимых с форматом GGUF. README не уточняет конкретные прикладные сценарии, языки, модальности и максимальную длину контекста. Доступны варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0; размер файлов составляет примерно от 3,03 до 8,15 ГБ. Из названия базовой модели следует, что она относится к семейству Llama с 8 млрд параметров, однако подробности архитектуры и характеристики исходной модели в README не приведены. Разные уровни квантизации позволяют выбирать компромисс между размером файла, требованиями к ресурсам и потенциальным качеством, но результаты сравнения производительности не указаны. Лицензия в README не указана; условия использования следует проверять отдельно для базовой модели CerebrumTech/cere-llama-3-8b-tr и опубликованных файлов квантизации.

CORe-Pico-4-i1-GGUF — это квантизированная версия языковой модели CORe-Pico-4, разработанной OpenCOReTechnologies и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста и других сценариев, основанных на causal language modeling, включая локальный запуск через совместимые инструменты для работы с GGUF. В репозитории представлены варианты квантизации i1 с размерами примерно от 0,6 до 1,5 ГБ, а также файл imatrix для самостоятельного создания квантов. Доступны форматы IQ и Q с различным компромиссом между размером, скоростью и качеством; среди рекомендуемых README выделяет i1-Q4_K_M, а i1-Q4_K_S описывается как оптимальный баланс размера, скорости и качества. Модель ориентирована на английский язык. Сведения об архитектуре, количестве параметров, максимальном контексте, мультимодальности и результатах оценивания в README не указаны. Главные преимущества — компактный размер, возможность локального использования и широкий выбор уровней квантизации под доступные ресурсы. Ограничения связаны с потенциальной потерей качества у наиболее агрессивных квантов, а также с отсутствием подробных данных о производительности и возможностях базовой модели. Модель распространяется по лицензии Apache-2.0.

Builder117/distilbert-prompt-injection — дообученный классификатор на базе DistilBERT для выявления атак с внедрением промптов в системах с большими языковыми моделями. Он определяет попытки подменить системные инструкции, извлечь системный промпт, перехватить роль или скрыто встроить команды в пользовательский ввод. Модель присваивает тексту метку LEGIT или INJECTION и предназначена для проверки входящих запросов в защитных конвейерах LLM. Модель дообучена на distilbert-base-uncased на обучающей части набора deepset/prompt-injections; архитектура — DistilBertForSequenceClassification. Она рассчитана на англоязычный текст и принимает последовательности длиной до 512 токенов. Распространяется под лицензией Apache-2.0. Классификатор ориентирован на атаки из категории OWASP LLM Top 10 LLM01: Prompt Injection и подходит для предварительной фильтрации запросов. Он может пропускать сильно обфусцированные строки, включая замену символов, полноширинные и невидимые Unicode-символы; мультиязычные атаки не охвачены обучением.

MaziyarPanahi/Experiment26Mergerix-7B-GGUF — набор файлов модели в формате GGUF для модели automerger/Experiment26Mergerix-7B, разработанной automerger и квантованной MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в совместимых локальных инструментах и библиотеках, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие решения. Из известных характеристик указаны размер 7B, текстовая модальность, принадлежность к семейству Mistral и варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Формат GGUF поддерживает запуск с аппаратным ускорением и интеграцию с API в некоторых совместимых клиентах. Данные о языках, размере контекста, точной архитектуре, результатах оценки, сильных сторонах и ограничениях модели не приведены, поэтому их нельзя достоверно описать. Модель распространяется по лицензии Apache-2.0. README описывает именно конвертированные и квантованные файлы, а не подробные свойства исходной модели; пригодность конкретного варианта зависит от выбранной квантовки и используемого программного обеспечения.

Foundation-Sec-8B-GGUF — англоязычная модель для генерации текста, основанная на Meta Llama 3.1 8B и представленная в формате GGUF. В карточке указано назначение для задач, связанных с безопасностью, однако подробная специализация и данные о разработчике явно не приведены. Модель создана с использованием llama.cpp, commit 19e899c, и распространяется по лицензии Apache-2.0. Ключевая особенность — ультранизкобитная квантизация с методом IQ-DynamicGate, адаптирующим точность по слоям для форматов 1–2 бита. Метод сохраняет более высокую точность при снижении требований к памяти: критические embedding- и output-слои используют Q5_K, а для других частей применяются IQ4_XS, IQ2_XXS и IQ3_S. Приведённые тесты для Llama-3-8B-Instruct с контекстом 2048 токенов показывают заметное снижение perplexity по сравнению со стандартной квантизацией, особенно для IQ1_M и IQ2_S, при увеличении размера файла примерно на 0,1–0,3 ГБ и сопоставимой скорости CPU-инференса. Модель предназначена для запуска в условиях ограниченной GPU-памяти, на CPU и edge-устройствах, а также для исследований ультранизкобитной квантизации. Основные ограничения — возможное снижение качества из-за 1–2-битной точности и зависимость производительности от аппаратной поддержки выбранного формата. README не указывает размер контекстного окна именно для этой модели, поэтому приведённые 2048 токенов относятся к описанному бенчмарку.

Gemma 3 270M IT GGUF — это компактная языковая модель для генерации текста, созданная на основе модели Google gemma-3-270m-it. Представленная версия преобразована в формат GGUF и предназначена для использования с инструментами и библиотеками, совместимыми с этим форматом, включая gguf-connector и сборки llama-cpp-python. Модель ориентирована на задачи текстовой генерации и может применяться в сценариях, где важны небольшой размер и локальный запуск. Известно, что она является instruction-tuned версией с 270 миллионами параметров. Сведения о поддерживаемых языках, длине контекста, точной архитектуре, модальностях, производительности и ограничениях в README не приведены. Лицензия указана как gemma. README не содержит подробных условий лицензии, поэтому перед использованием следует ознакомиться с официальными условиями Google Gemma. Исходные веса в формате Safetensors и информация о тестировании доступны по ссылкам, указанным в карточке модели.

llmfan46/gemma-4-31B-it-uncensored-heretic-NVFP4-GGUF — квантизированная версия модели llmfan46/gemma-4-31B-it-uncensored, созданной независимым разработчиком LLMfan46 на основе Google Gemma 4 31B IT. Модель преобразована в формат NVFP4 GGUF и предназначена для генерации текста и, согласно указанному pipeline, работы со сценариями image-text-to-text, однако подробности поддерживаемых входных и выходных модальностей в README не приведены. Модель ориентирована на чат-ботов, ассистентов и другие сценарии, где требуется меньше отказов и ограничений при сохранении близости к поведению исходной Gemma. Для декенсурирования использовался Heretic v1.2.0 с методом Arbitrary-Rank Ablation (ARA); изменялся компонент attn.o_proj в слоях 30–48. По заявленным измерениям, частота отказов снижена до 10 из 100 против 99 из 100 у исходной модели, а KL-дивергенция относительно оригинала составляет 0,0541. Ключевые ограничения — отсутствие в README сведений о контекстном окне, языках, точной архитектуре, системных требованиях и полном наборе результатов тестирования. Снижение числа отказов означает менее выраженные защитные ограничения и может повышать риск небезопасных или нежелательных ответов; заявленные показатели следует проверять самостоятельно. Модель распространяется по лицензии Apache 2.0 с дополнительными условиями лицензии Gemma, указанными по ссылке разработчика.

GLM-5.3-Flash-Abliterated-MLX-4bit — экспериментальная 4-битная сборка модели GLM-5.3-Flash от Z.ai, созданная на основе версии Blackfrost-Research/GLM-5.3-Flash-DERISKED-BF16 и оптимизированная для Apple Silicon с использованием MLX и oMLX. Модель предназначена для локального инференса, исследований AI safety, red-teaming, анализа отказов и выравнивания, интерпретируемости, квантования и производительности вывода. Сборка сохраняет обработку изображений и поддержку speculative decoding через MTP и DFlash2. Архитектура glm5_next включает 45 слоёв, гибрид recurrent KDA и sparse attention DSA, а также нативную мультимодальность. Базовая модель содержит около 320 млрд параметров, из которых примерно 18 млрд активны на токен; используется MoE с 288 экспертами, 8 активными экспертами и одним общим. Заявленный контекст составляет до 1 048 576 токенов, однако фактическое окно ограничено доступной оперативной памятью. Размер загрузки — около 173 GiB, в рабочем состоянии требуется примерно 190 GiB RAM. Сильные стороны модели — сохранённая поддержка изображений, высокая скорость на Apple Silicon, смешанная iMatrix-калиброванная квантование oQ4e и возможность ускорения вывода с помощью MTP или DFlash2. Abliteration существенно снижает количество отказов, поэтому модель практически не содержит защитных ограничений и может соглашаться с потенциально вредными запросами. Это одновременно является ключевым ограничением: модель нельзя считать безопасной для публичного сервиса или использования недоверенными пользователями. В README указана лицензия MIT, но также отмечена необходимость соблюдать условия лицензий исходных моделей. Артефакт предназначен только для экспериментальных исследований и не должен использоваться для незаконных целей.

grok-oss-Revenant-8B-GGUF — это квантизированная версия текстовой языковой модели grok-oss-Revenant-8B, разработанной c4tdr0ut и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста и запуска локально с помощью совместимого программного обеспечения. В метаданных указаны английский язык и библиотека Transformers; поддержка других языков и дополнительные модальности не заявлены. Модель имеет размер 8B параметров. В описании упоминаются методы LoRA, ORPO и SFT, а также варианты GGUF с разным уровнем квантизации — от Q2_K до Q8_0 и f16. Это позволяет выбирать компромисс между размером файла, скоростью и качеством: наиболее компактный вариант Q2_K занимает около 3,3 ГБ, Q4_K_S и Q4_K_M рекомендованы как быстрые, Q6_K отмечен как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с лучшим качеством среди быстрых. Контекстное окно, архитектура, точные обучающие данные и результаты тестирования не указаны. Сильными сторонами модели являются наличие множества локальных квантизированных вариантов и возможность запуска на оборудовании с ограниченными ресурсами. Ограничения включают отсутствие подробных сведений о качестве, безопасности, контекстном окне и практической производительности, а также заявленные теги unaligned и uncensored, указывающие на потенциально сниженные ограничения безопасности; это требует осторожного применения. Лицензия обозначена как other, но её конкретные условия в README не приведены.

Inex12Strangemerges_32-7B-GGUF — набор файлов модели в формате GGUF для automerger/Inex12Strangemerges_32-7B. Исходную модель разработал automerger, а конвертацию и квантизацию выполнил MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных приложениях и библиотеках, поддерживающих GGUF, включая llama.cpp и совместимые интерфейсы. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. В метаданных модель связана с архитектурой Mistral, однако точная архитектура, поддерживаемые языки, размер контекста, показатели качества и специальные сценарии применения в README не указаны. К сильным сторонам относятся широкий выбор уровней квантизации и возможность запуска через экосистему GGUF, в том числе с GPU-ускорением в поддерживаемых инструментах. Ограничения включают отсутствие в README результатов тестирования, подробностей о данных обучения и характеристик производительности; качество может зависеть от выбранного уровня квантизации и используемого программного обеспечения. Указана лицензия Apache-2.0.

Это 9-миллиардная языковая модель Qwen3.5-Huihui, опубликованная Interim Labs в формате GGUF с квантизацией Q4_K_M для локальной генерации текста и диалога через совместимый рантайм, например llama.cpp. Модель происходит от huihui-ai/Huihui-Qwen3.5-9B-abliterated; пакет Interim Labs повторно распространяет веса из указанного источника конверсии без изменения тензоров. Вариант Huihui основан на экспериментальном чекпойнте Qwen3.5-9B с ослабленными отказами. В карточке нет комплексных тестов качества, надежности или производительности, а ослабление отказов не гарантирует качество ответов. Лицензия — Apache-2.0.

Llama-3.1-Minitron-4B-Width-Base-GGUF — это GGUF-версия базовой модели nvidia/Llama-3.1-Minitron-4B-Width-Base, подготовленная пользователем legraphista с помощью llama.cpp. Модель предназначена для генерации текста и локального запуска в совместимых инструментах, включая llama.cpp. Это базовая, а не инструкционно дообученная версия, поэтому её применение для диалогов и выполнения команд может потребовать дополнительной настройки или дообучения. Модель содержит около 4 млрд параметров и поставляется в нескольких вариантах точности и квантования: BF16, F16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и других форматах GGUF. Размер файлов варьируется примерно от 1,84 до 9,03 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью работы и сохранением качества. В README не указаны поддерживаемые языки и размер контекстного окна; модальность — текстовая. Ключевое преимущество сборки — возможность запуска модели на локальном оборудовании с ограниченными ресурсами благодаря квантованным вариантам. Более агрессивное квантование уменьшает требования к памяти, но может снижать качество генерации по сравнению с BF16 или F16. Условия использования определяются лицензией NVIDIA Open Model License Agreement; для модели указана лицензия nvidia-open-model-license.

Llama-3.3-Nemotron-70B-Reward-Principle — языковая модель NVIDIA на архитектуре Llama 3.3, дообученная на основе meta-llama/Llama-3.3-70B-Instruct. Она оценивает, насколько итоговый ответ ассистента в многоходовом диалоге соответствует заданному пользователем принципу, и выдаёт одно числовое значение: более высокий балл означает большее соответствие. Модель рассчитана на оценивание ответов LLM и применение в контурах ранжирования и контроля качества. Модель содержит 69,5 млрд параметров, работает с текстом и имеет заявленный контекст до 131 072 токенов. Однако обучение проводилось на диалогах длиной до 4 096 токенов, поэтому качество на более длинных входах может быть ограничено. Карточка сообщает высокие результаты на RM-Bench и JudgeBench; для запуска через Transformers указаны две или более GPU с 80 ГБ памяти каждая и не менее 150 ГБ свободного места. Модель обучалась на данных HelpSteer3 и оптимизирована для систем с GPU NVIDIA. Лицензия обозначена как other; перед использованием следует ознакомиться с условиями NVIDIA на странице модели.

Это GGUF-квантизованная версия языковой модели liberalis-cogitator-llama-3.1-8b, разработанной Locutusque и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на его основе. В репозитории представлены варианты от исходных весов BF16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 4 до 16 ГБ; варианты Q6 и Q5 заявлены как обеспечивающие очень высокое или высокое качество, а Q4_K_M — как сбалансированный вариант для большинства сценариев. Квантизация выполнена с использованием imatrix и набора данных bartowski. Архитектура основана на Llama 3.1 с размером 8 миллиардов параметров, однако сведения о поддерживаемых языках, длине контекста, модальностях и специализированных задачах в README не указаны. Сильной стороной модели является возможность локального запуска и выбора уровня квантизации в зависимости от доступной памяти и требований к качеству. Ограничения включают возможную потерю качества в менее точных вариантах, отсутствие описания формата промптов и недостаток информации о назначении исходной модели, языках и лицензии. Условия лицензирования в предоставленных данных не указаны.

loggenix-moe-0.4B-0.2A-sft-s4 — специализированная языковая модель от kshitijthakkar для анализа трасс OpenTelemetry и задач наблюдаемости при разработке агентных систем. Модель дообучена методом SFT на корпусах TraceVerse и генерирует структурированные JSON-вызовы инструментов на основе данных, заключённых в тегах <trace>. Она предназначена прежде всего для диагностики по трассам и выбора MCP-инструментов, а не для универсального общения. Это разреженная MoE-модель на базе Qwen3 MoE с 16 экспертами и выбором top-2. Всего она содержит около 390,1 млн параметров, из которых примерно 191,9 млн активны на токен; вычислительная часть без эмбеддингов и выходной головы составляет около 36,3 млн параметров. Размер словаря — 151 936 токенов, заявленный язык — английский, библиотека — Transformers, контекст обучения — 8192 токена. Доступны варианты GGUF, включая F16, Q8_0 и Q4_K_M; для последнего указана скорость около 344 токенов в секунду. Сильные стороны модели — специализация на trace-анализе, высокая приверженность формату структурированного вывода и компактные вычисления благодаря MoE-архитектуре. На целевых тестах детерминированная корректность контрактного формата составила 88%, а показатель соблюдения рассуждательного режима — 96%. Ограничения включают заметное снижение качества вне домена, ухудшение работы на запросах без trace-полезной нагрузки и склонность к зацикливанию при жадном декодировании. Для Transformers рекомендуется сэмплирование с temperature 0,7, top_p 0,95 и top_k 20, а также до 1500 новых токенов; для GGUF следует сохранять контекст 8192. Модель распространяется по лицензии Apache-2.0.