II.2Создание и понимание программного кода

L3.3-MS-Nevoria-70b-GGUF — набор GGUF-квантизованных файлов модели L3.3-MS-Nevoria-70b, разработанной Steelskull и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе в LM Studio. В README она описана как merge-модель, однако подробности использованных компонентов не приведены. Модель имеет заявленный размер 70 млрд параметров и поддерживает несколько вариантов квантования от Q8_0 до Q2 и IQ2/IQ3/IQ4. Размер файлов составляет примерно от 19 до 75 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; более компактные варианты требуют меньше оперативной памяти, но характеризуются сниженным качеством. Для работы используется форматированный шаблон приглашений с ролями system, user и assistant. Это текстовая модель: сведения о мультимодальности, поддерживаемых языках и размере контекстного окна в README отсутствуют. Основные преимущества — возможность локального запуска, широкий выбор компромисса между качеством и требованиями к памяти, а также оптимизация квантования с помощью imatrix. Ограничения включают значительные требования к памяти даже у компактных вариантов, потенциальную потерю качества при низком уровне квантования и отсутствие данных о целевых сценариях, результатах тестирования и лицензии.

L3-Zodiac-8B-ORPO-Base-GGUF — это квантованная версия текстовой генеративной модели L3-Zodiac-8B-ORPO-Base, созданная bartowski на основе модели unsloth/llama-3-8b-bnb-4bit. Исходная модель опубликована nothingiisreal. Модель предназначена для генерации текста и локального запуска через llama.cpp в формате GGUF, включая сценарии, где важны сниженные требования к памяти и возможность выбрать баланс между качеством и размером файла. Модель основана на архитектуре Llama 3 и имеет 8 миллиардов параметров. В карточке указаны английский язык и текстовая модальность; сведения о длине контекста и дополнительных модальностях отсутствуют. Доступны варианты квантования от Q8_0 и Q8_0_L высокого качества до IQ2 и Q2_K с существенно меньшим размером. Варианты Q6_K, Q5_K и Q4_K обозначены как рекомендуемые; более низкие уровни требуют меньше оперативной памяти, но снижают качество. Некоторые варианты являются экспериментальными и используют веса embedding и output в формате f16. К сильным сторонам относятся широкий выбор размеров, поддержка llama.cpp и высокая сохранность качества у старших вариантов квантования. Ограничения связаны с потерями качества при сильном квантовании, отсутствием явно заданного chat template и неопределённостью корректного формата запросов: в README отмечено, что приведённый шаблон может быть неверным, поэтому детали следует проверять по карточке исходной модели. Модель распространяется по лицензии Llama 3.

Laguna-S-2.1-GGUF — это квантованная версия языковой модели poolside/Laguna-S-2.1, опубликованная в репозитории antirez для запуска через DwarfStar. Модель предназначена для генерации и продолжения текста, а также локального инференса на системах с ограниченными ресурсами. По метаданным это Mixture-of-Experts-модель с поддержкой формата GGUF. Основной вариант использует смешанную схему квантования: тензоры маршрутизируемых экспертов в слоях 1–20 представлены в Q2_K, а в слоях 21–47 — в Q3_K; остальные тензоры сохранены из официальной сборки Q4_K_M. Размер файла составляет около 44,946 GiB, поэтому модель рассчитана на полное размещение в памяти системы с 64 ГБ ОЗУ. Поддержка Q3_K-маршрутизации заявлена начиная с определённой версии DwarfStar. На Apple M5 Max указаны результаты около 514 токенов в секунду при prefill на 4096 токенах и 63 токенов в секунду при генерации. Смешанное квантование уменьшает требования к памяти, но несколько снижает качество относительно полной Q4_K_M: средний NLL составил 0,2583 против 0,2352, а доля совпадений первого токена — 87 против 92 из 100 тестовых продолжений. Реальные требования к памяти также зависят от размера контекста и KV-кэша. Сведения о поддерживаемых языках, максимальном контексте и лицензии в README не указаны.

LittleLamb Tool-Calling — компактная причинно-авторегрессионная языковая модель семейства Qwen3, разработанная Multiverse Computing на основе сжатой LittleLamb 0.3B и объединённая с Qwen3-0.6B. По README, модель содержит около 290 млн параметров; в метаданных указано 224,5 млн. Она дообучена для вызова функций по заданным схемам, генерации структурированных ответов и сценариев с агентами, а также поддерживает диалоговые режимы с рассуждением и без него. Контекст — до 40 960 токенов. Основной заявленный язык — английский. Модель предназначена для чат-ботов и виртуальных помощников, которым нужно формировать JSON или вызывать внешние инструменты, в том числе на устройствах с ограниченными ресурсами. Она работает через Transformers и требует версии 4.51.0 или новее для поддержки архитектуры Qwen3. Лицензия — Apache 2.0. Компактный размер позволяет рассматривать модель для локального и периферийного запуска, однако надёжность вызовов инструментов следует проверять на конкретных сценариях. Результаты заметно зависят от режима рассуждения; модель малого масштаба слабо справляется с рядом сложных бенчмарков. Возможности вызова инструментов на испанском языке ещё не проверялись.

Atomic-Germ/Llama-3.1-8B-NPU2 — производная модель семейства LLaMA 3.1 от Meta AI, адаптированная для быстрого запуска через FastFlowLM на NPU AMD Ryzen AI с архитектурой XDNA2. В качестве базовой указана Meta Llama 3.1 8B Instruct; README не уточняет, включены ли в производную модель дообучение, квантизация или другие изменения. Модель предназначена для генерации текста, исследовательских и академических экспериментов в области NLP, а также, при соответствующей поддержке, для генерации кода. Указан английский язык. Размер — 8 миллиардов параметров; модальность — текстовая. Длина контекста и точные технические характеристики адаптации не указаны. Ключевое преимущество модели — оптимизация под аппаратное ускорение на AMD Ryzen AI NPU с XDNA2 и интеграцию с FastFlowLM. При этом README предупреждает о возможной генерации ошибочной или вредоносной информации, сохранении предубеждений обучающих данных и отсутствии знаний о событиях после завершения обучения. Модель не рекомендуется использовать в продуктивных, чувствительных или коммерческих сценариях без дополнительной оценки и необходимых разрешений. Использование регулируется лицензией Meta LLaMA 3: требуется принять условия Meta, а коммерческое использование, распространение и требования к атрибуции ограничены условиями этой лицензии. Репозиторий не содержит оригинальных весов Meta; их необходимо получать отдельно. Условия лицензирования производных весов и обучающих наборов данных в README не заполнены, поэтому перед использованием требуется проверить права на все компоненты.

MLX-версия языковой модели Llama-3.2-3B-Instruct-uncensored, подготовленная сообществом mlx-community. Модель конвертирована из chuanli11/Llama-3.2-3B-Instruct-uncensored с использованием mlx-lm версии 0.22.3 и предназначена для запуска в формате MLX на совместимом оборудовании, в частности в сценариях локальной генерации текста и диалогового взаимодействия. Модель имеет размер около 3 миллиардов параметров и 6-битное представление весов. Она относится к инструкционно настроенным моделям и поддерживает применение chat template через tokenizer, что позволяет формировать запросы в формате сообщений пользователя и получать ответы через библиотеку mlx-lm. Поддерживаемые языки, максимальная длина контекста и полный перечень модальностей в README не указаны; по доступным данным это текстовая модель. Ключевое преимущество — адаптация к MLX и 6-битное квантование, потенциально уменьшающее требования к памяти при локальном запуске. Ограничения включают отсутствие в README подробностей о качестве, языковой специализации, контекстном окне и целевых бенчмарках, поэтому возможности модели следует оценивать эмпирически. Лицензия в предоставленных данных не указана.

Карточка модели Kailune-AI/mamba-gpt-3b-v4 на Hugging Face совпадает с карточкой CobraMamba/mamba-gpt-3b-v4, поэтому описание составлено по ней. CobraMamba/mamba-gpt-3b-v4 — авторская дообученная языковая модель семейства Llama, созданная на основе openlm-research/open_llama_3b_v2. Она содержит 3,3 млрд параметров и предназначена для генерации текста, диалогов и ответов на запросы; обучение включало наборы Stanford Alpaca, Open Assistant, LIMA, CodeAlpaca, GPT-4 Generated Data и UltraChat. Модель принимает текст и выдаёт текст, поддерживает английский и многоязычные запросы; родной контекст составляет 2048 токенов. В карточке приведены результаты тестирования на MMLU, ARC и HellaSwag, однако заявленное превосходство над более крупными моделями следует считать утверждением разработчика, а не независимой оценкой. Модель может давать ошибочные или нерелевантные ответы и воспроизводить предвзятое либо оскорбительное содержание. Для использования опубликована лицензия Apache-2.0.

MaziyarPanahi/mergekit-dare_ties-ymiqjtz-GGUF — это набор файлов модели в формате GGUF, созданный пользователем MaziyarPanahi для модели mergekit-community/mergekit-dare_ties-ymiqjtz. Исходная модель разработана сообществом mergekit-community методом объединения нескольких моделей, включая Calme-7B-Instruct-v0.9, Not-WizardLM-2-7B, OpenHermes-2.5-neural-chat-v3-3-Slerp и dolphin-2.8-mistral-7b-v02. По имеющимся данным, модель относится к семейству Mistral и предназначена для генерации текста, диалоговых и других задач обработки текста. Репозиторий предоставляет варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения. Сведения о размере контекстного окна, поддерживаемых языках, точной архитектуре объединённой модели, результатах оценки и специализированных сценариях использования не указаны. Основные преимущества — возможность локального запуска и наличие нескольких уровней квантования, включая варианты для устройств с ограниченными ресурсами. К ограничениям относятся потенциальная потеря качества при сильном квантовании и отсутствие в предоставленных данных подробных характеристик производительности. Лицензия модели в README не указана; условия использования следует уточнять в исходных репозиториях объединённых моделей и в репозитории квантованных файлов.

Mini-Lama-8B-Base-i1-GGUF — квантизированная версия базовой языковой модели Nabbers1999/Mini-Llama-8B-Base-0124, подготовленная mradermacher. Модель предназначена для генерации текста и других сценариев, требующих базовой LLM, включая локальный запуск в формате GGUF. Указан английский язык; мультимодальность не заявлена. Модель содержит около 8 миллиардов параметров и распространяется в нескольких вариантах квантизации i1, от IQ1_S до Q6_K, с размером файлов примерно от 2,2 до 7,1 ГБ. Доступны imatrix-кванты; варианты различаются по компромиссу между размером, скоростью и качеством. Для практического использования в README рекомендуются Q4_K_M как быстрый вариант и Q4_K_S как оптимальный баланс размера, скорости и качества, при этом низкобитные варианты могут иметь заметно более низкое качество. README не содержит сведений о длине контекста, архитектурных деталях, результатах тестирования, системных требованиях или специализированных возможностях. Модель распространяется по лицензии Apache-2.0. Возможности и ограничения исходной базовой модели наследуются от Nabbers1999/Mini-Llama-8B-Base-0124.

Это вариант базовой модели Mistral-7B, подготовленный автором arnavgrg: веса линейных слоёв сначала квантизировали до NF4 с помощью bitsandbytes, а затем развернули обратно в FP16. Такой подход предназначен для инференса через Transformers и призван избежать затрат на деквантизацию при каждом проходе модели. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и имеет контекстное окно до 32 768 токенов. Модель подходит для генерации текста на основе текстового запроса и может использоваться в сценариях, поддерживаемых базовой Mistral-7B. README приводит пример загрузки в FP16 через Transformers. Повторное развертывание после NF4-квантизации не возвращает исходную точность: веса линейных слоёв искажены с потерями, поэтому качество может быть ниже официальной базовой модели. Лицензия — Apache-2.0.

Nemomix-v4.0-12B-GGUF — GGUF-квантизированная версия языковой модели Nemomix-v4.0-12B, разработанной MarinaraSpaghetti. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix на калибровочном наборе данных. Модель предназначена для генерации текста и локального запуска через совместимые приложения, включая LM Studio. Модель содержит около 12 миллиардов параметров и представлена в нескольких вариантах точности: от F32 до Q2_K и IQ2_M. Доступны форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизации; размеры файлов варьируются примерно от 4,44 до 49 ГБ. Более высокие варианты сохраняют лучшее качество, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для модели не указаны поддерживаемые языки, размер контекста, точная архитектура и мультимодальные возможности. README не содержит сведений о лицензии. Шаблон чата явно не задан, поэтому указанный формат prompt может быть неподходящим; перед использованием рекомендуется проверить карточку исходной модели Nemomix-v4.0-12B.

Nova-Tempus-70B-v0.1-GGUF — это квантизированная версия текстовой генеративной модели Nova-Tempus-70B-v0.1, разработанной sophosympatheia и подготовленной для распространения в формате GGUF пользователем bartowski. Модель предназначена для локального запуска и генерации текста, в частности через llama.cpp и LM Studio. В README также указано, что исходная модель создана с использованием mergekit, однако подробности объединяемых моделей не приведены. Модель имеет размер 70B параметров и поддерживает английский язык. Она работает в текстовой модальности; сведения о мультимодальности, максимальном размере контекста и точной архитектуре отсутствуют. Для квантизации использовались llama.cpp b4481 и метод imatrix. Доступны варианты от Q8_0 до Q2_K и IQ-квантизаций с размером файлов примерно от 21 до 75 ГБ: старшие варианты обеспечивают более высокое качество, а младшие снижают требования к памяти ценой качества. В качестве рекомендуемых указаны, среди прочих, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Сильной стороной модели является возможность локального запуска на совместимом оборудовании с выбором компромисса между качеством и потреблением памяти. Ограничения включают значительные требования к оперативной или видеопамяти для вариантов 70B, снижение качества при низких уровнях квантизации и отсутствие заявленных характеристик производительности или результатов бенчмарков. Модель распространяется по лицензии llama3.3; перед использованием следует учитывать тег not-for-all-audiences и проверить применимость лицензии к конкретному сценарию.

Это пакет слоёв GGUF для распределённого запуска NVIDIA Nemotron 3 Nano Omni 30B A3B Reasoning в кластере Mesh LLM. Пакет подготовлен Mesh LLM на основе unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF и сохраняет исходное разделение GGUF на артефакты по слоям. Вариант UD-Q4_K_XL предназначен для распределённого инференса на нескольких локальных машинах, когда целая модель не помещается на одном узле. Модель поддерживает генерацию текста и диалоговый сценарий; Mesh LLM может предоставлять локальный API, совместимый с OpenAI Chat Completions. README не содержит сведений об архитектуре, числе параметров, контекстном окне или поддерживаемых языках, поэтому характеристики исходной модели здесь не уточняются. Репозиторий указывает лицензию «other»; конкретные условия следует проверять в карточке исходной модели NVIDIA Nemotron.

OpenAI-gpt-oss-20B-INSTRUCT-Heretic-Uncensored-MXFP4-q8-hi-mlx — языковая модель для генерации текста, опубликованная в формате MLX. В метаданных указана базовая модель DavidAU/OpenAI-gpt-oss-20B-INSTRUCT-Heretic-Uncensored-MXFP4; конкретный разработчик или автор этой версии явно не назван. Модель предназначена для запуска через библиотеку mlx-lm и использования в сценариях генерации текста с чат-шаблоном. Известно, что модель имеет размер 20B параметров и ориентирована на instruction-following. Суффикс q8-hi-mlx указывает на вариант в формате MLX с соответствующей схемой квантования, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекстного окна в README не указаны. Приведённые измерения сообщают perplexity 5,920 ± 0,050, пиковое потребление памяти около 17,93 ГБ и скорость около 844 токенов в секунду; условия тестирования не описаны, поэтому эти показатели нельзя напрямую обобщать на все конфигурации. Сильными сторонами являются специализированный формат для экосистемы Apple MLX, возможность работы через mlx-lm и наличие заявленных показателей производительности. Ограничения включают отсутствие подробных оценок качества, документации по языкам и контексту, а также недостаток информации о безопасности и практическом поведении модели. Лицензия указана как Apache-2.0.

Это GGUF-сборка Ornith-1.5-35B-A3B с восстановленной обученной MTP-головой. Автор сборки заменил некорректную исходную голову на голову, продолженную обучением Avifenesh, чтобы работало спекулятивное декодирование с многотокенным предсказанием. Модель использует архитектуру qwen35moe: около 35,5 млрд параметров всего, 256 экспертов, из которых активны 8, и примерно 2,6 млрд активных параметров на токен. Контекст составляет 262 144 токена. Сборка предназначена для генерации текста и диалогового использования с поддержкой MTP-спекулятивного декодирования. В README указана смешанная квантизация компонентов Q4_K, Q6_K и Q3_K; запуск заявлен через llama.cpp и Ollama. Карточка указывает английский язык, а метаданные связывают модель с базовой Ornith-1.5-35B-A3B. Лицензия — MIT. README сообщает об улучшении принятия черновых предсказаний и устранении схлопывания предсказаний на глубине 2–3; скорость и качество в иных сценариях не описаны.

ozone-research_2x-lite-GGUF — это набор квантизированных версий языковой модели 2x-lite, разработанной ozone-research и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Для взаимодействия рекомендуется формат промпта с ролями system, user и assistant на основе специальных маркеров чата. Доступны варианты квантизации от Q2 до Q8, размером примерно от 5,77 до 15,70 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, но требуют больше оперативной памяти; в README рекомендуются, в частности, Q4_K_M, Q5_K_M, Q5_K_L, Q6_K и Q6_K_L. Некоторые варианты оптимизированы по соотношению качества и размера, а отдельные форматы ориентированы на особенности ARM или Apple Silicon. Архитектура, число параметров, поддерживаемые языки, размер контекста и модальности в предоставленных данных не указаны. Основные преимущества — возможность локального запуска, широкий выбор размеров файлов и совместимость с экосистемой llama.cpp. Ограничения связаны с потерями качества, зависящими от выбранной квантизации, а также с отсутствием в README подробных сведений о возможностях исходной модели и рекомендуемых аппаратных ресурсах. Набор распространяется по лицензии Apache-2.0.

PiVoT-10.7B-Mistral-v0.2-RP-GGUF — квантизированная версия языковой модели Pivot 10.7B Mistral V0.2 RP, разработанной Jeonghwan Park и преобразованной в формат GGUF пользователем TheBloke. Модель относится к семейству Mistral, предназначена для генерации текста и поддерживает английский язык. Модель имеет размер 10,7 млрд параметров и распространяется в вариантах GGUF с квантизацией от 2 до 8 бит, что позволяет запускать её локально с использованием CPU и GPU. Для взаимодействия рекомендуется шаблон Mistral «[INST] {prompt} [/INST]». Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Сильной стороной модели является возможность локального запуска на различном оборудовании благодаря нескольким уровням квантизации. При этом README не содержит данных о размере контекстного окна, результатах тестирования, качестве по отдельным задачам, мультимодальности или поддержке языков помимо английского. Квантизация может влиять на качество генерации по сравнению с исходной версией в формате FP16. Модель распространяется по лицензии CC BY-SA 4.0.

Qwen3-14B-abliterated-GGUF — текстовая генеративная модель в формате GGUF, подготовленная richardyoung на базе Qwen/Qwen3-14B. Она предназначена для локального запуска и совместима с инструментами Ollama, llama.cpp, llama-cpp-python и LM Studio. Модель ориентирована на генерацию текста, исследование методов выравнивания, творческое письмо, обучение и сценарии локального вывода без встроенных отказов по широкому кругу запросов. Размер базовой модели составляет 14 млрд параметров. Доступны варианты квантования Q4_K_M, Q5_K_M и Q8_0; Q4_K_M рекомендуется как компромисс между качеством и требованиями к ресурсам, Q5_K_M обеспечивает более высокое качество, а Q8_0 — максимальное среди указанных вариантов. В README заявлена поддержка английского языка. Модель работает с текстом; сведения о контекстном окне, точной архитектуре и других модальностях не приведены. Ключевая особенность — abliteration, то есть удаление направления отказа из residual stream без дополнительного обучения. По приведённым в README результатам, доля отказов снизилась с 97 до 19 из 100, а KL divergence составила 0,98. Это может повысить гибкость и уменьшить количество отказов, но одновременно снижает встроенные защитные ограничения и не гарантирует безопасность или корректность ответов. Модель распространяется по лицензии Apache-2.0.

Это пакет распределённого запуска модели Qwen3.8-2.4T-A95B в формате GGUF, подготовленный Mesh LLM на основе unsloth/Qwen3.8-2.4T-A95B-GGUF. Веса разделены на отдельные артефакты по слоям, чтобы запускать модель на локальном кластере из нескольких машин, когда одного хоста недостаточно. Пакет предназначен для локального приватного инференса и чат-сценариев через совместимый с OpenAI API Mesh LLM. Вариант использует квантование UD-IQ2_XXS и библиотеку mesh-llm. Карточка отмечает пакет как экспериментальный: проверка целостности артефактов выполнена, но корректность работы и разделения слоёв, а также мультимодальная сертификация ещё не завершены. Лицензия указана как other; условия лицензии следует сверять с карточкой исходной модели.

Replete-LLM-V2-Llama-3.1-8b-GGUF — набор GGUF-квантизаций модели Replete-LLM-V2-Llama-3.1-8b, разработанной Replete-AI и подготовленной пользователем bartowski с использованием llama.cpp и imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio. В README указан английский язык и лицензия Apache-2.0. Модель основана на архитектуре Llama 3.1 и имеет 8 миллиардов параметров. Доступны варианты от F16 до низкобитных Q2 и IQ-квантизаций, различающиеся размером файла, требованиями к памяти и качеством генерации. Рекомендуемые варианты включают Q4_K_M, Q5_K_M, Q6_K и другие; более компактные версии подходят для систем с ограниченным объёмом RAM, но обеспечивают более низкое качество. Указанная модальность — текстовая; размер контекста в README не приведён. Основные сильные стороны набора — широкий выбор квантизаций, возможность локального использования и компромисс между качеством и потреблением памяти. Ограничения включают отсутствие подробных сведений о результатах оценки, возможностях на других языках, специализации модели и размере контекстного окна; качество также зависит от выбранного варианта квантизации. Для работы следует использовать указанный формат промпта Llama 3.1 и совместимый GGUF-движок.

Rombos-LLM-V2.6-Nemotron-70b-GGUF — это набор квантованных версий языковой модели Rombos-LLM-V2.6-Nemotron-70b, опубликованный и подготовленный к квантованию пользователем bartowski. Модель предназначена для генерации текста и распространяется в формате GGUF для запуска с помощью llama.cpp и совместимых приложений, включая LM Studio. Квантование выполнено с использованием imatrix на базе llama.cpp b3930. Доступны варианты квантования от Q8_0 до IQ1_M с размерами файлов примерно от 19 до 75 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют больше оперативной памяти; в README рекомендуются варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Версии с низким уровнем квантования экономичнее по памяти, однако отличаются сниженным качеством. Это текстовая модель без заявленной поддержки изображений или других модальностей. README не содержит сведений о точной архитектуре, языках, размере контекста, разработчике исходной модели, лицензии и результатах независимого тестирования. Поэтому модель можно рекомендовать для локальной генерации текста при наличии подходящего объёма памяти, но её языковые возможности, ограничения и условия юридического использования следует уточнять на странице исходной модели rombodawg/Rombos-LLM-V2.6-Nemotron-70b.

legraphista/shieldgemma-9b-IMat-GGUF — это GGUF-квантизация модели shieldgemma-9b, разработанной Google. Квантизация выполнена пользователем legraphista с использованием llama.cpp b3525 и набора данных IMatrix. Модель предназначена для запуска и генерации текста через совместимые инструменты, включая llama.cpp; README не уточняет полный перечень целевых сценариев, языков и модальностей исходной модели. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая семейство IQ-квантизаций. Размер файлов составляет примерно от 3,8 до 18,5 ГБ. IMatrix применяется к ряду вариантов с более сильным сжатием, включая Q4, Q3 и Q2, что позволяет уменьшить требования к памяти при сохранении качества, однако README не приводит результатов сравнительных тестов и не описывает ограничения качества для отдельных уровней квантизации. Модель распространяется по лицензии Gemma, для доступа к исходной модели на Hugging Face требуется принять лицензионные условия Google. Контекст, точная архитектура, поддерживаемые языки и характеристики безопасности в README этой квантизации не указаны.

Skywork_Skywork-OR1-32B-Preview-GGUF — набор GGUF-квантизованных версий языковой модели Skywork-OR1-32B-Preview, разработанной Skywork. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет заявленный размер 32 млрд параметров. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций, объёмом примерно от 14,39 до 65,54 ГБ. Более качественными считаются BF16, Q8_0, Q6 и Q5, а Q4 предлагают компромисс между качеством и требованиями к памяти; низкобитные Q3-варианты экономят память, но заметно уступают по качеству. Формат ориентирован на текстовую модальность, однако сведения о языках, длине контекста, точной архитектуре, результатах тестирования и лицензии в представленном README отсутствуют. Для работы следует использовать специальный шаблон запроса, указанный автором, включая системный промпт, пользовательский запрос и маркеры роли ассистента. Основные ограничения — значительные требования к оперативной или видеопамяти, зависящие от выбранной квантизации, а также возможная потеря качества в компактных вариантах. Условия лицензирования исходной модели и квантизованных файлов не указаны.

SOLAR-Platypus-10.7B-v2-GGUF — квантизированная версия языковой модели Solar Platypus 10.7B v2, разработанной KyujinHan и опубликованной TheBloke в формате GGUF. Модель основана на архитектуре Solar, предназначена для генерации текста и работы с англоязычными запросами. Обучение связано с датасетом garage-bAInd/Open-Platypus, однако подробные сведения о составе обучения и оценке качества в README не приведены. Модель содержит 10,7 млрд параметров; точный размер контекста и поддерживаемые модальности не указаны. Квантизация в форматах от 2 до 8 бит позволяет запускать её с использованием CPU и GPU, в том числе через llama.cpp и совместимые интерфейсы и библиотеки. Это делает модель подходящей для локального вывода, текстовых чат-приложений и экспериментов на оборудовании с ограниченными ресурсами, но более агрессивная квантизация может снижать точность по сравнению с исходной версией FP16. Для взаимодействия рекомендуется шаблон запроса SUS с ролями Human и Assistant. Лицензия модели — CC BY-NC-SA 4.0, допускающая использование с указанием авторства и распространение производных материалов на тех же условиях, но не разрешающая коммерческое использование. Точные требования к применению следует проверять по условиям лицензии.

Это GGUF-квантизированная версия модели L3.3-Damascus-R1, разработанной Steelskull и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В репозитории представлены варианты квантизации от Q8_0 до IQ2_XS размером примерно от 75 до 22 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, тогда как младшие варианты требуют меньше оперативной памяти, но дают более низкое качество. Для подготовки использовались imatrix-квантизация и llama.cpp версии b4585. Формат поддерживает текстовый ввод и вывод; сведения о размере исходной модели, длине контекста, языках и архитектурных характеристиках в README не указаны. Сильной стороной является широкий выбор вариантов для локального запуска на оборудовании с разным объёмом памяти, включая рекомендации для отдельных конфигураций CPU и Apple silicon. Ограничения связаны с заметным снижением качества у низкобитных вариантов, большими требованиями к дисковому пространству и отсутствием подробных данных о возможностях исходной модели. Указана лицензия eva-llama3.3; условия её применения следует уточнять в лицензии базовой модели.

vanillaOVO/supermario_v4 — объединённая предобученная языковая модель, созданная с помощью DARE и mergekit. Она предназначена для генерации текста и запускается через Transformers как MistralForCausalLM. Модель имеет плотную архитектуру Mistral с 7,1 млрд параметров и контекстным окном 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. README не описывает специализированные сценарии применения и не приводит результатов оценки качества.

Swift-Qwen3.8-27B-Uncensored-GPTQ-Int4-sym-G128-MTP-BF16 — квантизированная версия модели d0xin/Swift-Qwen3.8-27B-Uncensored-BF16, опубликованная greglechin. Модель основана на Qwen3.8-27B и представляет Swift-линейку с эффективным рассуждением и uncensored-настройкой. Она предназначена для генерации текста и мультимодальных сценариев image-text-to-text, поддерживает английский и китайский языки и ориентирована прежде всего на запуск через vLLM XPU на Intel Arc. Точная длина контекста в README не указана. Основная часть весов квантизирована методом GPTQ до Int4 с симметричными группами размера 128; 400 тензоров хранятся в упакованном формате I32. 15 тензоров MTP-головы сохранены в BF16 для работы нативного speculative decoding, а lm_head и vision tower оставлены без квантизации. Размер чекпойнта составляет около 20 ГБ, он разбит на пять шардов. Для сервинга требуется vLLM с поддержкой Qwen3.8 MTP и XPU-патчами; на видеокартах с 32 ГБ памяти при длинном контексте практически необходим KV-cache в FP8. Сильными сторонами являются существенное сокращение размера по сравнению с полноточной версией, сохранение MTP-головы и возможность ускоренного декодирования с speculative decoding. В измерениях для одного потока указана суммарная скорость 79,34 токена в секунду, однако производительность зависит от уровня конкуренции, оборудования и конфигурации движка. Для этой квантизированной версии оценки качества или сравнения perplexity не проводились, поэтому влияние GPTQ на качество не подтверждено. Также поддержка prefix caching зависит от конкретной сборки vLLM и применённых патчей. Модель распространяется по лицензии swift-open-license-1.0; в README она обозначена как license: other.

unsloth/tinyllama-chat-bnb-4bit — чат-модель на базе TinyLlama, опубликованная командой Unsloth. Она предназначена для диалоговых сценариев и дообучения на пользовательских наборах данных с использованием Transformers и инструментов Unsloth, включая conversational-подходы с шаблонами ShareGPT ChatML или Vicuna. Модель также может использоваться как компактная основа для экспериментов и последующего экспорта в форматы GGUF или vLLM. Из README известно, что модель поддерживает английский язык и распространяется в 4-битном формате bnb, что снижает требования к памяти. Для TinyLlama заявлено дообучение с ускорением до 3,9 раза и сокращением использования памяти до 74% в соответствующем ноутбуке Unsloth. Точные сведения об архитектуре, числе параметров, размере контекста и мультимодальности не указаны; по представленным данным модель относится к текстовым, а не мультимодальным системам. Сильные стороны модели — компактность, экономичность при запуске и удобство использования для обучения и экспериментов. Ограничения включают отсутствие в README подробных результатов оценки качества, перечня поддерживаемых языков за пределами английского и характеристик контекстного окна. Лицензия — Apache-2.0.

TQ2.5-14B-Aletheia-v1-GGUF — это набор квантизированных GGUF-версий текстовой генеративной модели TQ2.5-14B-Aletheia-v1, разработанной allura-org. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio; в README указан формат промпта на основе специальных токенов ChatML. Модель имеет размер 14B параметров и доступна в вариантах от F16 до квантизаций Q2 и IQ3–Q8 с различным соотношением качества, размера файла и требований к памяти. Указан английский язык. Для ряда вариантов отмечены высокое качество, близкое к исходному, а также возможность запуска при ограниченном объёме оперативной памяти; наиболее сбалансированным вариантом назван Q4_K_M. Более сильная квантизация уменьшает размер, но снижает качество генерации. Подробные сведения об архитектуре, размере контекста, дополнительных модальностях и результатах тестирования в README не приведены. Модель распространяется по лицензии Apache-2.0. Для использования необходим совместимый движок, например llama.cpp или LM Studio, а выбор конкретного файла зависит от доступной памяти и требуемого качества.

Это GGUF-квантизация инструкционной языковой модели wisenut-nlp-team/wisenut-llama-3-8B-0.8-Instruct, подготовленная командой featherless-ai-quants. Модель предназначена для генерации текста и выполнения задач, задаваемых в формате инструкций, включая локальное или серверное развертывание с использованием совместимого ПО для GGUF. README не содержит сведений о конкретных прикладных сценариях, языках и результатах оценки качества. Базовая модель относится к семейству Llama и имеет около 8 миллиардов параметров; поддерживается только текстовый ввод и вывод. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0, размером примерно от 3 до 8,1 ГБ. Квантизация позволяет выбирать компромисс между требованиями к памяти и сохранением качества, однако README не приводит сравнительных тестов, сведения о размере контекста, точности, устойчивости или ограничениях модели. Лицензия в предоставленных данных не указана. Также отсутствуют сведения об условиях использования базовой модели, поэтому перед применением необходимо проверить лицензионные требования исходной модели wisenut-nlp-team/wisenut-llama-3-8B-0.8-Instruct.