II.2Создание и понимание программного кода

Sao10K_Llama-3.3-70B-Vulpecula-r1-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Llama-3.3-70B-Vulpecula-r1, разработанной Sao10K и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio и другие совместимые проекты. Заявленный язык — английский. Модель относится к семейству Llama 3.3 и имеет 70 миллиардов параметров; поддерживается только текстовая модальность. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-квантов разного размера: более высокие разрядности обычно обеспечивают лучшее качество, а низкие уменьшают требования к памяти ценой заметной потери качества. Для работы требуется значительный объём оперативной или видеопамяти: размер файлов варьируется примерно от 27 до 75 ГБ. Формат prompt должен соответствовать шаблону Llama 3.3. Размер контекстного окна в README не указан. Сильными сторонами являются высокая ёмкость исходной 70-миллиардной модели, широкий выбор компромиссов между качеством и размером, а также совместимость с локальным запуском через llama.cpp. Ограничения включают большие требования к ресурсам, снижение качества при агрессивной квантизации и отсутствие сведений о мультимодальности, поддерживаемых языках помимо английского и контекстном окне. Указанная лицензия — llama3.3.

Seed-OSS-36B-Instruct-MLX-5bit — это 5-битная квантованная версия языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантование выполнено командой LM Studio с использованием MLX и предназначено для запуска на компьютерах с Apple Silicon. Модель относится к классу text-generation и ориентирована на генерацию текста и выполнение инструкций в сценариях локального запуска. Она основана на модели размером 36 миллиардов параметров, однако сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна в README не указаны. Формат MLX оптимизирован для аппаратного обеспечения Apple Silicon, а 5-битное квантование должно снижать требования к памяти по сравнению с полноразмерной версией, при этом README не содержит количественной оценки потери качества или производительности. К сильным сторонам модели относятся возможность локального использования на Apple Silicon и уменьшенный объём хранения и памяти благодаря квантованию. Ограничения связаны с отсутствием в README подробных данных о качестве, бенчмарках, языковой поддержке и рекомендуемых ресурсах. В карточке указана лицензия Apache-2.0; модель является общественной квантованной сборкой, а её исходной моделью выступает ByteDance-Seed/Seed-OSS-36B-Instruct.

Это модель Silero VAD версии 6.2 в формате ONNX, опубликованная пользователем istupakov для работы с onnx-asr. Она определяет участки речи в аудиозаписи и может использоваться как этап предварительной обработки перед распознаванием речи, например вместе с Parakeet v3 ASR для анализа WAV-файлов. Формат ONNX позволяет запускать модель через совместимые среды выполнения.

SuperQwen3.8-abliterated-Venice-GGUF — это квантованные GGUF-версии мультимодальной модели SuperQwen3.8-abliterated-100-fp8 от Jiunsong, подготовленные и опубликованные mradermacher. Модель предназначена для генерации текста, рассуждений, обработки изображений вместе с текстом и вызова инструментов. Заявлена поддержка английского и корейского языков, а также сценариев с длинным контекстом. Техническая основа включает Transformers и архитектуру Qwen3.8/Qwen3.5; точный размер исходной модели и длина контекста в README не указаны. Набор содержит варианты квантования Q2_K–Q8_0 и IQ4_XS размером примерно от 11 до 29,1 ГБ. Для мультимодальной работы доступны отдельные компоненты mmproj в форматах Q8_0 и f16. В README отмечены версии Q4_K_S и Q4_K_M как быстрые и рекомендуемые, Q6_K как обеспечивающая очень хорошее качество, а Q8_0 — как быстрая и наиболее качественная; варианты с меньшим размером могут снижать качество. Модель позиционируется как uncensored и abliterated, однако подробности применённых изменений и результаты оценки не приведены. Распространяется по лицензии Apache-2.0. README не содержит точных требований к оборудованию, производительности и безопасному применению; указана совместимость с экосистемой vLLM и ускорителями H100/H200.

Tessa-Rust-T1-7B-GGUF — квантизированная версия текстовой генеративной модели Tessa-Rust-T1-7B, разработанной Tesslate и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 7 миллиардов параметров и относится к архитектуре Qwen2 согласно метаданным. Указан английский язык; поддержка других языков и точный размер контекстного окна не приведены. Доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, что позволяет выбирать между качеством генерации, размером файла и требованиями к оперативной памяти. Для инференса рекомендуется использовать совместимый prompt format с ролями system, user и assistant. Сильная сторона этой версии — возможность локального запуска на широком спектре оборудования благодаря множеству вариантов квантизации; часть файлов подготовлена с использованием imatrix для повышения качества. Более низкие уровни квантизации экономят память, но могут заметно снижать качество, тогда как BF16 и старшие варианты требуют больше ресурсов. Лицензия модели — Apache-2.0.

Tiger-Gemma-9B-v1-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Tiger-Gemma-9B-v1, разработанной TheDrummer и подготовленной для распространения пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix, применяющего калибровочный датасет для сохранения качества при уменьшении размера весов. Модель предназначена для локального запуска и генерации текста через совместимые инструменты, включая llama.cpp. Доступны варианты от F32 размером около 36,97 ГБ до низкоразрядных Q2 и IQ2 размером около 3,43–4,03 ГБ; также представлены промежуточные варианты Q3–Q8 и IQ. Более крупные квантизации обычно обеспечивают более высокое качество, а компактные подходят для систем с ограниченным объёмом оперативной памяти. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS. Известно, что это модель класса Gemma с примерно 9 млрд параметров и поддержкой текстового ввода и вывода. Для диалогов требуется специальный формат prompt с маркерами начала и конца хода пользователя и модели. Системный prompt модель не поддерживает. Языки, размер контекстного окна и дополнительные архитектурные характеристики в предоставленных данных не указаны. Лицензия исходной модели и условия использования данной сборки также не указаны, поэтому перед применением необходимо проверить их отдельно.

UncensoredLM-DeepSeek-R1-Distill-Qwen-14B-GGUF — это набор квантизированных файлов модели UncensoredLM-DeepSeek-R1-Distill-Qwen-14B, разработанной uncensoredai, подготовленный пользователем bartowski. Модель предназначена для генерации текста и распространяется в формате GGUF для запуска через llama.cpp, LM Studio и другие совместимые приложения. В основе лежит 14-миллиардная модель Qwen, дистиллированная из DeepSeek-R1. В набор входят варианты с точностью от F32 и F16 до различных типов квантизации Q8_0, Q6, Q5, Q4, Q3 и IQ4; размеры файлов составляют примерно от 8,2 до 56,9 ГБ. Квантизация выполнена с использованием llama.cpp версии b4585 и метода imatrix. Более точные варианты обеспечивают лучшее качество, а менее точные требуют меньше оперативной памяти. Для работы рекомендуется использовать указанный в README шаблон промпта. Модель подходит для локальной генерации текста и сценариев, где важны автономность и возможность запуска на пользовательском оборудовании. Сильными сторонами являются широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с популярными инструментами локального инференса. Ограничения включают значительные требования к памяти для крупных вариантов, возможное снижение качества при сильной квантизации и отсутствие в предоставленных данных сведений о контекстном окне, поддерживаемых языках, мультимодальности и результатах бенчмарков. Указана лицензия Apache-2.0.

WizardLM-30B-v1.0 fp16 — текстовая генеративная модель на архитектуре Llama, подготовленная TheBloke в формате PyTorch для вывода на GPU и дальнейшей конвертации. Репозиторий содержит слитые дельта-веса WizardLM с исходной Llama 30B; размер модели по метаданным — 32,3 млрд параметров, контекст — 2048 токенов. Модель предназначена для диалогов и ответов на пользовательские вопросы в стиле вежливого ассистента, который даёт подробные ответы. В начале диалога следует использовать шаблон WizardLM-30B с ролями USER и ASSISTANT. Модель работает с текстом и генерирует текст; сведения о конкретных поддерживаемых естественных языках в карточке отсутствуют. Для работы доступны веса fp16 в PyTorch, рассчитанные на GPU. README также упоминает отдельные квантованные варианты для GPU и CPU, но данный репозиторий содержит именно fp16-веса. Лицензия указана как other, поэтому условия использования следует уточнить в исходных материалах модели. Ограничения: контекст ограничен 2048 токенами; характеристики качества и дополнительные меры безопасности в карточке не описаны.

xLAM-8x7b-r-IMat-GGUF — это квантизированная версия языковой модели Salesforce/xLAM-8x7b-r, разработанной Salesforce и преобразованной в формат GGUF с использованием llama.cpp. Квантизацию выполнил legraphista; доступны варианты от BF16 и FP16 до Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0, включая варианты с IMatrix-калибровкой. Модель предназначена прежде всего для function calling, использования инструментов и построения LLM-агентов, а также для текстовой генерации в совместимых средах, включая llama.cpp. В карточке указана поддержка английского языка и датасет Salesforce/xlam-function-calling-60k. Архитектура обозначена тегом Mistral, однако точные сведения о размере контекста и других архитектурных параметрах не приведены. Главное преимущество модели — наличие множества вариантов квантизации, позволяющих выбирать баланс между качеством, требованиями к памяти и скоростью инференса; IMatrix может применяться в ряде низкоразрядных вариантов. Ограничения включают потенциальное снижение качества при агрессивной квантизации, необходимость значительных ресурсов для крупных вариантов и отсутствие подтверждённых характеристик для неанглийских языков и мультимодальных задач. Модель распространяется по лицензии CC BY-NC 4.0, а доступ к репозиторию требует принятия соответствующих условий.

Yi-1.5-6B-Chat-GGUF — это квантизированная GGUF-версия диалоговой языковой модели Yi-1.5-6B-Chat, разработанной компанией 01-ai и подготовленной для публикации компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск через LlamaEdge. Для работы используется шаблон запросов ChatML, а заявленный размер контекста составляет 4096 токенов. Модель основана на архитектуре Yi и содержит около 6 миллиардов параметров. Она поддерживает текстовый ввод и вывод; сведения о конкретном наборе языков в README не указаны. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, с размером файлов примерно от 2,34 до 12,1 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с малой потерей качества. Более сильная квантизация уменьшает требования к памяти, но может заметно снизить качество. Модель подходит для локальных чат-приложений и сервисов генерации текста при использовании LlamaEdge версии 0.10.0 или новее. Ограничения включают контекст длиной 4096 токенов, возможную потерю качества у компактных вариантов квантизации и отсутствие в README подробных данных о производительности, языках и результатах оценки. Лицензия указана как yi-license; её текст доступен в файле LICENSE.

Yi 34B 200K DARE Merge v5 - GGUF — квантизированная версия языковой модели Yi, созданная на основе модели brucethemoose/Yi-34B-200K-DARE-merge-v5. Квантизацию и публикацию GGUF-файлов выполнил TheBloke. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые графические интерфейсы и библиотеки. Модель имеет архитектуру Yi и размер 34 млрд параметров. Указан английский язык; поддерживаемая модальность — текст. Вариант поставляется в формате GGUFv2 с несколькими уровнями квантизации от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. Для взаимодействия рекомендуется шаблон Orca-Vicuna с секциями SYSTEM, USER и ASSISTANT. README не указывает точный размер контекстного окна, поэтому заявленные 200K в названии нельзя однозначно трактовать как подтверждённый контекст модели. Сильные стороны модели — большой размер, наличие различных уровней квантизации и поддержка локального запуска на CPU и GPU через llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio и другие совместимые инструменты. Ограничениями являются потребность в значительных вычислительных ресурсах для крупных вариантов квантизации, возможная потеря качества при более агрессивном сжатии и отсутствие подробных данных о качестве, обучающих данных и целевых бенчмарках. Лицензия обозначена как yi-license; условия следует уточнять в лицензии исходной модели Yi.

Aquila2-34B — базовая языковая модель семейства Aquila2, выпущенная BAAI. Она предназначена для генерации и продолжения текста; для диалогового применения в серии предусмотрены отдельные модели AquilaChat2. Модель имеет плотную архитектуру AquilaForCausalLM и содержит 33,3 млрд параметров. Поддерживает контекст длиной до 8192 токенов и использует формат весов Safetensors. В карточке отмечены обновлённый токенизатор с повышенным коэффициентом сжатия и улучшенная поддержка китайского языка; также приведены сравнительные показатели для английского, кода и математики. В метаданных указана лицензия other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

ASTRA-14B-Thinking-v1 — дообученная командой проекта ASTRA модель на базе Qwen/Qwen3-14B, предназначенная для многошаговых задач с использованием инструментов. Это плотная авторегрессионная языковая модель семейства Qwen3 на 14 млрд параметров; она поддерживает диалог и интерфейс вызова инструментов. Для обучения применялись supervised fine-tuning на траекториях работы с инструментами и многошаговое обучение с подкреплением по проверяемым наградам. Контекстное окно составляет 133 120 токенов. Модель рассчитана на планирование действий, построение цепочек вызовов инструментов и структурированные рассуждения в агентных сценариях. В README сообщается о высоком результате на многоходовой подзадаче BFCL-V3 среди моделей сопоставимого размера. Поддерживаемые языки в карточке не перечислены; модель предназначена для работы с текстом и выдаёт текст, включая вызовы инструментов. Лицензия — Apache-2.0. README указывает исследовательское и образовательное назначение; это ограничение само по себе не определяет зрелость модели.

calme-2.1-llama3-70b-GGUF — это набор файлов модели в формате GGUF для текстовой генерации, подготовленный и опубликованный MaziyarPanahi на основе модели calme-2.1-llama3-70b того же разработчика. GGUF предназначен для локального запуска и совместим с llama.cpp и рядом клиентских приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Модель относится к семейству Llama 3 и имеет размер 70B, однако в README не указаны точные архитектурные параметры, поддерживаемые языки или размер контекста. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшими требованиями к памяти и потенциальным снижением качества либо более высоким качеством и большими ресурсами. Модель ориентирована на задачи генерации текста и может использоваться через локальные графические интерфейсы, командную строку, Python-библиотеки и OpenAI-совместимый сервер. Основные преимущества — широкий выбор уровней квантования, поддержка GPU-ускорения в совместимых инструментах и возможность локального развертывания. Ограничения включают необходимость самостоятельно подобрать подходящий квантованный файл и обеспечить достаточные вычислительные ресурсы; сведения о качестве, результатах тестирования, мультимодальности и лицензии в README отсутствуют. Информация о лицензии не предоставлена.

Chuluun-Qwen2.5-72B-v0.01-GGUF — набор GGUF-квантизаций модели Chuluun-Qwen2.5-72B-v0.01, подготовленный bartowski на базе оригинальной модели DatToad. Модель предназначена для генерации текста и запуска через llama.cpp или совместимые приложения, включая LM Studio. В README указан английский язык и формат диалога с ролями system, user и assistant. Модель основана на архитектуре Qwen2.5 с заявленным размером 72B параметров. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-серии, объёмом примерно от 27,94 до 77,26 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. Квантизация выполнена с использованием imatrix и llama.cpp версии b4418. Основные преимущества — широкий выбор компромиссов между качеством, требованиями к памяти и скоростью инференса, а также поддержка локального запуска. Низкобитные варианты требуют меньше оперативной памяти, но могут заметно уступать более крупным версиям по качеству; варианты Q2 и Q3 характеризуются как низкокачественные или пригодные при ограниченных ресурсах. Сведения о контекстном окне, точных возможностях исходной модели, мультимодальности и лицензии в представленном README отсутствуют.

TheWirelessPhoenix/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2-mlx_4bit — это конвертированная в формат MLX версия модели huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2. Конвертация выполнена с использованием mlx-lm версии 0.32.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в приложениях, использующих экосистему MLX. Модель основана на варианте DeepSeek-R1-Distill-Qwen-14B и имеет размер 14B параметров; доступная версия использует 4-битное представление, что может снизить требования к памяти при запуске. Указана текстовая модальность и задача text-generation. Поддержка языков и размер контекстного окна в README не указаны. Для работы требуется установить mlx-lm и загрузить модель через API load и generate; при наличии chat_template можно применять диалоговый формат сообщений. К заявленным особенностям относятся теги abliterated и uncensored, однако README не содержит подробного описания методики, качества, результатов тестирования или ограничений такого варианта. Лицензия в предоставленных данных не указана, поэтому условия использования и допустимость коммерческого применения необходимо уточнять по карточке исходной модели и репозиторию модели.

DiscoPOP-zephyr-7b-gemma — языковая модель для генерации текста, разработанная Sakana AI и распространяемая в формате GGUF сообществом LM Studio. Она основана на Zephyr 7b Gemma и предназначена для общего использования: диалогов, ответов на запросы и других задач генерации текста в локальных приложениях, поддерживающих llama.cpp или LM Studio. Модель содержит около 8 млрд параметров и обучена методом DiscoPOP (Discovered Preference Optimization), разработанным Sakana AI для оптимизации предпочтений. По заявлению авторов, метод обеспечивает более высокий показатель Reward при меньшем отклонении от базовой модели по KL Divergence по сравнению с DPO. Модель работает в текстовой модальности, однако поддерживаемые языки и максимальный размер контекста в README не указаны. Для работы рекомендуется шаблон ChatML; системный промпт не предусмотрен. Предоставленная версия является квантизированной сборкой GGUF от bartowski на основе llama.cpp. Это делает её подходящей для локального запуска при ограниченных ресурсах, но конкретные параметры квантизации в README не указаны. Ограничения включают возможные неточные, вредные или нежелательные ответы, характерные для генеративных языковых моделей, а также отсутствие гарантии качества. Модель распространяется по лицензии gemma; дополнительные условия использования следует проверять в материалах исходной модели.

QuantFactory/Dorna-Llama3-8B-Instruct-GGUF — квантизированная версия Dorna-Llama3-8B-Instruct, созданная QuantFactory с использованием llama.cpp на основе Meta Llama 3 Instruct 8B. Исходное семейство Dorna разработано Part AI и специально дообучено на персидских данных. Модель относится к авторегрессионным decoder-only языковым моделям и предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована прежде всего на персоязычные сценарии, включая ответы на вопросы, длинные тексты, обобщение, перефразирование, работу с общими знаниями, новостными вопросами, математикой и генерацией кода. В карточке указаны английский и персидский языки. Размер базовой модели составляет около 8 млрд параметров; формат GGUF и квантизация рассчитаны на запуск через llama.cpp и совместимые инструменты. Размер контекстного окна и точный вариант квантизации не указаны. К сильным сторонам относятся специализация на персидском языке и пригодность для локального диалогового использования, а опубликованные оценки показывают конкурентные результаты в сравнении с Meta Llama 3 8B Instruct, GPT-3.5 Turbo и Persian Mind на ряде задач. Ограничения включают неизвестные параметры контекста и квантизации, а также возможное снижение точности по сравнению с полной версией из-за квантизации. Лицензия указана как llama3; дополнительные условия использования в README не приведены.

Eurus-2-7B-PRIME-GGUF — набор квантованных версий языковой модели Eurus-2-7B-PRIME, разработанной PRIME-RL и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. README не содержит подробностей о специализации модели, архитектуре исходной модели, поддерживаемых языках и длине контекста. Доступны варианты от полноразмерных F16 и Q8_0 до низкобитных IQ2 и Q2. Размер файлов составляет примерно от 2,78 до 15,24 ГБ. Квантование выполнено с использованием imatrix и llama.cpp b4404. Варианты Q6 и Q5 позиционируются как обеспечивающие очень высокое или высокое качество, а Q4_K_M — как компромиссный вариант для большинства сценариев; низкобитные версии требуют меньше оперативной памяти, но заметно уступают по качеству. Для работы рекомендуется использовать указанный в README формат prompt с ролями system, user и assistant. Модель распространяется по лицензии Apache-2.0.

FableOpus-9B-Delta-GGUF — это набор GGUF-квантизаций модели FableOpus-9B-Delta, разработанной bingleai и преобразованной в GGUF пользователем mradermacher. Модель относится к семейству Qwen и связана с тегами qwen3.5, fable-5, claude-opus, distillation и merge. В метаданных указан английский язык и библиотека Transformers. Основное назначение модели — локальный запуск в совместимых средах, поддерживающих формат GGUF. Доступны варианты с разным уровнем квантизации: от Q2_K размером около 3,9 ГБ до Q8_0 размером около 9,6 ГБ, а также версия f16 размером около 18 ГБ. В README также представлены мультимодальные дополнения mmproj-Q8_0 и mmproj-f16, однако конкретные поддерживаемые типы входных данных и возможности мультимодальной работы не описаны. Сильная сторона набора — широкий выбор компромиссов между размером, скоростью и качеством: Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант с очень хорошим качеством, а Q8_0 — как вариант с лучшим качеством среди указанных. Ограничения включают отсутствие описания архитектуры, числа параметров, контекстного окна, точных возможностей и результатов оценки; weighted/imatrix-квантизации на момент публикации не заявлены. Модель и квантизации распространяются по лицензии Apache-2.0.

Functionary-small-v3.1-GGUF — это набор GGUF-квантизаций текстовой генеративной модели functionary-small-v3.1, разработанной meetkai и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для локального запуска задач генерации текста; конкретная специализация исходной модели, поддерживаемые языки, архитектура и размер в параметрах в предоставленном README не указаны. Доступны версии от F32 размером 32,13 ГБ до сильно сжатых вариантов IQ2_M размером 2,95 ГБ. Наиболее качественными и рекомендуемыми названы Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M и Q4_K_S; варианты с суффиксом L используют Q8_0 для embedding- и output-весов. Модель совместима с llama.cpp и может запускаться, в частности, через LM Studio. Чем сильнее квантизация, тем ниже требования к оперативной памяти, но потенциально ниже качество. Преимущество набора — широкий выбор компромиссов между качеством и размером, включая варианты для систем с ограниченной памятью. Ограничения README не раскрывает: отсутствуют данные о контекстном окне, мультимодальности, точных сценариях применения, бенчмарках и фактическом качестве на разных языках. Указана лицензия MIT.

unsloth/gemma-2-2b-it-bnb-4bit — 4-битная квантованная версия Gemma 2 2B Instruct, опубликованная Unsloth на базе модели Google Gemma 2. Модель предназначена для диалоговых сценариев, генерации и завершения текста, а также дообучения на пользовательских наборах данных с использованием Transformers и bitsandbytes. Модель содержит около 2 миллиардов параметров, использует архитектуру Gemma 2 и поддерживает английский язык. В README не указаны модальности, размер контекста и конкретные показатели качества. Ключевая особенность — прямая 4-битная квантизация, снижающая требования к памяти и подходящая для запуска и дообучения на ограниченных GPU-ресурсах, однако квантизация может повлиять на точность по сравнению с полноразмерной версией. README также не содержит подробных сведений об ограничениях применения. Модель распространяется по лицензии Gemma. Для работы рекомендуется библиотека Transformers, при этом в README отдельно указана необходимость использовать её dev-версию.

GLM-4.5-Air-GGUF — это GGUF-квантизированная версия языковой модели GLM-4.5-Air, разработанной командой zai-org. Квантизация выполнена bartowski на основе llama.cpp версии b6085; модель распространяется в рамках программы Community Models для LM Studio. Модель предназначена для генерации текста и локального использования в совместимых приложениях, включая LM Studio и другие среды на базе llama.cpp. README не содержит сведений о точном размере модели, варианте квантизации, длине контекста, поддерживаемых языках, архитектурных деталях или доступных модальностях, поэтому эти характеристики нельзя достоверно оценить по представленным данным. К преимуществам относятся формат GGUF и совместимость с экосистемой llama.cpp, что делает модель подходящей для локального запуска при наличии совместимого оборудования. Ограничения связаны с возможными потерями качества из-за квантизации, а также с тем, что модель может генерировать неточную, вредную или неподходящую информацию. Лицензия в README не указана; условия использования следует уточнять в материалах исходной модели zai-org/GLM-4.5-Air и конкретной сборки.

MaziyarPanahi/GLM-4.6V-Flash-GGUF — это набор файлов модели в формате GGUF для оригинальной модели GLM-4.6V-Flash, разработанной zai-org и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и локального запуска в совместимых приложениях и библиотеках. Основная характеристика репозитория — поддержка нескольких уровней квантизации: 2-, 3-, 4-, 5-, 6- и 8-битной. Формат GGUF ориентирован на использование с llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими решениями для локального вывода, в том числе с GPU-ускорением. Это позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. README не содержит сведений об архитектуре, размере модели, поддерживаемых языках и модальностях, длине контекста, результатах оценки или ограничениях исходной GLM-4.6V-Flash. Лицензия в предоставленных данных также не указана, поэтому условия использования следует уточнять в карточке оригинальной модели и соответствующих файлах репозитория.

GLM-4.7-REAP-50-mxfp4 — языковая модель для генерации текста, опубликованная сообществом mlx-community. Она конвертирована в формат MLX из базовой модели 0xSero/GLM-4.7-REAP-50 с использованием mlx-lm версии 0.30.0. Модель предназначена для текстовой генерации и может использоваться в приложениях на базе MLX, включая диалоговые сценарии с применением chat template. В README она обозначена как разреженная MoE-модель с pruning и квантованием mxfp4. Точные размер модели, число экспертов, поддерживаемые языки и размер контекста не указаны. К сильным сторонам относятся совместимость с экосистемой MLX и возможность локального запуска через mlx-lm. Ограничения и результаты benchmark-тестов в README не приведены, поэтому качество генерации, производительность и область оптимального применения требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

Пакет meshllm/GLM-4.7-UD-Q4_K_XL-layers содержит слоевые артефакты GGUF модели GLM-4.7 и предназначен для запуска через Mesh LLM. Он получен из unsloth/GLM-4.7-GGUF: вариант UD-Q4_K_XL разделён на отдельные файлы слоёв для распределённого инференса на локальном кластере; пакет включает метаданные и эмбеддинги. Модель рассчитана на локальный приватный чат и генерацию текста, в том числе на нескольких машинах, когда полный файл GGUF не помещается на одном узле. Mesh LLM позволяет обслуживать запросы через совместимый с OpenAI интерфейс чата. В метаданных указаны формат GGUF, библиотека mesh-llm и поддержка чата. Лицензионные условия следует сверять с карточкой исходной модели unsloth/GLM-4.7-GGUF; доступные сведения их не приводят.

Это пакет слоёв GGUF для модели GLM-5.3-Flash, подготовленный Mesh LLM из unsloth/GLM-5.3-Flash-GGUF. Вариант UD-Q4_K_XL разделяет исходное распределение модели на артефакты по слоям для распределённого инференса в локальном кластере Mesh LLM. Пакет предназначен для локального и приватного запуска чат-модели, распределения вычислений и памяти между несколькими машинами, а также для чат-запросов через локальный API, совместимый с OpenAI. Модель принимает текстовые запросы и выдаёт текстовые ответы; задача в каталоге — генерация текста. Репозиторий распространяется по лицензии MIT.

Это пакет модели Granite 4.1 30B в формате GGUF, подготовленный Mesh LLM для распределённого запуска. Пакет создан из unsloth/granite-4.1-30b-GGUF: веса разделены на артефакты по слоям, чтобы несколько машин могли совместно выполнять инференс через Mesh LLM. Модель поддерживает текстовый чат и подключение к локальному API, совместимому с OpenAI Chat Completions. Пакет предназначен для локального и приватного запуска, распределённого обслуживания модели между несколькими узлами и интеграции чат-запросов через Mesh LLM, особенно когда полный файл GGUF не помещается на одной машине. Вариант квантования — UD-Q4_K_XL. Архитектура относится к семейству Granite; сведения о лицензии и подробные рекомендации по использованию находятся в карточке исходной модели, поэтому для условий использования следует обратиться к ней.

Это GGUF-квантизированная версия текстовой генеративной модели grimjim/Llama-3-Instruct-8B-SPPO-Iter3-SimPO-merge. Квантизации подготовлены командой featherless-ai-quants. Модель основана на Llama 3 Instruct с размером 8B и предназначена для генерации текста, включая диалоговые и инструкционные сценарии. Репозиторий содержит варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. GGUF-формат ориентирован на запуск совместимыми локальными инструментами и позволяет выбирать компромисс между требованиями к памяти, скоростью и сохранением качества. Данные о поддерживаемых языках, длине контекста, точных архитектурных параметрах, результатах тестирования и ограничениях отсутствуют. Лицензия в README не указана.

Huihui-Qwen3.5-9B-abliterated-GGUF — набор файлов модели в формате GGUF, созданный на основе huihui-ai/Huihui-Qwen3.5-9B-abliterated и опубликованный Abiray. Модель предназначена для локального запуска и генерации текста в совместимых приложениях, включая LM Studio, Ollama, Jan, text-generation-webui и llama.cpp. Для взаимодействия используется шаблон ChatML. Доступны варианты квантования от Q4_K_S до Q8_0 с размером файлов примерно от 5,1 до 9,6 ГБ. Рекомендуемый вариант Q4_K_M обеспечивает баланс между скоростью, потреблением памяти, размером и сохранением качества рассуждений; более высокие уровни квантования требуют больше RAM или VRAM и дают качество, близкое к исходной модели F16. README не содержит сведений о точном контекстном окне, поддерживаемых языках, модальностях, лицензии и конкретной архитектуре, поэтому эти характеристики нельзя уточнить.