II.2Создание и понимание программного кода

Dennis1315/ward-cloud-14b — мультимодальная модель семейства Qwen3.5, дообученная Dennis1315 на базе Qwen/Qwen3.5-9B с использованием Unsloth и библиотеки Hugging Face TRL. Она предназначена для диалога с текстом и изображениями; метаданные также указывают интерфейс вызова инструментов. Базовая модель рассчитана на анализ изображений, рассуждения, программирование и агентные задачи. Модель принимает текст и изображения и формирует текстовые ответы. В репозитории используются веса Safetensors. Лицензия — Apache-2.0. Подробности обучающего набора и оценки качества в доступной карточке не приведены.

MaziyarPanahi/Yi-1.5-34B-Chat-GGUF — набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе чат-модели Yi-1.5-34B-Chat, разработанной командой 01-ai. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Модель имеет размер 34B параметров и доступна в вариантах квантования от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и качеством генерации. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами. В README не указаны языки, размер контекста и поддерживаемые модальности; по представленным данным модель является текстовой. К сильным сторонам относятся широкий выбор уровней квантования и удобство локального использования с CPU и GPU через экосистему GGUF. Ограничениями являются повышенные требования к ресурсам для версии 34B, особенно при минимальном квантовании, а также возможная потеря качества в более компактных вариантах. Для модели указана лицензия Apache-2.0.

Yi-1.5-9B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi-1.5-9B-Chat, разработанной 01.AI. Модель распространяется в формате GGUF для использования с llama.cpp; квантизацию выполнил bartowski с применением imatrix и набора данных Kalomaze. Модель предназначена для генерации текста и ведения диалогов, включая сценарии локального запуска при ограниченных ресурсах. В репозитории представлены варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3_K, IQ3, Q2 и IQ1 с размером файлов примерно от 2,01 до 9,38 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти; Q6_K, Q5_K и Q4_K обозначены как рекомендуемые, тогда как IQ1 и некоторые варианты с низким битрейтом имеют существенно более низкое качество. Поддерживаются текстовые диалоги с указанным форматом промпта. Сведения о точной архитектуре, языках и размере контекста в README не приведены. Лицензия — Apache-2.0. Для работы требуется совместимое программное обеспечение, например llama.cpp, а выбор конкретного файла зависит от доступной памяти и допустимого компромисса между качеством и размером модели.

14B-Qwen2.5-Freya-x1-GGUF — это GGUF-квантизированная версия текстовой генеративной модели 14B-Qwen2.5-Freya-x1, разработанной Sao10K. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может применяться в локальных сценариях инференса, включая запуск через LM Studio. Модель имеет размер 14B параметров и поставляется в вариантах от F16 до низкобитных квантований Q2 и Q3, что позволяет выбирать между качеством ответов и требованиями к оперативной памяти. Доступны форматы Q4, Q5, Q6 и Q8, при этом в README рекомендуются некоторые варианты Q4–Q6 как обеспечивающие хороший или очень высокий уровень качества. Указан шаблон промпта в формате ChatML. Модальность — текстовая; сведения о поддерживаемых языках и размере контекстного окна в README отсутствуют. Сильная сторона модели — широкий выбор квантований для локального запуска на оборудовании с разными ограничениями по памяти, а также применение imatrix-квантизации. Более компактные варианты экономят память, но могут заметно уступать старшим версиям по качеству. Лицензия обозначена как qwen/other; в README приведена ссылка на лицензию Qwen/Qwen2.5-14B, однако конкретные условия использования следует уточнять по этому документу.

Это зеркальная копия модели на Hugging Face, созданная сервисом latent-artist и предоставленная для скачивания. По метаданным это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и примерно 494 млн параметров. Она принимает текст и предназначена для генерации текста в диалоговом формате; также заявлен интерфейс для вызова инструментов. Поддерживаемый контекст — до 32 768 токенов, основной язык карточки — английский. Модель хранится в формате Safetensors и использует библиотеку Transformers. В README указано, что при использовании следует обращаться к репозиторию-зеркалу, а условия применения и распространения нужно проверять в файле лицензии внутри репозитория; метаданные указывают лицензию Apache-2.0. README не сообщает исходный репозиторий модели, поэтому базовая модель не установлена. Качество ответов и ограничения конкретной копии отдельно не описаны.

Это GGUF-квантизованная версия языковой модели AI21-Jamba2-Mini, разработанной AI21 Labs и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README не указаны точные архитектурные характеристики, число параметров, поддерживаемые языки и размер контекста. Доступны варианты от BF16 до различных уровней квантования, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, с размером файлов примерно от 21 до 103 ГБ; выбор варианта позволяет балансировать качество и требования к памяти. Для работы используется заданный формат prompt с системным сообщением, запросом пользователя и ответом ассистента. Сильной стороной является широкий выбор квантованных вариантов: старшие варианты обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом RAM, но дают более низкое качество. Некоторые форматы требуют актуальной версии программного обеспечения с поддержкой модели. Лицензия — Apache 2.0.

Это GGUF-квантизированная версия языковой модели Llama-3.1-Tulu-3.1-8B, разработанной Allen Institute for AI (allenai) и опубликованной в формате квантизаций пользователем bartowski. Модель предназначена для генерации текста и запуска локально с помощью llama.cpp, LM Studio и других совместимых проектов на базе llama.cpp. Указан английский язык; поддержка других языков и мультимодальность не заявлены. Модель содержит 8 миллиардов параметров и распространяется в нескольких вариантах квантизации от Q2 до Q8, размером примерно от 3,7 до 8,5 ГБ. Доступны форматы Q4, Q5, Q6, Q8 и IQ, позволяющие выбирать между качеством ответов и требованиями к памяти; наиболее сбалансированным вариантом автор README называет Q4_K_M, а варианты Q5 и Q6 — высококачественными. Для взаимодействия рекомендуется использовать шаблон с ролями system, user и assistant. Сведения о размере контекста, точной архитектуре, производительности и ограничениях исходной модели в README не приведены. Основные преимущества — широкий выбор квантизаций, возможность локального запуска и адаптация под устройства с разным объёмом оперативной памяти. Более сильное сжатие уменьшает требования к ресурсам, но снижает качество, особенно у вариантов Q2 и Q3. Модель распространяется под лицензией llama3.1; перед использованием следует учитывать условия этой лицензии.

GLM4-9B-Neon-v2-GGUF — это набор квантизированных версий языковой модели GLM4-9B-Neon-v2, разработанной allura-org и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других совместимых проектах. Указан английский язык; поддержка других языков и мультимодальных входов не заявлена. Размер базовой модели — 9B параметров. Доступны варианты от BF16 и Q8_0 до более компактных Q2 и IQ-квантизаций с размером файлов примерно от 4,6 до 18,8 ГБ. Версии Q6 и Q5 позиционируются как высококачественные, Q4 — как оптимальные по соотношению качества и размера, а варианты Q3 и Q2 рассчитаны на системы с ограниченной оперативной памятью, но имеют более заметные потери качества. Контекстное окно в README не указано. Для работы требуется использовать соответствующий шаблон prompt format с управляющими токенами GLM4. Лицензия — MIT.

IanLi233/Cautious_Qwen — дообученная модель Qwen2.5-7B, опубликованная в формате SafeTensors и подготовленная с помощью Unsloth. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель примерно на 7,1 млрд параметров; заявленная длина контекста составляет 131 072 токена. Карточка не раскрывает обучающие данные, конкретные сценарии дообучения, языки, разработчика и лицензию. Поэтому область, в которой модель особенно надёжна, определить нельзя; ответы следует проверять, особенно при использовании в важных решениях. Базовая модель указана в README как Qwen2.5-7B.

DeepSeek-V2.5-IMat-GGUF — это GGUF-квантизованная версия модели DeepSeek-V2.5, разработанной DeepSeek и подготовленной для распространения пользователем legraphista. Модель предназначена для генерации текста и локального запуска с использованием llama.cpp и совместимых инструментов. В качестве исходной использована версия в формате BF16, а квантизация выполнена с помощью llama.cpp b3675. В репозитории доступны варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3, IQ3, Q2 и IQ2 с размерами файлов примерно от 69,87 до 250,62 ГБ; файлы поставляются разделёнными на части. Для большинства вариантов применена IMatrix-квантизация, которая призвана эффективнее сохранять качество при уменьшении размера модели, тогда как Q8_0 и Q6_K используют статическую квантизацию. Конкретные архитектурные параметры, поддерживаемые языки, модальности и размер контекста в README не указаны. Сильная сторона сборки — широкий выбор уровней квантизации и совместимость с экосистемой GGUF и llama.cpp, что позволяет подбирать компромисс между требованиями к памяти и качеством генерации. Ограничениями являются очень большой размер даже наиболее компактных вариантов, необходимость работы с разделёнными файлами и возможная потеря качества на низких уровнях квантизации. Модель распространяется по лицензии DeepSeek; указана лицензия other со ссылкой на LICENSE-MODEL исходной модели.

DeepSeek-V4-Flash-0731-2.4bit-mixed — это смешанно-точечная MLX-квантизованная версия модели DeepSeek-V4-Flash-0731, разработанная сообществом mlx-community на основе чекпойнта deepseek-ai. Модель предназначена для генерации текста, диалоговых сценариев и задач рассуждения; формат ориентирован на запуск на компьютерах Apple Silicon через oMLX. Модель имеет 284 млрд параметров, около 304 млрд с учётом блоков MTP и примерно 13,8 млрд активных параметров на токен. Архитектура включает 43 слоя, MoE с 256 маршрутизируемыми и одним общим экспертом, выбором top-6, MLA, разреженный индексатор внимания, hyper-connections с Sinkhorn и YaRN с заявленным контекстом до 1 млн токенов. Все три блока DSpark MTP сохранены. Эффективная точность составляет 2,44 бита на вес, размер на диске — 92,8 ГБ. Основные языки явно не указаны; в проверке генерация была связной на английском. Сильные стороны — существенно меньший размер по сравнению с исходным форматом, сохранение MTP, умеренное падение скорости генерации при увеличении контекста и низкий рост потребления памяти благодаря MLA. Ограничения — высокая потребность в памяти: для запуска рекомендуется Mac с 128 ГБ, а предварительная обработка длинных запросов может быть очень медленной. По тесту MMLU-Pro результат составил 0,573 против 0,647 у API-версии в BF16, однако оценка ограничена одной выборкой и не заменяет проверку на целевых задачах. Требуется oMLX версии 0.5.7 или новее; mlx-lm напрямую эту архитектуру не поддерживает. Лицензия — MIT.

inferencerlabs/DeepSeek-V4-Flash-0731-MLX-Q3i — квантованная версия модели DeepSeek-V4-Flash-0731, разработанной deepseek-ai, подготовленная для выполнения на устройствах Apple с использованием библиотеки MLX и её модифицированной версии. Модель предназначена для генерации текста и локального текстового инференса, в том числе в сценариях, где требуется запуск крупной языковой модели при ограниченном объёме оперативной памяти. Сборка использует метод сжатия INF, не зависящий от обучающих данных, и формат MLX. Согласно README, она рассчитана на работу в системе с 128 ГиБ RAM при сохранении связности ответов. На M3 Ultra с 512 ГиБ RAM заявлена скорость около 39,7 токена в секунду при генерации примерно 500 токенов; потребление памяти в этом тесте составляло около 104,6 ГиБ. Архитектура, точный размер модели, поддерживаемые языки, контекстное окно и модальности в README не указаны; по назначению это текстовая модель. К сильным сторонам относятся возможность локального запуска на совместимом оборудовании Apple, уменьшенные требования к памяти благодаря квантованию и сохранение приемлемой связности генерации. Ограничения включают зависимость от MLX и аппаратной конфигурации, возможное снижение качества по сравнению с исходной моделью из-за квантования, а также отсутствие подробных данных о точности и поддерживаемых сценариях. Лицензия в README не указана; условия использования следует уточнять для исходной модели и данной квантованной сборки отдельно.

DPOpenHermes 7B GGUF — квантизированная версия языковой модели DPOpenHermes 7B, разработанной Open Access AI Collective и подготовленной в формате GGUF компанией TheBloke. Модель основана на архитектуре Mistral, предназначена для генерации текста и диалоговых сценариев, а также может использоваться локально через llama.cpp и совместимые интерфейсы и библиотеки. Указан английский язык; поддерживается шаблон диалога ChatML с системными и пользовательскими сообщениями. Модель имеет 7 миллиардов параметров. Доступны варианты GGUFv2 с квантованием от 2 до 8 бит, включая CPU+GPU-инференс, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Формат поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими инструментами. Контекстное окно, точные требования к ресурсам и показатели качества в README не указаны. Модель обучалась с использованием наборов teknium/openhermes, argilla/ultrafeedback-binarized-preferences и Intel/orca_dpo_pairs. Сильными сторонами являются открытый формат, возможность локального запуска и широкий выбор уровней квантования. Ограничениями выступают преимущественно англоязычная специализация, отсутствие заявленных мультимодальных возможностей и неполная информация о производительности и контекстном окне. Лицензия — Apache-2.0.

fedric95/gemma-2-9b-GGUF — это набор квантизованных файлов модели Gemma 2 9B, разработанной Google и преобразованной пользователем fedric95 в формат GGUF для запуска с помощью llama.cpp. Модель относится к классу текстовых генеративных моделей и предназначена для диалоговых сценариев и генерации текста. В README указана архитектурная база google/gemma-2-9b, однако подробные сведения о контекстном окне, языках и модальностях не приведены; по указанным данным модель является текстовой и не поддерживает описанные мультимодальные входы. Доступны варианты с разными уровнями точности: FP32 размером 37 ГБ, а также Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, Q3_K_L, Q3_K_M, Q3_K_S и Q2_K размером от 9,83 до 3,81 ГБ. Более сильное квантование уменьшает требования к памяти, но может снижать качество: приведённые значения perplexity растут с 6,9209 у FP32 до 8,7979 у Q2_K. В тестах WinoGrande, HellaSwag и MMLU варианты Q8_0 показывают соответственно 74,43%, 78,39% и 42,51%; у низкобитных вариантов результаты в целом ниже. Для использования требуются совместимое окружение llama.cpp и выбор подходящего GGUF-файла с учётом доступной памяти и допустимой потери качества. Модель распространяется по лицензии Gemma; для доступа на Hugging Face необходимо ознакомиться с лицензией Google и принять её условия. README не содержит сведений о дополнительных ограничениях, системных требованиях или безопасном применении.

bartowski/gemma-2-9b-it-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Gemma 2 9B IT, разработанной Google и подготовленной пользователем bartowski для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальные чат-приложения и другие задачи, где требуется выполнение инструкций. Доступны варианты от F32 до низкобитных Q2 и IQ-квантизаций объёмом примерно от 3,43 до 36,97 ГБ. Модель является текстовой и использует архитектуру Gemma 2 с примерно 9 млрд параметров. README не указывает поддерживаемые языки и размер контекста. Для работы необходимо применять специальный формат prompt с маркерами начала и конца хода; системные сообщения не поддерживаются. Квантизации с более высокой точностью сохраняют лучшее качество, а варианты Q4–Q6 предлагают компромисс между качеством и требованиями к памяти; низкобитные варианты экономичнее, но могут заметно уступать в качестве. Распространение основано на лицензии Gemma от Google. Для доступа к исходной модели на Hugging Face требуется принять условия использования Google. README не содержит подробного описания ограничений лицензии или результатов бенчмарков, поэтому качество следует оценивать с учётом выбранной квантизации и конкретного сценария применения.

qwp4w3hyb/gemma-2-9b-it-iMat-GGUF — набор GGUF-квантизованных вариантов модели Google Gemma 2 9B IT, подготовленных на основе google/gemma-2-9b-it. Модель предназначена для генерации текста и локального запуска через llama.cpp; доступно множество уровней квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты с суффиксом _L. Для квантизации использовалась importance matrix (imatrix), призванная снизить потери качества по сравнению с обычной квантизацией. Модель имеет размер около 9 миллиардов параметров, поддерживает текстовый ввод и вывод и ориентирована на английский язык. В сборке учтены исправления llama.cpp, связанные с final logit soft capping, sliding window и токенизатором; конкретный размер контекстного окна в данных не указан. Разные уровни квантизации позволяют выбирать компромисс между качеством, потреблением памяти и скоростью, однако более компактные варианты могут заметнее терять качество. Лицензия указана как gemma; дополнительные условия использования в README не приведены.

MaziyarPanahi/gemma-7b-GGUF — это набор файлов модели Gemma 7B в формате GGUF, созданной Google и преобразованной в GGUF-квантизированные варианты пользователем MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. В README указано только, что это модель размером 7B с текстовой модальностью; сведения о поддерживаемых языках, длине контекста и точной архитектуре не приведены. К сильным сторонам относятся широкий выбор уровней квантизации и совместимость с популярными средствами локального инференса, включая запуск с ускорением на GPU. Более агрессивная квантизация может снижать качество по сравнению с исходной моделью, а для работы требуются подходящий клиент и ресурсы, зависящие от выбранного варианта. Указана лицензия other, но её конкретные условия в README не раскрыты.

giladgd публикует модель gpt-oss-20b в формате GGUF для запуска через node-llama-cpp и llama.cpp. Это разговорная текстовая модель генерации на архитектуре семейства GPT-OSS, производная от openai/gpt-oss-20b. Репозиторий содержит варианты MXFP4 и F16; README указывает размер файла MXFP4 12,1 ГБ и F16 13,8 ГБ. Для запуска варианта MXFP4 заявлено потребление памяти в пределах 16 ГБ. Модель предназначена для диалогов, генерации текста и сценариев с агентными возможностями, включая вызов функций и структурированный вывод. README также описывает настройку уровня усилий рассуждения и дообучение под конкретные задачи. Модель поддерживает Apache-2.0, допускающую коммерческое использование. Указанные в карточке возможности не подтверждают качество выполнения конкретных прикладных задач или работу с вебом и Python без соответствующей внешней интеграции.

mlx-community/gpt-oss-20b-MXFP4-Q4 — языковая модель для генерации текста, разработанная сообществом mlx-community и конвертированная из openai/gpt-oss-20b в формат MLX с использованием mlx-lm 0.27.0. Она предназначена для сценариев текстовой генерации и запуска в экосистеме MLX, включая использование через библиотеку mlx-lm. Модель относится к pipeline text-generation и имеет вариант квантования MXFP4-Q4. В README не указаны точные сведения об архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста, поэтому эти характеристики нельзя достоверно описать. Для работы требуется библиотека mlx-lm; приведённый пример предусматривает поддержку chat template при её наличии. Ограничения производительности и качества в README не раскрыты. Лицензия — Apache-2.0.

gradientai-Llama-3-8B-Instruct-262k-GGUF — набор квантованных файлов модели gradientai/Llama-3-8B-Instruct-262k, подготовленный организацией Featherless AI Quants. Модель относится к классу text-generation и предназначена для генерации текста и выполнения инструкций в сценариях локального или совместимого с GGUF инференса. Известно, что это 8-миллиардная instruct-модель семейства Llama 3 с заявленным контекстом до 262 тысяч токенов. README не указывает поддерживаемые языки, точную архитектуру, мультимодальные возможности, результаты оценки или специальные сценарии применения. Доступны варианты квантования Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0; их размер составляет примерно от 3,0 до 8,1 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Сильными сторонами модели являются большой заявленный контекст и широкий выбор GGUF-квантований, подходящих для разных аппаратных конфигураций. Ограничения README не раскрывает: отсутствуют сведения о качестве, скорости, требованиях к оборудованию, языковом покрытии и поведении на конкретных задачах. Лицензия в предоставленных данных не указана.

Granite-4.1-30B (FP8) — это версия модели IBM Granite 4.1-30B, представленная в формате FP8. Репозиторий подготовлен для использования с библиотекой Transformers и предназначен для языковых задач; более подробные сведения о возможностях и сценариях применения приведены в карточке исходной модели ibm-granite/granite-4.1-30b, которая в предоставленных данных отсутствует. Ключевая характеристика этой версии — представление весов в формате FP8, что может быть полезно для более эффективного хранения и выполнения модели в совместимой инфраструктуре. Из доступного README не указаны архитектура, точный размер в параметрах помимо обозначения 30B, поддерживаемые языки, длина контекста, модальности, результаты тестирования, сильные стороны и ограничения. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Llama-70B-abliterated, разработанной huihui-ai и подготовленной к публикации пользователем bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В основе лежит модель с архитектурой Llama и размером 70B параметров; в README также указано, что она относится к вариантам abliterated и uncensored. Доступны многочисленные уровни квантизации, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS и варианты Q3. Размер файлов составляет примерно от 30,91 до 74,98 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp версии b4585. Формат запроса использует специальные токены DeepSeek. Сильной стороной являются варианты с высокой точностью, особенно Q6_K и Q5_K_M, а Q4_K_M предлагает более экономичный компромисс между качеством и размером. Версии с меньшей битностью позволяют снизить требования к оперативной памяти, но обеспечивают более низкое качество. README не содержит сведений о поддерживаемых языках, размере контекста, фактической производительности и точных аппаратных требованиях. Лицензия в предоставленных данных не указана.

ibm-granite_granite-4.1-30b-GGUF — это набор GGUF-квантизаций языковой модели Granite 4.1 30B, разработанной IBM и опубликованной как ibm-granite/granite-4.1-30b. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix, предназначены для локального запуска и генерации текста. Модель рассчитана на задачи text-generation и может использоваться через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Доступны варианты от BF16 до низкобитных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Размер файлов варьируется примерно от 12,78 до 57,74 ГБ; наиболее качественные варианты Q6_K_L и Q6_K имеют размер около 24 ГБ, а Q4_K_M предлагается как сбалансированный вариант. Сильной стороной набора является широкий выбор квантизаций, включая варианты, оптимизированные для различных сценариев и архитектур CPU, а также сохранение высокого качества у старших форматов. Ограничения включают значительные требования к оперативной или видеопамяти для 30-миллиардной модели, снижение качества у младших квантизаций и необходимость поддержки Granite 4.1 используемым программным обеспечением. В README не указаны языки, размер контекста, архитектурные детали и мультимодальные возможности, поэтому эти характеристики нельзя достоверно определить по представленным данным. Модель распространяется по лицензии Apache-2.0.

Lightning-Herald-30B-A3B — модель EryriLabs, дообученная на базе NVIDIA Nemotron 3.5 Lightning для работы в Hermes Agent. Это гибридная языковая архитектура Nemotron-H с Mamba-2, механизмом Mixture of Experts и компонентом attention; карточка указывает 30 млрд параметров, из которых около 3 млрд активны при генерации, а метаданные каталога — 1,9 млрд параметров. Модель принимает текст и генерирует текст, включая вызовы инструментов в формате Nemotron, рассчитанном на разбор llama.cpp. Заявленный контекст — 262 144 токена. Модель предназначена для агентных сценариев: многошагового использования инструментов и выполнения задач через оболочку агента. В сравнении с исходной Lightning автор сообщает о росте результата в Fox agent suite и равном результате в тесте терминальных задач; эти оценки относятся к описанным в README наборам и настройкам. Автор отмечает, что модель иногда достигает лимита итераций, не завершив задачу, и рекомендует ограничивать агентную среду песочницей и проверять выполняемые команды. Модель дообучена на отфильтрованных трассах Hermes Agent, переформатированных в шаблон чата и синтаксис вызова инструментов Nemotron. Лицензия в метаданных указана как other; базовая модель NVIDIA Nemotron 3.5 Lightning распространяется по OpenMDW-1.1, однако отдельные условия лицензирования этого дообучения в доступных данных не раскрыты.

Llama-2-13B-Chat-GGUF — чат-модель семейства Llama 2, разработанная Meta и представленная в формате GGUF компанией Second State Inc. Это квантизированная версия базовой модели meta-llama/Llama-2-13b-chat-hf для генерации текста и диалогового взаимодействия. Модель предназначена для чат-ботов, ответов на вопросы и других сценариев текстовой генерации. В README указаны английский язык, архитектура Llama и размер 13 миллиардов параметров. Для запуска с LlamaEdge используется шаблон llama-2-chat и контекст размером 5120 токенов. Доступны варианты с квантизацией от 2 до 8 бит, а также f16; их размер варьируется примерно от 5,43 до 26 ГБ. Основное преимущество модели — возможность выбрать компромисс между размером файла, требованиями к ресурсам и качеством генерации. Рекомендуемыми названы варианты Q4_K_M и Q5_K_M, тогда как низкобитные версии заметно теряют в качестве. README не содержит сведений о мультимодальности, результатах тестирования или поддержке других языков. Модель распространяется по лицензии llama2.

Это квантизированная версия llama-3-70B-Instruct-abliterated в формате GGUF, подготовленная пользователем bartowski на основе модели failspy/llama-3-70B-Instruct-abliterated. Квантизация выполнена с помощью llama.cpp версии b2854 и метода imatrix. Модель предназначена для генерации текста в диалоговом и инструкционном формате, включая локальный запуск через совместимые инструменты llama.cpp. Модель относится к семейству Llama 3 и содержит 70B параметров, однако README не указывает точную архитектуру, поддерживаемые языки, размер контекстного окна или набор модальностей. Доступны варианты квантизации от Q8_0 до Q2 и IQ2–IQ4, различающиеся размером файлов и качеством: от 74,97 ГБ у Q8_0 до 21,14 ГБ у IQ2_XS. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; более компактные варианты требуют меньше памяти, но обычно снижают качество. Сильной стороной являются разнообразие квантизаций, возможность локального использования и сохранение высокого качества у вариантов Q6_K и Q5. Ограничения связаны с существенными требованиями к памяти для 70B-модели, потерей качества в низкобитных вариантах и отсутствием подробных сведений о результатах тестирования, языках и контекстном окне. Для корректного общения следует использовать указанный в README шаблон prompt format с системным, пользовательским и ассистентским сообщениями. Указана лицензия llama3; дополнительные условия следует уточнять в файле LICENSE исходной модели.

Это модель brunopio в формате GGUF, конвертированная с использованием llama.cpp из HF1BitLLM/Llama3-8B-1.58-100B-tokens. В качестве базовой модели также указан meta-llama/Meta-Llama-3-8B-Instruct. Модель предназначена для локального запуска задач генерации текста и диалогового вывода через llama.cpp, включая работу в командной строке или в режиме сервера. Ключевая характеристика — размер базовой модели 8B; в названии и исходной модели также указано обозначение 1.58 и обучение на 100B токенов, однако README не раскрывает их техническую интерпретацию, точную архитектуру, размер файла, параметры квантования, поддерживаемые языки и максимальную длину контекста. Для запуска требуется llama.cpp; в примере сервера задан контекст 2048 токенов, но не указано, является ли это предельным значением модели. Лицензия в README не указана, поэтому условия использования необходимо уточнять у автора и разработчиков базовых моделей.

QuantFactory/Llama-3-Instruct-8B-SPPO-Iter3-GGUF — квантизированная версия языковой модели UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3, созданная с использованием llama.cpp. Модель разработана на основе архитектуры Meta Llama 3 8B Instruct и обучена методом Self-Play Preference Optimization на синтетических ответах с использованием наборов запросов из UltraFeedback. Третья итерация обучения применяет данные, разделённые для последовательного проведения трёх итераций оптимизации. Модель предназначена для генерации текста и выполнения общих инструкций, включая диалоговые и вопросно-ответные сценарии. Это GPT-подобная текстовая модель примерно на 8 млрд параметров, ориентированная прежде всего на английский язык. Информация о поддерживаемой длине контекста и дополнительных модальностях в README не указана; модель является текстовой и не предназначена для обработки изображений или других мультимедийных данных. К сильным сторонам относятся улучшенные результаты третьей итерации по сравнению с предыдущими версиями в оценках AlpacaEval и Open LLM Leaderboard: заявлены LC Win Rate 38,77, средний результат набора Open LLM Leaderboard 70,29 и высокие показатели на HellaSwag, Winogrande и ARC-Challenge. Ограничениями являются преимущественная ориентация на английский язык, зависимость качества от выбранного формата квантизации и отсутствие в README подробностей о конкретном варианте квантизации и размере файла. Модель распространяется по лицензии Apache-2.0.

ceia-aisdk/llm-small-v1 — распространяемый CEIA AI SDK артефакт GGUF с квантизированными весами модели Qwen3-4B-Instruct-2507. CEIA не обучала эти веса; модель основана на Qwen/Qwen3-4B-Instruct-2507 и представлена в формате GGUF с квантизацией Q4_K_M от bartowski. Модель предназначена для генерации текста и диалогового взаимодействия через CEIA AI SDK, включая ответы на запросы и следование инструкциям. Базовая модель — плотная языковая модель Qwen3 на 4 млрд параметров; каталог указывает поддержку чата и контекст до 262 144 токенов для базовой модели. Репозиторий содержит один файл model.gguf и распространяется по лицензии Apache-2.0, как и базовая модель. Квантизация сокращает требования к ресурсам, однако README не приводит измерений качества или производительности именно этой сборки.

Meta-Llama-3-8B-Instruct-GGUF — языковая модель для генерации текста, созданная Meta и представленная сообществом lmstudio-community в формате GGUF. Она основана на Meta-Llama-3-8B-Instruct и предназначена для диалоговых приложений, ответов на вопросы, следования инструкциям и других задач текстовой генерации. Указан английский язык и тип применения text-generation. Модель имеет 8 миллиардов параметров и относится к семейству Llama 3. В предоставленных данных не указаны точная архитектура, размер контекстного окна, доступные варианты квантования и дополнительные модальности, поэтому эти характеристики нельзя определить надёжно. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая приложения класса LM Studio. Модель может быть полезна для локальных текстовых помощников и других сценариев, где требуется выполнение инструкций на английском языке. Ограничения включают неизвестные параметры производительности, отсутствие подтверждённых мультиязычных возможностей и потенциальные ошибки или нежелательные ответы, характерные для генеративных языковых моделей. Использование регулируется Meta Llama 3 Community License: при распространении материалов или продуктов необходимо соблюдать условия лицензии, требования к атрибуции, Acceptable Use Policy и прочие ограничения Meta.