II.6Документация и сопровождение разработки

matrixportalx/gemma-3-1b-it-GGUF — это конвертированная в формат GGUF версия инструкционной модели google/gemma-3-1b-it, разработанной Google. Конвертация выполнена с использованием llama.cpp и сервиса all-gguf-same-where от ggml.ai. Модель предназначена для генерации текста и может запускаться через llama.cpp или совместимые инструменты, включая llama-cpp-python. Модель имеет размер 1 миллиард параметров и относится к текстовым моделям: в README не заявлена поддержка изображений или других модальностей. Доступны варианты с разными уровнями квантования — от Q2_K до Q8_0, а также F16. Q4_K_M рекомендован как сбалансированный вариант для CPU, Q4_0 — для ARM-устройств, а Q8_0 и F16 ориентированы на более высокое качество с большими требованиями к ресурсам. В примерах указано использование контекста до 2048 токенов, однако максимальный контекст исходной модели в представленном README не указан. К сильным сторонам относятся компактный размер, сниженное потребление памяти, кроссплатформенность и возможность локального запуска на CPU, включая ARM-устройства. К ограничениям относятся неизбежные потери качества при агрессивном квантовании, отсутствие подробных сведений о языках, архитектуре, результатах оценки и фактических возможностях исходной Gemma 3. Для использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии необходимо уточнять в оригинальной карточке модели.

Gemma 3 270M IT — компактная инструкционная текстовая модель Google, представленная в формате GGUF для запуска через loom.cpp и библиотеку loom-py-rt. Веса не изменены относительно базовой модели google/gemma-3-270m-it; репозиторий упаковывает их в один самодостаточный файл GGUF с данными, необходимыми для работы в loom.cpp. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые сценарии, ответы на вопросы и суммаризацию. По данным README, исходная модель обучалась более чем на 140 языках. Она принимает текст и выдаёт текст; размер параметров и длина контекста в предоставленных данных не указаны. Для запуска README рекомендует loom-py-rt. Репозиторий указывает лицензию «other», поэтому условия использования следует сверять с лицензией базовой модели Google и файлами репозитория. Это компактная модель, поэтому она не рассчитана на задачи, требующие возможностей крупных моделей.

DavidAU/gemma-4-19B-A4B-it-INSTRUCT-Heretic-Uncensored — это дообученная авторами DavidAU модель Gemma для диалогов и выполнения инструкций, включая работу с текстом и изображениями. В README указано, что модель построена на Gemma 4 с архитектурой MoE: число экспертов сокращено со 128 до 90, а затем модель дообучена; обычно активируются 8 экспертов. Метаданные указывают класс Gemma4ForConditionalGeneration, библиотеку Transformers и веса в формате safetensors. Заявленный контекст — до 256 тыс. токенов. Модель предназначена для диалогов, ответов на инструкции, творческого письма и генерации историй; примеры README показывают также запросы на сложные объяснения и ролевое взаимодействие. Поддерживается ввод изображений наряду с текстом. Карточка сообщает об английском языке и лицензии Apache-2.0. Автор описывает вариант как обычный, с умеренным дообучением на закрытых внутренних наборах данных; приведённые бенчмарки также обозначены как внутренние и находящиеся в подготовке. Поэтому заявленные характеристики качества нельзя считать подтверждёнными независимой оценкой.

Это квантованная версия Gemma 4 26B A4B IT от Google, опубликованная FreedomAISVR в формате GGUF для запуска через llama.cpp. Основа — инструкцияльная MoE-модель с 26 млрд параметров, около 4 млрд активных параметров, 128 экспертами и выбором 8 экспертов на токен; применена специализированная 4-битная квантизация MXFP4_MOE. Репозиторий также содержит мультимодальный проектор mmproj в F16 для обработки изображений. Модель предназначена для диалогов и следования инструкциям, а с подключённым проектором — для ответов на вопросы по изображениям и их описания. В README заявлены гибридное внимание с локальными и глобальными слоями, отключённый по умолчанию режим рассуждений с возможностью включения в запросе, а также запуск на CPU и GPU. Квантованные веса занимают около 13,72 ГБ, проектор — 1,11 ГБ; README указывает потребность от 8 ГБ RAM и около 15 ГБ дискового пространства. Квантизация рассчитана на более компактный и эффективный запуск MoE-модели при сохранении качества маршрутизации экспертов, однако README не приводит независимых результатов оценки качества. Лицензия — Gemma; использование должно соответствовать её условиям.

Gemma 4 E2B Heretic Uncensored MLX 4-bit — это мультимодальная модель для генерации текста и работы с изображениями, разработанная на основе google/gemma-4-E2B-it и опубликованная пользователем deadbydawn101. Базовая модель была изменена методом abliteration с использованием Heretic v1.2.0 и Arbitrary-Rank Ablation, после чего квантована в формат MLX 4-bit для локального запуска на устройствах Apple Silicon. Модель предназначена для офлайн-инференса, быстрого прототипирования, творческого письма, локальных агентов и edge-сценариев, где важны приватность, низкая задержка и отсутствие облачных API-вызовов. Она также поддерживает обработку изображений вместе с текстовыми запросами. Модель имеет около 2 млрд активных параметров, архитектуру Gemma4ForConditionalGeneration, контекстное окно 131 072 токена, словарь из 262 144 токенов и размер файла около 3,34 ГБ. Архитектура использует 35 слоёв: 28 со sliding attention и окном 512 токенов и 7 с full attention; предусмотрен vision encoder с размерностью 768, 16 слоями и патчами 16 пикселей. Квантование выполнено в 4-битном формате с affine-схемой и group_size=64. В README заявлены скорости около 25–40 токенов в секунду на M1 MacBook Air, 50–70 на M3 Pro и 90–120 на M4 Max, однако эти значения указаны как оценочные. К сильным сторонам относятся компактный размер, поддержка текста и изображений, длинный контекст, локальная работа на M-series Mac и существенно сниженное количество отказов по сравнению с исходной моделью: 5 из 100 против 98 из 100 в приведённом сравнении. Ограничения включают возможное изменение поведения и качества после abliteration и 4-битного квантования, а также зависимость производительности от оборудования Apple Silicon. В README указанная лицензия — Apache-2.0; для базовой Gemma приведена отдельная ссылка на условия лицензии Google.

gemma-4-E2B-it-Uncensored-MAX-GGUF — языковая модель с поддержкой изображений, разработанная prithivMLmods на основе google/gemma-4-E2B-it. Это instruction-tuned и alignment-modified вариант, предназначенный для генерации текста, подробных ответов, следования инструкциям, reasoning и агентских сценариев. Модель также позиционируется для запуска через llama.cpp, vLLM и другие совместимые инструменты, поддерживающие формат GGUF. Модель относится к классу MoE и имеет 2 млрд параметров согласно описанию. Заявлен английский язык. Наличие файлов mmproj указывает на поддержку обработки изображений, однако подробные сведения о визуальной архитектуре, размере контекста и точном наборе поддерживаемых модальностей не приведены. Доступны варианты BF16, F16, F32 и Q8_0 размером примерно от 4,95 до 18,6 ГБ, а также соответствующие мультимодальные компоненты. Ключевая особенность — снижение внутренних отказов от ответа с помощью анализа refusal-направлений и abliteration-based training при сохранении способностей к reasoning и instruction-following. Это может быть полезно для приложений, которым нужны менее ограниченные ответы, но одновременно означает повышенные риски получения небезопасного или нежелательного контента. Качество и требования к ресурсам зависят от выбранной квантизации. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/gemma-7b-it-GGUF — это набор файлов модели в формате GGUF для Gemma 7B Instruction Tuned, разработанной Google. Автором исходной модели указана Google, а конвертацию и квантованные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев. Модель имеет около 7 миллиардов параметров и поставляется в нескольких вариантах квантования: от 2 до 8 бит, включая форматы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. GGUF ориентирован на локальный запуск через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Квантование позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Сильными сторонами являются наличие разных уровней квантования и широкая совместимость с инструментами локального вывода. В README не указаны поддерживаемые языки, размер контекстного окна, точные характеристики архитектуры, результаты оценки качества или конкретные ограничения модели. Лицензия обозначена как other, но её условия в предоставленных данных не раскрыты.

Collab-uniba разработала sentence-transformers-модель на базе MPNet для вычисления смыслового сходства текстов о проблемах GitHub. Модель обучена на наборе NLBSE22 после удаления записей с пустым описанием и дубликатов; обучающей паре служили заголовок и тело одной и той же проблемы. Обучение продолжалось 10 эпох с Multiple Negative Ranking Loss и косинусным сходством. Модель предназначена для получения эмбеддингов и сопоставления заголовков с описаниями GitHub Issues, например для поиска похожих проблем и ранжирования кандидатов. Архитектура — плотная MPNet с 136,7 млн параметров; максимальная длина контекста составляет 514 токенов. Данные о лицензии и поддерживаемых естественных языках в предоставленных источниках отсутствуют.

mlx-community/GLM-4.7-4bit — языковая модель для генерации текста, преобразованная сообществом mlx-community из базовой модели zai-org/GLM-4.7 в формат MLX с использованием mlx-lm версии 0.30.0. По указанным метаданным модель предназначена для работы с текстом и поддерживает английский и китайский языки. Она может применяться для диалоговой генерации и других задач, связанных с продолжением текста, через библиотеку mlx-lm. Ключевая особенность модели — 4-битное представление, которое уменьшает требования к памяти по сравнению с полноформатной версией, но потенциально может ограничивать точность по сравнению с исходной моделью. Архитектура, число параметров, размер контекста, дополнительные модальности и перечень поддерживаемых сценариев в README не указаны. Для использования требуется MLX и библиотека mlx-lm. Модель распространяется по лицензии MIT.

noctrex/GLM-4.7-Flash-i1-MXFP4_MOE_XL-exp-GGUF — экспериментальная GGUF-квантизация GLM-4.7-Flash, подготовленная автором noctrex. В ней применяется смешанная точность MXFP4_MOE: для тензоров с высокой оценкой важности используются BF16, со средней — Q8_0, с низкой — MXFP4; оценки важности рассчитаны с помощью imatrix. Автор ориентирует вариант на задачи программирования. Модель предназначена для генерации текста в диалоговом формате, включая помощь с кодом. В качестве основы указана zai-org/GLM-4.7-Flash — диалоговая MoE-модель Z.ai для генерации текста, рассуждений и программирования с длинным контекстом. В карточке этого варианта не приведены отдельные значения размера модели и длины контекста. Формат файлов — GGUF. Квантизация экспериментальная; автор не сообщал о проведённых бенчмарках, поэтому её преимущество перед основной версией MXFP4_MOE не подтверждено. Сведения о лицензии в предоставленных данных отсутствуют.

GLM-4.7-Flash-MLX-6bit — это 6-битная квантизированная версия языковой модели GLM-4.7-Flash, разработанной организацией zai-org. Квантизация выполнена командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста и поддерживает английский и китайский языки. Модель подходит для локального запуска и задач текстовой генерации на совместимых устройствах Apple Silicon. Квантизация снижает требования к памяти по сравнению с полноразмерной версией, что может упростить локальное использование, однако потенциально сопровождается некоторой потерей точности относительно исходной модели. README не содержит сведений о размере модели, архитектуре, длине контекста, поддерживаемых модальностях помимо текста и результатах тестирования. Для модели указана лицензия MIT.

bartowski/glm-4-9b-chat-GGUF — это набор квантованных версий диалоговой текстовой модели GLM-4-9B-chat, разработанной THUDM. Модель предназначена для генерации текста и ведения диалогов на китайском и английском языках, включая локальный запуск через llama.cpp и LM Studio. Модель имеет около 9 миллиардов параметров и распространяется в формате GGUF с вариантами квантования от Q8_0 до Q2_K и IQ2_M. Размер файлов составляет примерно от 3,93 до 9,99 ГБ. Для некоторых вариантов используются веса эмбеддингов и выходного слоя в формате Q8_0, что может улучшать качество, хотя эффект зависит от конфигурации. Длина контекста и другие архитектурные характеристики в README не указаны. Сильными сторонами являются возможность локального запуска, широкий выбор квантований под разные объёмы памяти и относительно высокое качество старших вариантов, особенно Q6_K_L, Q6_K, Q5_K и Q4_K. Более сильное сжатие уменьшает требования к памяти, но снижает качество и может ограничивать пригодность модели для сложных задач. Лицензия указана как GLM-4; подробные условия доступны по ссылке на лицензию исходной модели.

SirSahOl подготовил эту версию GLM-Edge-4B-Chat для запуска через MLX на Apple Silicon. Это плотная авторегрессионная модель семейства GLM с 4,1 млрд параметров, предназначенная для диалогов и генерации текста; она поддерживает контекст до 8 192 токенов. Репозиторий содержит веса в формате safetensors с точностью 16 бит без квантизации. Конверсия рассчитана на локальный вывод с использованием GPU Apple Silicon и библиотеки MLX; заявленный активный объём памяти составляет около 9,3 ГБ, рекомендуется не менее 16 ГБ объединённой памяти. Модель подходит для интерактивного помощника, многоходового чата и локального дополнения текста. Карточка указывает лицензию «other», но не приводит её конкретных условий, поэтому перед использованием следует проверить лицензию исходной модели и репозитория. Это преобразованная версия базовой модели THUDM/glm-edge-4b-chat; поддержка других аппаратных платформ в карточке не заявлена.

Sumail/Goat_Derrick26 — объединённая языковая модель семейства StableLM, созданная методом SLERP с помощью mergekit из zzttbrdd/sn6_00s и zzttbrdd/sn6_02s. Модель предназначена для генерации текста и диалогового использования. Модель имеет плотную архитектуру StableLmForCausalLM, содержит 1,4 млрд параметров и поддерживает контекст до 4096 токенов. Репозиторий содержит веса в формате safetensors; метаданные указывают библиотеку Transformers и возможность чата. Сведения о специализации и языках модели не приведены. Лицензия в доступных данных не указана. Качество и ограничения объединённой модели отдельно не описаны; её ответы следует проверять.

GoldDiamondGold-70b — объединённая текстовая модель на архитектуре Llama, созданная KaraKaraWitch с помощью mergekit. В основе слияния лежит deepcogito/cogito-v2-preview-llama-70B; в модель также вошли чекпойнты для диалогов, следования инструкциям, повествования и работы с инструментами. Она содержит 69,5 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации ответов в диалоге и создания текстов по запросу, включая повествовательные сценарии. Автор отмечает, что модель хорошо воспринимает формат промпта, но может перенимать неаккуратный стиль предыдущих ответов Llama, излишне вести себя как ассистент и особенно чувствительна к системным инструкциям. В карточке упоминается склонность к сексуализированному тону. Лицензия в предоставленных данных не указана.

Это GGUF-квантизованная версия мультимодальной инструкционной модели google/gemma-4-26B-A4B-it, разработанной Google и подготовленной в форматах GGUF автором bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций. Базовая модель имеет размер 26B и обозначение A4B, однако README не раскрывает подробности её архитектуры. Модель предназначена для диалогового применения и обработки задач, соответствующих режиму image-text-to-text, то есть может работать с текстом и изображениями. Она подходит для локального запуска через llama.cpp, LM Studio, Jan AI, KoboldCpp, Text Generation Web UI и другие совместимые инструменты. В README приведён специальный шаблон запросов и отмечены обновления шаблона чата и исправления совместимости. Сильная сторона сборки — широкий выбор уровней квантизации, позволяющий выбирать между качеством и требованиями к памяти: наиболее качественными названы Q6_K_L, Q6_K, Q5 и Q4 варианты, а Q4_K_M рекомендован как типичный компромисс. Более компактные варианты экономят память, но могут заметно уступать по качеству. Языки, размер контекстного окна, точные характеристики мультимодальности и требования к оборудованию в README не указаны. Распространение осуществляется по лицензии Apache-2.0; для самой базовой модели также указана отдельная лицензия Gemma 4.

Goppa-LogiLlama-GGUF — это набор GGUF-квантизаций языковой модели Goppa-LogiLlama, разработанной goppa-ai и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и совместимые приложения. В README также указано обучение на наборах open-thoughts/open-thoughts-114k и open-thoughts/OpenThoughts-Unverified-173k. Доступны варианты от F16 до низкобитных Q2_K_L, включая Q8_0, Q6_K, Q5_K, Q4_K и IQ-квантизации. Размер файлов составляет примерно от 0,64 до 2,48 ГБ, поэтому можно выбрать баланс между качеством и требованиями к оперативной памяти. Наиболее качественными считаются F16, Q8_0 и варианты Q6_K; Q4_K_M обозначен как стандартный вариант для большинства сценариев. Более компактные варианты экономят память, но отличаются сниженным качеством. Модель поддерживает текстовую генерацию; сведения об архитектуре, числе параметров, длине контекста и языках в README не приведены. Указан формат prompt-шаблона на основе ChatML-подобных служебных токенов с датой отсечения знаний декабрь 2023 года. Лицензия обозначена как llama3; конкретные условия и ограничения лицензии в карточке не раскрыты.

GPT-2 Medium — авторегрессионная трансформерная языковая модель OpenAI с 355 млн параметров, предварительно обученная на английских текстах предсказывать следующий фрагмент текста. Она принимает текстовый контекст и продолжает его; длина контекста составляет 1024 токена. Модель подходит для автодополнения, черновиков и творческой генерации, а также для экспериментов с поведением языковых моделей. Модель можно применять для помощи в написании текстов, генерации прозы и стихов, а также для создания простых игровых диалогов и чат-ботов. Это базовая предварительно обученная модель, а не специализированная система для поиска фактов: генерации могут быть правдоподобными, но неверными. Обучающие данные собраны из веб-текстов и не опубликованы как доступный для просмотра набор; модель может воспроизводить вредные стереотипы и предвзятости. Лицензия в метаданных указана как MIT; README называет её Modified MIT License.

Это дообученный чекпойнт Qwen3-4B, созданный Diluner методом ROSE с использованием gpt-5.4-mini в качестве учителя. Модель завершила второй этап последовательного обучения: после BabyAI она прошла TextCraft; в этом этапе выполнено пять эпох и 55 обновлений оптимизатора. Модель предназначена для генерации текста и диалоговых сценариев. Это плотная причинно-языковая архитектура Qwen3 примерно на 3,7 млрд параметров с контекстом до 40 960 токенов; репозиторий содержит веса Safetensors и поддерживает Transformers. Отдельная оценка качества этого промежуточного чекпойнта не приложена, поэтому результаты последующих этапов обучения к нему не относятся. README не заявляет лицензию; следует учитывать условия базовой модели и применимые лицензии.

MLX-совместимая версия языковой модели openai/gpt-oss-120b, разработанная сообществом mlx-community и сконвертированная из исходной модели с использованием mlx-lm 0.27.0. Модель предназначена для генерации текста и диалоговых сценариев на устройствах и в окружениях, поддерживающих MLX; для работы используются библиотека mlx-lm и соответствующий токенизатор с chat template, если он доступен. Из названия следует, что модель имеет масштаб 120B параметров и представлена в формате MXFP4-Q4, однако README не содержит подробностей об архитектуре, поддерживаемых языках, размере контекста, модальностях, производительности и аппаратных требованиях. Основное преимущество — адаптация модели к экосистеме MLX и возможность локального использования через стандартный интерфейс генерации текста. Ограничения и особенности, связанные с квантизацией MXFP4-Q4, в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

ggml-org/gpt-oss-20b-GGUF — это GGUF-квантизированная версия модели gpt-oss-20b, разработанной OpenAI и опубликованной в формате для запуска с помощью инструментов экосистемы ggml-org. Модель предназначена для генерации текста и локального или совместимого с llama.cpp использования; в README приведён пример запуска через llama serve и llama.app. Модель относится к классу text-generation и имеет размер 20B согласно названию базовой модели. Она поставляется в квантизированном формате GGUF, что обычно позволяет снизить требования к памяти по сравнению с полноразмерными весами, однако конкретный тип квантизации в README не указан. Поддерживаемые языки, размер контекста, архитектура, модальности и показатели качества не раскрыты. Лицензия модели — Apache-2.0. README указывает, что конвертация выполнена автоматически с использованием проекта ggml-org/convert, а исходными моделями названы openai/gpt-oss-20b и RedHatAI/gpt-oss-20b-speculator.eagle3. Из-за отсутствия подробных технических характеристик нельзя оценить языковое покрытие, производительность и ограничения модели более точно.

p-e-w/gpt-oss-20b-heretic — текстовая разговорная модель на архитектуре GPT-OSS, созданная на основе openai/gpt-oss-20b с помощью abliteration, направленной на снижение отказов. В карточке приведено сравнение: в тесте на 100 запросах модель отказала в 58 случаях против 100 у исходной модели; KL-дивергенция составила 0,96. README также описывает базовую модель как MoE с 21 млрд параметров и 3,6 млрд активных параметров, контекстом 131 072 токена и форматом Harmony; метаданные репозитория при этом указывают 1,6 млрд параметров. Модель предназначена для диалога, генерации текста и локальных или специализированных сценариев. Базовая модель поддерживает настраиваемый уровень рассуждений, вызов функций и агентные сценарии; в этом репозитории заявлено снижение числа отказов, но приведённый тест не гарантирует поведение на других запросах. Для корректной работы следует использовать формат Harmony. Лицензия — Apache-2.0.

RTannous/gpt-oss-20b-multilingual-reasoner — дообученная версия модели unsloth/gpt-oss-20b, опубликованная для использования через библиотеку Transformers. Модель обучалась методом supervised fine-tuning (SFT) с использованием TRL, поэтому предназначена для генерации текста и диалоговых сценариев, включая задачи, где требуется формулировать рассуждения и ответы на разных языках. В README приведён пример запуска в режиме text-generation на GPU с помощью pipeline из Transformers. Из доступных данных известно, что модель относится к семейству с размером 20B параметров. Точная архитектура, перечень поддерживаемых языков, длина контекста, набор обучающих данных и специализированные показатели качества не указаны. К сильным сторонам относятся наличие дообучения под мультиязычные и reasoning-сценарии, а также совместимость с экосистемой Transformers и TRL; ограничениями являются отсутствие подробных бенчмарков и сведений о языковом покрытии и качестве. В карточке указана лицензия с идентификатором license, но её конкретные условия не раскрыты.

Granite 3.1 3B A800M Instruct — языковая instruction-tuned модель IBM, представленная в формате GGUF и квантизированная bartowski с использованием llama.cpp и imatrix. Репозиторий предназначен для локального запуска задач генерации текста и диалогового взаимодействия, в том числе через LM Studio или совместимые инструменты на базе llama.cpp. Доступны варианты от полноразмерных весов F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 1,38 до 6,60 ГБ, поэтому можно выбрать баланс между качеством, требованиями к памяти и скоростью работы. Для общения необходимо использовать указанный chat template с ролями system, user и assistant; в README отмечено исправление шаблона чата. Модель ориентирована на текстовую модальность. Сильные стороны представлены широким выбором квантизаций и возможностью локального использования, включая варианты, рекомендованные автором как обеспечивающие высокое или хорошее качество. Более компактные варианты экономят память, но могут заметно уступать по качеству; самые низкобитные версии обозначены как низкокачественные или нерекомендуемые. Данные о поддерживаемых языках, размере контекста и детальной архитектуре в README не указаны. Распространение заявлено по лицензии Apache-2.0.

ibm-granite/granite-3.3-2b-instruct-GGUF — это набор конвертированных в формат GGUF версий инструкционно дообученной языковой модели IBM Granite 3.3 с базовой моделью объёмом 2 млрд параметров. Модель разработана IBM и предназначена для задач генерации текста и диалогового взаимодействия с инструкциями, включая локальный запуск средствами, поддерживающими формат GGUF. Репозиторий содержит варианты с различными уровнями квантования, однако конкретный набор квантований в карточке не указан. Модель относится к текстовым генеративным моделям; сведения о поддерживаемых языках, размере контекста, точной архитектуре, модальностях и результатах тестирования в предоставленной карточке отсутствуют. Сильными сторонами являются компактный размер базовой модели и доступность в оптимизированном формате GGUF, потенциально удобном для запуска на совместимом локальном оборудовании. Возможные ограничения, характеристики производительности и требования к ресурсам зависят от выбранного варианта квантования и не описаны. Лицензия — Apache 2.0.

Granite-3B-Code-Instruct-2K — языковая модель IBM Research, дообученная на Granite-3B-Code-Base-2K для выполнения инструкций по программированию. Модель с архитектурой Llama содержит 3,5 млрд параметров, принимает текст и использует контекст до 2048 токенов. Она предназначена для создания помощников по программированию: может отвечать на запросы о коде, помогать с решением задач и рассуждениями, а также работать с инструкциями для генерации кода. Для настройки использовались наборы данных с коммитами, примерами кода и инструкциями, математическими задачами и общими диалоговыми запросами. Обучающие данные о коммитах охватывают 92 языка программирования; это не означает поддержку 92 естественных языков. IBM указывает, что модель не рекомендуется для новых проектов и опубликована для исторических и научных целей; для новых приложений рекомендуются более современные модели Granite. Качество может снижаться на языках программирования вне обучающего распределения, а для критичных сценариев README рекомендует проверку безопасности и целевую настройку. Лицензия — Apache 2.0.

ibm-granite/granite-4.1-30b-GGUF — это конверсия модели IBM Granite 4.1 30B в формат GGUF, предназначенная для запуска и инференса с инструментами, поддерживающими этот формат. Разработчик исходной модели — IBM; репозиторий содержит варианты с различными уровнями квантования, преобразованные из модели в формате .safetensors. Базовая модель указана как ibm-granite/granite-4.1-30b. Модель относится к задачам генерации текста и может использоваться в сценариях локального или оптимизированного инференса, совместимого с GGUF. Из доступных данных известны размер базовой модели — 30B параметров, текстовая модальность и поддержка библиотеки Transformers; сведения о конкретной архитектуре, языках, размере контекста, результатах тестирования и сильных или слабых сторонах отсутствуют. Вариант bf16 разделён на пять файлов из-за ограничений на размер одного файла и может быть объединён инструментом llama-gguf-split. Лицензия — Apache-2.0. Условия применения квантованных вариантов, требования к аппаратным ресурсам и совместимость с конкретными средствами запуска в карточке подробно не указаны.

Granite-4.1-3B-SFT-Claude-Opus-Reasoning-Unsloth — дообученная языковая модель на архитектуре GraniteForCausalLM, созданная автором репозитория на основе IBM Granite 4.1 3B. Модель содержит 3,4 млрд параметров и рассчитана на генерацию текста в диалоговом формате, включая ответы с рассуждениями. Для обучения с учителем использовался датасет claude-reasoning-distillation; LoRA-адаптеры объединены с базовыми весами. Модель подходит для создания диалоговых ассистентов и генерации ответов на инструкции. Метаданные указывают контекст до 131 072 токенов, поддержку чата и интерфейса вызова инструментов. Поддерживаемые естественные языки в карточке не перечислены. Качество на прикладных тестах не оценивалось: опубликованы только наблюдения за обучающей потерей. Поведение вне обучающего набора не проверено; сохраняются ограничения, смещения и ошибки базовой модели. Лицензия — Apache-2.0.

GrayLine — диалоговая текстовая модель soob3123, созданная дообучением Qwen/Qwen3-8B. Она предназначена для прямых ответов на вопросы и выполнения инструкций в формате чата; автор описывает её как модель без встроенной этической фильтрации и отказов. Модель имеет плотную архитектуру Qwen3ForCausalLM и 7,6 млрд параметров, принимает и генерирует текст, поддерживает контекст до 40 960 токенов. В карточке заявлена поддержка английского языка; метаданные также указывают интерфейс вызова инструментов. Модель ориентирована на информационные запросы, диалог и выполнение разнообразных текстовых задач с прямой подачей ответа. Она может выдавать вредный, вводящий в заблуждение или неподходящий контент и, согласно карточке, не предоставляет встроенных предупреждений и защитных фильтров; качество ответов зависит от обучающих данных. Распространяется по лицензии Apache-2.0.

Это GGUF-квантизация модели grimjim/Llama-3-Instruct-8B-SimPO-SPPO-Iter3-merge, подготовленная featherless-ai-quants. Модель относится к семейству Llama 3 Instruct, предназначена для генерации текста и использования в диалоговых и других текстовых сценариях. Из README следует, что базовая модель имеет размер 8B параметров, однако сведения об архитектуре, языках, размере контекста и исходном разработчике не указаны. Репозиторий предоставляет несколько вариантов квантизации GGUF: от Q2_K и Q3_K до Q8_0, а также IQ4_XS. Они различаются размером файлов — примерно от 3 до 8 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Конкретные показатели производительности и качества в README не приведены, поэтому сильные стороны модели можно оценить только как практическую доступность различных уровней квантизации; возможное снижение качества при более агрессивной квантизации остается ограничением. Лицензия и условия использования в README не указаны. Сведения о поддерживаемых модальностях ограничены текстовой генерацией; данные о работе с изображениями, аудио или другими типами входов отсутствуют.