II.1Анализ требований и архитектура ПО

BLOSSOM-v4-qwen1_5-14b — диалоговая языковая модель, созданная на основе предварительно обученной Qwen1.5-14B и дообученная командой Blossom на смеси собственных наборов данных Orca, Wizard, Chat и Math. Обучение включало одношаговые инструкции и многошаговые диалоги; модель предназначена для ответов на вопросы, ведения диалога и решения математических задач. Архитектура — плотная Qwen2ForCausalLM с 13,4 млрд параметров, контекстное окно — 32 768 токенов. Модель ориентирована на китайский и английский языки. Весы опубликованы в формате safetensors, лицензия — Apache-2.0. Для диалогового вывода README задаёт шаблон с ролями Human и Bot и рекомендует завершать реплики бота токеном <|endoftext|>.

vicgalle/CarbonBeagle-11B-truthy — диалоговая языковая модель на архитектуре Mistral, опубликованная VicGalle. Она предназначена для генерации текста в формате чата. В каталоге указаны 10,6 млрд параметров и контекст до 32 768 токенов; веса представлены в формате safetensors. В карточке приведены результаты Open LLM Leaderboard: средние оценки 76,10 и 21,29 для двух наборов тестов, включая ARC, HellaSwag, IFEval и BBH. Метаданные связывают модель с датасетом jondurbin/truthy-dpo-v0.1, но не подтверждают конкретный метод обучения или специализацию на правдивых ответах. Модель может использоваться для диалоговой генерации и оценки исследовательских сценариев; приведённые тестовые результаты сами по себе не гарантируют качество в прикладных задачах. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия языковой модели Kevin-32B, разработанной cognition-ai и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. Доступны варианты от BF16 до низкоразрядных квантов, что позволяет выбирать между качеством, размером файлов и требованиями к оперативной памяти. В основе лежит модель Kevin-32B с 32 миллиардами параметров. В README не указаны архитектура исходной модели, поддерживаемые языки, длина контекста и мультимодальные возможности, поэтому эти характеристики нельзя достоверно определить. Формат prompt предполагает шаблон с ролями system, user и assistant, а также секцией <think>. Более высокие варианты квантования, такие как Q6_K_L, Q6_K и Q5_K, заявлены как обеспечивающие очень высокое или высокое качество, тогда как Q3 и Q2-варианты экономят память за счёт заметного снижения качества. Сильная сторона сборки — широкий выбор квантов и совместимость с локальным инференсом через llama.cpp, включая запуск на устройствах с ограниченными ресурсами. Ограничения связаны с потерями качества при использовании низкоразрядных вариантов, значительным размером файлов и отсутствием в README сведений о лицензии, результатах тестирования и точных требованиях к оборудованию. Условия использования исходной модели и квантованных файлов не указаны.

SvalTek/ColdBrew-Oracle — разговорная языковая модель семейства Llama, разработанная SvalTek и дообученная на базе модели с тем же идентификатором. Модель содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. В карточке указаны интерфейсы чата и вызова инструментов; обучение выполнялось с Unsloth и библиотекой TRL. Модель предназначена для генерации текста и диалоговых сценариев на английском языке. Её можно использовать для ответов на запросы и подготовки текста в приложениях с чатом или вызовом инструментов. Весовые файлы опубликованы в формате safetensors, лицензия — Apache-2.0. Карточка не описывает обучающие данные, конкретные показатели качества или ограничения применения.

ConfigurableHermes-7B — языковая модель Vicgalle, дообученная методом configurable safety tuning на наборе vicgalle/configurable-system-prompt-multitask. Она построена на архитектуре Mistral с плотной decoder-only моделью на 7,1 млрд параметров и предназначена для диалогов и генерации текста с поведением, задаваемым системной инструкцией. Системный промпт позволяет настроить модель на безопасные ответы, ответы без ограничений, честные и правдивые ответы или ролевую персону. Это подходит для прототипирования чат-ассистентов с разными правилами поведения и оценки влияния системных инструкций. Модель принимает и выдаёт текст; контекст — до 32 768 токенов. В карточке приведены результаты оценивания на наборах Open LLM Leaderboard. Модель распространяется по лицензии Apache-2.0. Результаты бенчмарков не гарантируют качество в конкретном сценарии; выбранный системный промпт влияет на ответы, а режим без ограничений может допускать вредный или незаконный контент.

Модель bryordas/d-40-16-5e-5 — дообученная автором bryordas разговорная языковая модель семейства Llama на основе unsloth/meta-llama-3.1-8b-instruct-unsloth-bnb-4bit. Она предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В карточке указаны английский язык и формат safetensors. Для обучения использовались Unsloth и библиотека TRL; конкретный набор данных и специализированная область применения не описаны. Модель распространяется по лицензии Apache-2.0. Данных о качестве и ограничениях дообучения в карточке нет.

Это дообученная модель генерации текста на основе meta-llama/Llama-3.2-1B-Instruct, опубликованная пользователем Grogros. Она использует плотную архитектуру LlamaForCausalLM и содержит около 1,2 млрд параметров. Модель предназначена для диалоговой генерации текста; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Базовая модель поддерживает несколько языков, однако конкретные языки и специализация этого дообучения в карточке не описаны. Заявленная длина контекста составляет 131 072 токена. Карточка не приводит результатов оценки или описания обучающих данных, поэтому качество в отдельных задачах оценить нельзя. Лицензия — Llama 3.2; её условия следует учитывать при использовании и распространении модели.

DocsGPT-40B-Falcon — дообученная командой Arc53 языковая модель на базе Falcon-40B, предназначенная для ответов по документации и данным, переданным в контексте. Её можно применять в системах поиска и поддержки, где документы сначала извлекаются, а затем подаются модели вместе с вопросом. Модель использует архитектуру RefinedWeb с причинно-языковой генерацией; в карточке указано 65 млрд параметров и библиотека Transformers. Для дообучения применялся LoRA на 50 тысячах примеров. Рабочий шаблон запроса разделяет инструкцию, контекст и ответ. Карточка ориентирует модель на английский язык. Лицензия Apache-2.0 допускает коммерческое использование.

bartowski/Donnager-70B-v1-GGUF — это набор GGUF-квантизаций 70-миллиардной текстовой модели Donnager-70B-v1, разработанной TheDrummer и сконвертированной и квантованной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio. Она поддерживает формат приглашений <s>[INST] {prompt} [/INST] и не поддерживает системный промпт. Доступны варианты квантования от Q8_0 до IQ1_M с размером файлов примерно от 15,94 до 73,29 ГБ. В README не указаны точная архитектура исходной модели, контекстное окно, поддерживаемые языки и модальности, поэтому эти характеристики нельзя определить по предоставленным данным. Более качественными считаются Q8_0, Q6_K, Q5_K_M и Q4_K_M; низкоразрядные варианты требуют меньше памяти, но заметно уступают в качестве. Некоторые варианты используют Q8_0 для embedding- и output-весов. Лицензия указана как other, без дополнительных условий в README. Для работы необходим совместимый рантайм GGUF, например llama.cpp или LM Studio; варианты размером более 50 ГБ могут быть разделены на несколько файлов.

Dohyeon1/ERNIE-Sub-MoE-ngroups48-adaptive — языковая модель семейства ERNIE 4.5 MoE, опубликованная пользователем Dohyeon1 на Hugging Face. Модель предназначена для генерации текста и поддерживает диалоговые сценарии; для работы используется библиотека Transformers. Модель содержит 3,3 млрд параметров и рассчитана на контекст до 131 072 токенов. Архитектура с mixture-of-experts отражена в метаданных модели; дополнительные сведения о конфигурации экспертов, обучении, языках, оценивании и производительности в предоставленной карточке отсутствуют. Лицензия в доступных данных не указана, поэтому условия коммерческого и иного использования необходимо уточнять на странице репозитория. README не содержит результатов тестирования, описания датасетов, рекомендаций по применению или подробных сведений об ограничениях.

EttinX-nli-xs — компактная модель-кросс-энкодер, разработанная dleemiller для классификации отношений между парой текстов: противоречие, нейтральность или следование. Она основана на энкодере jhu-clsp/ettin-encoder-32m семейства ModernBERT и дообучена на наборе all-nli-distill с использованием логитов учительской модели dleemiller/ModernCE-large-nli. Модель содержит 31,9 млн параметров и рассчитана на работу через библиотеку sentence-transformers. Модель предназначена для задач Natural Language Inference (NLI), оценки текстовых гипотез и проверки выводов LLM; автор также отмечает пригодность для лёгкого CPU-инференса. В README приведены результаты micro F1: 83,80% на MNLI mismatched и 88,20% на SNLI. Контекст составляет до 7999 токенов по метаданным; README заявляет обработку последовательностей до 8192 токенов. Модель принимает текстовые пары и выдаёт классификационные оценки или метки отношений. Она ориентирована на английский язык. Лицензия — MIT. Результаты и заявленная эффективность приведены автором; качество на иных языках и доменах в карточке не описано.

EVA-LLaMA-3.33-70B-v0.1-GGUF — это GGUF-квантизированная версия языковой модели EVA-LLaMA-3.33-70B-v0.1, подготовленная пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-интерфейсах и других сценариях inference через llama.cpp или LM Studio. Исходная модель разработана EVA-UNIT-01; в её обучении или слиянии заявлены наборы данных для инструкционного следования, письма, ролевых диалогов и разнообразной генерации текста. Модель относится к классу больших текстовых моделей с заявленным размером 70B параметров. Доступны варианты квантования от Q8_0 до Q2_K, включая семейства Q4_K, Q5_K, Q6_K и IQ, с размером файлов примерно от 26 до 75 ГБ. Более высокие разрядности обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти; в README рекомендуются варианты Q6_K, Q5_K, Q4_K и IQ4_XS в зависимости от доступных ресурсов. Формат GGUF ориентирован на локальный запуск, включая CPU-инференс в некоторых вариантах. Сильными сторонами являются большой размер модели, широкий выбор квантований и оптимизация с использованием imatrix, позволяющая подобрать компромисс между качеством и требованиями к памяти. Ограничения включают высокие аппаратные требования даже для компактных вариантов, отсутствие указанного в README формата промпта, а также отсутствие сведений о поддерживаемых языках, длине контекста, мультимодальности и результатах стандартизированных оценок. Указана лицензия eva-llama3.3; перед использованием следует проверить её условия для исходной модели и производных квантований.

FableForge-1.5B — компактная универсальная языковая модель, разработанная командой fableforge-ai и входящая в экосистему FableForge. Согласно описанию, модель объединяет знания и возможности различных доменов NEXUS, однако подробности о базовой архитектуре и методах обучения в README не приведены. Модель предназначена для генерации текста общего назначения, включая программирование, рассуждения, интерактивные сценарии, создание персонажей и ролевые приложения. Она используется в проектах FableForge Nexus, Infinite NPC, Dual-GM, ShellWhisperer и Ghost Writer. Указан английский язык, поддерживается формат диалогов ChatML; сведения о других языках, размере контекста, точной архитектуре и поддерживаемых модальностях отсутствуют. Модель текстовая и не предназначена для обработки изображений или других типов данных. Для запуска доступны файлы в формате GGUF с разными уровнями квантования и размерами от 0,51 до 3,09 ГБ. Вариант Q4_K_M обозначен как оптимальный по соотношению размера и качества, IQ4_XS — как подходящий для систем с небольшим объёмом оперативной памяти, а Q6_K — как вариант высокого качества. К преимуществам относятся небольшой размер и совместимость с llama.cpp, Ollama и LM Studio; качество зависит от выбранного уровня квантования, а ограничениями являются малый масштаб модели и отсутствие подробных опубликованных характеристик. Модель распространяется по лицензии Apache-2.0.

FastContext-4B-RLbase-SFT-Fable5-Glint — дообученная модель генерации текста на архитектуре Qwen3ForCausalLM с 3,7 млрд параметров. Её разработали на основе microsoft/FastContext-1.0-4B-RL и обучили методом SFT на наборе инструкций Fable-5-Glint-Clean. Модель предназначена для диалогов и ответов на инструкции; в метаданных также заявлен интерфейс вызова инструментов. Контекстное окно составляет 262 144 токена. В проверке на отложенной выборке из 199 примеров точность предсказания следующего токена выросла относительно базовой модели: top-1 — с 0,5699 до 0,6952, top-5 — с 0,8201 до 0,9160. Эти результаты относятся только к указанной выборке и не являются сравнением с другими моделями. Поведение за пределами обучающего набора не проверено; модель наследует ограничения и смещения основы. LoRA-адаптеры слиты с весами, поэтому отделить их от дообучения нельзя. Лицензия в доступных данных не указана.

QuietImpostor/Gemini-Nano-Gemmafied — генеративная языковая модель для создания текста в задачах диалога и продолжения текста. Модель опубликована пользователем QuietImpostor на Hugging Face и доступна для работы через библиотеку Transformers. В материалах модели отсутствуют сведения о разработчике, базовой модели и лицензии. Модель содержит около 3,2 млрд параметров и поддерживает контекст до 8192 токенов. В метаданных указаны форматы Safetensors и GGUF, а также принадлежность к семейству Gemma. Модель может применяться для генерации ответов в чатах, написания и продолжения текстов, черновой подготовки контента и экспериментов с компактными LLM. Оценки качества, состав обучающих данных, поддерживаемые естественные языки и специальные ограничения в карточке не описаны. Сгенерированный текст следует проверять на фактические ошибки, логические неточности и возможные искажения. Условия лицензирования в доступных материалах не приведены.

benjamin/Gemma2-2B-IT-with-Qwen2-Tokenizer — диалоговая модель генерации текста на архитектуре Gemma 2, созданная переносом instruction-tuned Gemma 2 2B-IT на токенизатор Qwen2. Модель содержит около 2,4 млрд параметров и рассчитана на контекст до 8192 токенов; для работы используется библиотека Transformers, веса доступны в формате safetensors. Модель предназначена для диалога, ответов на вопросы и генерации текста по инструкциям. По данным карточки, на большинстве приведённых тестов она примерно сохраняет качество исходной Gemma 2 2B-IT, но показывает небольшое снижение результатов. Пример использования рассчитан на запуск через Transformers с PyTorch и поддерживает генерацию ответа в формате сообщений. Это производная модель от google/gemma-2-2b-it с изменённым токенизатором. В карточке не приведены сведения о лицензии и дополнительных ограничениях использования, поэтому условия лицензирования следует проверять у базовой модели и в репозитории модели.

mlx-community/gemma-3-1b-it-qat-4bit — языковая модель для генерации текста, созданная на основе google/gemma-3-1b-it и преобразованная сообществом mlx-community в формат MLX. Модель предназначена для диалоговых и других сценариев, связанных с текстовой генерацией, и поддерживает использование через библиотеку mlx-lm на совместимом оборудовании Apple MLX. Модель содержит около 1 миллиарда параметров, является instruction-tuned и использует 4-битное QAT-квантование. В карточке указана только текстовая модальность; сведения о поддерживаемых языках и размере контекстного окна не приведены. Ключевое преимущество — компактность и возможность локального запуска в оптимизированном формате MLX, однако небольшой размер и 4-битное квантование могут ограничивать качество и точность по сравнению с более крупными или полноразмерными моделями. Для доступа требуется принять лицензию Google Gemma на Hugging Face. Модель была конвертирована с использованием mlx-lm версии 0.22.5.

Mungert/gemma-3-27b-it-GGUF — это квантованная GGUF-версия мультимодальной инструкционной модели Gemma 3 27B IT, разработанной Google и преобразованной в формат GGUF автором Mungert. Базовая модель указана как google/gemma-3-27b-pt. Модель предназначена для диалогового использования, генерации текста и анализа изображений через экспериментальную поддержку Gemma 3 Vision в llama.cpp. Из README известно, что модель поддерживает текст и изображения, а для работы с изображениями требуется отдельный файл mmproj. Предусмотрен запуск через llama-gemma3-cli; доступны команды загрузки изображения, очистки истории и выхода. Точные сведения о языках, размере контекста, параметрах конкретных квантованных файлов и их производительности для версии 27B в README не приведены. Описанный подход с IQ-DynamicGate относится к экспериментам на Llama-3-8B и не подтверждает характеристики данной модели. Основные преимущества — мультимодальность, возможность локального запуска и снижение требований к памяти благодаря квантованию. Ограничения включают экспериментальный статус поддержки Vision в llama.cpp, необходимость совместимого runtime и отдельного mmproj-файла, а также потенциальную потерю качества при низкобитном квантовании. Для доступа на Hugging Face требуется принять лицензию Google Gemma; в карточке указана лицензия gemma.

Gemma 3n E4B It LM 4bit — версия модели Google Gemma 3n E4B-it, конвертированная сообществом mlx-community в формат MLX с использованием mlx-lm 0.25.2. Модель предназначена для запуска и генерации текста на устройствах и в окружениях, совместимых с MLX, через библиотеку mlx-lm. Модель ориентирована на диалоговую генерацию текста и, судя по заявленным тегам исходной модели, поддерживает сценарии работы с текстом, аудио и видео, включая автоматическое распознавание речи, автоматический перевод речи и преобразование аудио или видео в текст. Обозначение E4B указывает на класс модели примерно в 4 миллиарда параметров, а суффикс 4bit — на 4-битное квантование, уменьшающее требования к памяти. Точные сведения о языках и размере контекста в README не указаны. К сильным сторонам относятся адаптация к MLX, компактное 4-битное представление и поддержка мультимодальных сценариев, заявленная для базовой модели. Ограничения включают возможное снижение точности из-за квантования и отсутствие в README подробных данных о производительности, поддерживаемых языках и фактических требованиях к оборудованию. Для использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии gemma следует учитывать отдельно.

Это совместимая сборка Gemma 4 26B-A4B-it в формате GGUF для llama.cpp, подготовленная TaterTotterson на основе релиза unsloth/gemma-4-26B-A4B-it-GGUF. Модель предназначена для диалоговых задач и сценариев image-text-to-text, включая работу с изображениями через отдельный vision projector. Сборка не является новым fine-tune: основные веса и проектор взяты из upstream-релиза, а шаблон чата изменён так, чтобы принудительно отключать режим рассуждений и использовать no-thinking path. Основной файл использует квантизацию UD Q4_K_M; точный размер модели, максимальная длина контекста и поддерживаемые языки в README не указаны. Для ускорения генерации предусмотрена speculative decoding с совместимыми боковыми моделями MTP Q8_0 или DFlash Q8_0. Они не являются самостоятельными чат-моделями и должны использоваться только с данной целевой моделью Gemma 4 26B-A4B-it. Поддержка vision требует файла mmproj-F16.gguf. Сильные стороны сборки — интеграция с llama.cpp и Tater, поддержка обработки изображений, принудительное отключение рассуждений и возможность ускорения вывода посредством MTP или DFlash. Фактический прирост скорости зависит от запроса, оборудования, длины контекста и доли принятых черновых токенов. Ограничения включают необходимость совместимой свежей версии llama.cpp, отдельного projector для vision и корректно подобранной draft-модели; параметры контекста и языковые возможности не заявлены. Лицензия — Apache 2.0.

zecanard/gemma-4-26B-A4B-it-uncensored-heretic-ara-MLX-8bit-int8-affine — конвертированная в формат MLX версия модели trohrbaugh/gemma-4-26B-A4B-it-heretic-ara. Модель предназначена для мультимодальных задач, связанных с обработкой текста и изображений, включая генерацию ответов по текстовым запросам и анализ изображений. В карточке указаны английский язык и библиотека MLX; дополнительные сведения о разработчике базовой модели, языковой поддержке и полном наборе возможностей отсылаются к исходной карточке модели и здесь не приведены. Это vision-language model с эффективными 9,163 битами на параметр, подвергнутая 8-битному аффинному квантованию с размером группы 32. Версия создана с использованием mlx-vlm 0.6.3 и рассчитана на запуск в экосистеме MLX. В шаблон чата добавлены исправление вызова инструментов, учет текущей даты и включенное по умолчанию рассуждение, если оно поддерживается моделью. Для корректной обработки рассуждений может потребоваться настройка распознавания секции thought. Сильными сторонами модели являются поддержка входных изображений, квантованный формат для эффективного локального запуска и исправление, связанное с вызовом инструментов. Ограничения включают зависимость от MLX и mlx-vlm, а также отсутствие в предоставленной карточке точных сведений о контекстном окне, полном размере архитектуры, фактическом наборе языков и результатах тестирования. Модель распространяется по лицензии Apache-2.0 с учетом условий лицензии Gemma.

LiconStudio/Gemma-4-31B-it-abliterated-GGUF — модифицированная версия Google Gemma 4 31B Instruct, распространяемая в формате GGUF. Модель создана с применением метода Heretic ABLiteration: из исходных весов удалено нейронное направление, связанное с отказами в ответах, без изменения архитектуры и без дополнительных затрат при инференсе. Согласно README, версия ориентирована на снижение частоты отказов при сохранении исходных возможностей модели. Модель предназначена для генерации текста, исследований чувствительных тем, анализа, тестирования безопасности, red-teaming и академических исследований выравнивания моделей. Также заявлена поддержка мультимодальных сценариев с изображениями и текстом благодаря возможностям Gemma 4; при этом vision encoder остался без изменений. Указаны языки Chinese и English. Размер модели — 31B параметров; сведения о длине контекста и точной конфигурации GGUF в README отсутствуют. Сильной стороной является низкая частота отказов: в ручном тестировании для Abliterated Version указано 4 отказа из 100, при этом авторы не наблюдали заметного ухудшения интеллектуальных способностей по сравнению с официальной версией. Ограничения включают возможную небольшую потерю качества на сложных задачах, отсутствие встроенных механизмов цензуры и необходимость самостоятельно оценивать безопасность результатов. Модель не рекомендуется для производственных систем, требующих модерации контента, приложений для несовершеннолетних и сценариев с юридическими рисками. Лицензия — Apache-2.0. Авторы предназначают модель для исследовательских и образовательных целей и предупреждают, что она может генерировать вредный, опасный или неприемлемый контент; ответственность за использование несёт пользователь.

Gemma 4 E2B CoreAI — текстовая decoder-модель, экспортированная пользователем mlboydaisuke из базовой модели google/gemma-4-E2B-it для запуска через Apple Core AI на устройствах с iOS 27 и macOS 27. Модель предназначена для локальной генерации текста, диалоговых сценариев, суммаризации и офлайн-ассистентов; интеграция возможна через CoreAIKit и Swift. Поддерживаются GPU и Neural Engine Apple, включая iPhone и Mac, без обязательной отправки данных на сервер. Опубликованы квантизированные варианты с int4 и int8, включая конфигурации с пользовательскими Metal-ядрами для GPU и отдельные варианты для Neural Engine. Размер загружаемого комплекта составляет около 4,9 ГБ, а заявленная скорость декодирования достигает 22 токенов/с на iPhone 17 Pro и 56,6–59 токенов/с на M4 Max в Release-сборке; показатели зависят от платформы и конфигурации. В README не указаны языки, размер контекстного окна и точные архитектурные параметры. Модель рассчитана на экосистему Apple, требует iOS 27 или macOS 27 и может нуждаться в повышенном лимите памяти на iPhone. Лицензия указана как Apache-2.0, при этом для Gemma приведена отдельная ссылка на условия Google.

DavidAU разработал эту мультимодальную дообученную версию Gemma 4 E4B Instruct с настройкой на наборе данных The Deckard. Модель предназначена для диалога, рассуждений, программирования и творческого письма, включая создание и продолжение историй, сцен и ролевых сценариев. В README заявлены обработка текста, изображений, видео и аудио, контекст до 128 тыс. токенов, а также режимы instruct и thinking; по описанию Gemma 4 E4B имеет около 8 млрд параметров, из которых активируются примерно 4,5 млрд. Режим thinking задан шаблоном по умолчанию, а отдельный шаблон позволяет использовать instruct без него. Автор характеризует настройку как uncensored и более интенсивную; качество частично оценивается внутренними тестами, но их результаты не приведены. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/gemma-7b-it-GGUF — это набор файлов модели в формате GGUF для Gemma 7B Instruction Tuned, разработанной Google. Автором исходной модели указана Google, а конвертацию и квантованные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев. Модель имеет около 7 миллиардов параметров и поставляется в нескольких вариантах квантования: от 2 до 8 бит, включая форматы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. GGUF ориентирован на локальный запуск через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Квантование позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Сильными сторонами являются наличие разных уровней квантования и широкая совместимость с инструментами локального вывода. В README не указаны поддерживаемые языки, размер контекстного окна, точные характеристики архитектуры, результаты оценки качества или конкретные ограничения модели. Лицензия обозначена как other, но её условия в предоставленных данных не раскрыты.

GLM-4.5-Air-4bit — это 4-битная версия модели GLM-4.5-Air, преобразованная сообществом mlx-community в формат MLX из исходной модели zai-org/GLM-4.5-Air с использованием mlx-lm 0.26.0. Модель предназначена для генерации текста и может применяться в сценариях диалогового взаимодействия и других задачах текстовой генерации через библиотеку mlx-lm. В карточке указаны поддерживаемые языки English и Chinese, текстовая модальность и совместимость с MLX. Ключевая особенность — 4-битное представление, ориентированное на запуск в экосистеме MLX; точный размер модели, архитектура, максимальная длина контекста и количественные показатели не приведены. Лицензия — MIT. README не содержит подробностей о сильных сторонах, ограничениях качества или требованиях к аппаратному обеспечению, поэтому эти характеристики нельзя определить по имеющимся данным.

GLM-4.7-Flash-MLX-8bit — это 8-битно квантованная версия языковой модели GLM-4.7-Flash, разработанной компанией zai-org. Квантование выполнено командой LM Studio с использованием MLX и ориентировано на запуск на устройствах с Apple Silicon. Модель предназначена для генерации текста и доступна в экосистеме Transformers. Модель поддерживает английский и китайский языки и относится к моделям text generation. Ключевое преимущество — оптимизация в формате MLX и 8-битное представление, что делает её подходящей для локального использования на Apple Silicon при сниженных требованиях к памяти по сравнению с полноразмерной версией. В README не указаны точный размер модели, архитектура, длина контекста, мультимодальные возможности и результаты тестирования, поэтому её производительность и область применения нельзя оценить подробнее. Лицензия модели — MIT.

GLM-5.3-Flash-Alis-MLX-8bit — 8-битная MLX-квантизированная версия модели GLM-5.3-Flash, разработанной zai-org. Модель предназначена для генерации текста и запуска на устройствах Apple Silicon через библиотеку mlx-vlm с поддержкой архитектуры glm5_next и Mixture-of-Experts. Она создана потоковой деквантизацией официального FP8-релиза; размер исходной модели составляет 320B-A18B, а объём файловой системы модели — около 334,1 ГБ. В сборке используются 8-битное affine-кодирование экспертов, attention, общих и плотных MLP-слоёв, embeddings и выходной головы. Маршрутизатор MoE, параметры коррекции, отдельные массивы mHC и параметры затухания KDA сохранены в FP32, vision tower — в BF16. MTP-слой 45 удалён и вынесен в отдельную модель-драфтер, поэтому основное назначение этой версии — высокоточный inference и роль эталонной модели для оценки менее точных 4-битных сборок. Модель поддерживает текстовую генерацию; мультимодальные возможности через vision tower указаны, но подробности о поддерживаемых форматах изображений и языках не приведены. Сильная сторона модели — максимальная среди семейства точность сохранения исходного поведения и отсутствие квантизации маршрутизатора, что делает её reference- или teacher-классом. На M3 Ultra с 512 ГБ памяти ожидается около 24–25 токенов в секунду при декодировании с p512; специальные параметры окружения могут повысить скорость примерно на 12%. Ограничения включают очень большой объём хранения, требования к совместимой версии mlx-vlm и необходимость Apple Silicon. Лицензия — MIT.

MLX-совместимая версия языковой модели openai/gpt-oss-120b, разработанная сообществом mlx-community и сконвертированная из исходной модели с использованием mlx-lm 0.27.0. Модель предназначена для генерации текста и диалоговых сценариев на устройствах и в окружениях, поддерживающих MLX; для работы используются библиотека mlx-lm и соответствующий токенизатор с chat template, если он доступен. Из названия следует, что модель имеет масштаб 120B параметров и представлена в формате MXFP4-Q4, однако README не содержит подробностей об архитектуре, поддерживаемых языках, размере контекста, модальностях, производительности и аппаратных требованиях. Основное преимущество — адаптация модели к экосистеме MLX и возможность локального использования через стандартный интерфейс генерации текста. Ограничения и особенности, связанные с квантизацией MXFP4-Q4, в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

timdettmers/guanaco-33b-merged — крупная языковая модель семейства Guanaco, разработанная Tim Dettmers и основанная на LLaMA. Guanaco — это чат-модели, дообученные методом 4-bit QLoRA на наборе данных OASST1; данная версия содержит объединённые веса для варианта на 33 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия с пользователем. Модель использует архитектуру LLaMA и поддерживает задачу text-generation через Transformers и совместимые средства инференса. Согласно метаданным, размер составляет 32,3 млрд параметров, а native context — 2048 токенов. Основной сценарий применения — исследовательские эксперименты с локальными чат-ботами, ответами на инструкции и генерацией текста. Модель может выдавать проблематичные или неточные ответы и не предназначена для неконтролируемого использования в критически важных системах. В карточке семейства Guanaco также отмечено, что 4-битный инференс может быть медленным. Лицензия для объединённой версии надёжно не установлена по доступным источникам.