II.6Документация и сопровождение разработки

PirxTion/full-dataset-instruction — дообученная модель генерации текста на базе andresnowak/Qwen3-0.6B-instruction-finetuned_v2; обучение выполнено с использованием TRL. Это плотная причинная языковая модель семейства Qwen3 с 507,9 млн параметров, рассчитанная на диалоговый режим и контекст до 32 768 токенов. Пример применения в карточке показывает генерацию ответа на вопрос пользователя. Модель подходит для диалоговой генерации текста и ответов на запросы. В карточке указаны формат весов safetensors и библиотека Transformers; лицензия и специальные ограничения по качеству не описаны.

Functionary-small-v3.1-GGUF — это набор GGUF-квантизаций текстовой генеративной модели functionary-small-v3.1, разработанной meetkai и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для локального запуска задач генерации текста; конкретная специализация исходной модели, поддерживаемые языки, архитектура и размер в параметрах в предоставленном README не указаны. Доступны версии от F32 размером 32,13 ГБ до сильно сжатых вариантов IQ2_M размером 2,95 ГБ. Наиболее качественными и рекомендуемыми названы Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M и Q4_K_S; варианты с суффиксом L используют Q8_0 для embedding- и output-весов. Модель совместима с llama.cpp и может запускаться, в частности, через LM Studio. Чем сильнее квантизация, тем ниже требования к оперативной памяти, но потенциально ниже качество. Преимущество набора — широкий выбор компромиссов между качеством и размером, включая варианты для систем с ограниченной памятью. Ограничения README не раскрывает: отсутствуют данные о контекстном окне, мультимодальности, точных сценариях применения, бенчмарках и фактическом качестве на разных языках. Указана лицензия MIT.

G2-9B-Aletheia-v1-GGUF — это квантизированные версии текстовой генеративной модели G2-9B-Aletheia-v1, разработанной allura-org и опубликованные в формате GGUF пользователем bartowski. Модель содержит около 9 миллиардов параметров; исходная модель связана с mergekit и объединением моделей, однако её точная архитектура, языки и максимальная длина контекста в README не указаны. Модель предназначена для генерации текста и локального запуска через llama.cpp или LM Studio. Доступны варианты от F16 размером 18,49 ГБ до компактных IQ2/Q2/Q3/Q4/Q5/Q6/Q8-квантизаций, что позволяет выбирать между качеством и требованиями к памяти. Квантизация выполнена с использованием imatrix на базе llama.cpp b4014. В README рекомендуется использовать варианты Q4_K_M, Q5, Q6 и некоторые IQ-форматы; версии Q3 и ниже экономят память, но заметно уступают по качеству. Для работы требуется соблюдать специальный формат prompt с маркерами ролей. Модель не поддерживает system prompt, что ограничивает сценарии, где системные инструкции являются обязательной частью диалога. Указана лицензия gemma; условия её применения следует учитывать при развёртывании и распространении.

Jasper505/Gaia — дообученная языковая модель семейства Llama, разработанная Jasper505 на базе unsloth/llama-3.2-1b-instruct-unsloth-bnb-4bit. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 1,2 млрд параметров и поддерживает контекст до 131072 токенов. Указанный язык — английский. Модель обучали с использованием Unsloth и библиотеки Hugging Face TRL. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. README не описывает специализированную область применения или сравнительные результаты, поэтому качество ответов и пригодность для конкретных задач следует оценивать отдельно.

unsloth/gemma-1.1-2b-it — разговорная версия Gemma 1.1 от Google, размещённая Unsloth. Это плотная авторегрессионная языковая модель с 2,5 млрд параметров для генерации текста и диалогов. Она принимает текст и генерирует текст; заявленная длина контекста — 8192 токена, основной указанный язык — английский. Модель подходит для чат-ответов, продолжения текста и создания диалоговых приложений. В README Unsloth описывает ноутбуки для дообучения Gemma и других моделей, но не приводит подробных оценок качества или специальных сценариев применения именно этого чекпойнта. Репозиторий использует формат Safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

bartowski/gemma-2-2b-it-GGUF — набор GGUF-квантизаций модели Gemma 2 2B Instruct, разработанной Google и преобразованной bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и LM Studio. Это текстовая instruction-tuned модель примерно на 2 млрд параметров. Доступны варианты от F32 размером 10,46 ГБ до низкобитных IQ3_M размером 1,39 ГБ, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и другие форматы. Разные варианты позволяют выбирать компромисс между качеством, скоростью и требованиями к RAM или VRAM; в README рекомендуются, в частности, Q6_K, Q5_K_M и Q4_K_M. Языки, размер контекстного окна и поддержка дополнительных модальностей в предоставленных данных не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и высокая эффективность по памяти по сравнению с полноразмерными весами. Ограничение модели — отсутствие поддержки system prompt; для корректной работы необходимо использовать специальный формат диалога Gemma с маркерами ролей. Модель распространяется по лицензии Gemma; для доступа на Hugging Face требуется ознакомиться и согласиться с лицензией Google.

ThomasBaruzier/gemma-2-2b-it-GGUF — набор GGUF-квантизаций instruction-tuned модели Gemma 2 2B от Google, подготовленный с использованием llama.cpp и метода imatrix. Это текстовая decoder-only языковая модель с открытыми весами, предназначенная для генерации текста и диалоговых сценариев. Модель подходит для ответов на вопросы, суммаризации, рассуждений и других задач генерации текста, включая локальное развертывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Указан английский язык; модальность — текстовая. Репозиторий содержит варианты от IQ1_S до F16, различающиеся размером, качеством и требованиями к памяти: примерно от 794 МБ до 4,99 ГБ. Для квантизации использованы llama.cpp и калибровочный файл Bartowski; приведённые результаты показывают компромисс между размером и точностью. К сильным сторонам относятся компактность, возможность локального запуска и наличие множества вариантов квантизации. Ограничения включают снижение качества в более агрессивно сжатых вариантах, англоязычную специализацию и отсутствие в README точных данных о длине контекста, полной архитектуре и целевых аппаратных требованиях. Использование регулируется лицензией Gemma и условиями Google; для доступа к модели на Hugging Face требуется принять соответствующую лицензию.

benjamin/Gemma2-2B-IT-with-Qwen2-Tokenizer — диалоговая модель генерации текста на архитектуре Gemma 2, созданная переносом instruction-tuned Gemma 2 2B-IT на токенизатор Qwen2. Модель содержит около 2,4 млрд параметров и рассчитана на контекст до 8192 токенов; для работы используется библиотека Transformers, веса доступны в формате safetensors. Модель предназначена для диалога, ответов на вопросы и генерации текста по инструкциям. По данным карточки, на большинстве приведённых тестов она примерно сохраняет качество исходной Gemma 2 2B-IT, но показывает небольшое снижение результатов. Пример использования рассчитан на запуск через Transformers с PyTorch и поддерживает генерацию ответа в формате сообщений. Это производная модель от google/gemma-2-2b-it с изменённым токенизатором. В карточке не приведены сведения о лицензии и дополнительных ограничениях использования, поэтому условия лицензирования следует проверять у базовой модели и в репозитории модели.

mlx-community/gemma-3-1b-it-4bit — это 4-битная версия модели Gemma 3 1B Instruction Tuned, разработанной Google и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.21.6. Модель предназначена для генерации текста и диалоговых сценариев с инструкциями, включая запуск локально через библиотеку mlx-lm. Известно, что модель основана на google/gemma-3-1b-it, имеет размер около 1 миллиарда параметров и использует 4-битное квантование, что снижает требования к памяти и делает её подходящей для эффективного запуска в экосистеме MLX. README не содержит сведений о поддерживаемых языках, размере контекста, дополнительных модальностях, точных архитектурных особенностях, показателях качества или ограничениях применения. Доступ регулируется лицензией Gemma; для использования на Hugging Face требуется ознакомиться с лицензией Google и подтвердить её принятие.

onnx-community/gemma-3-1b-it-ONNX — ONNX-версия модели Google Gemma 3 1B Instruct, подготовленная сообществом onnx-community. Модель предназначена для генерации текста и диалоговых сценариев с использованием чат-шаблонов, включая ответы на вопросы, написание текстов и выполнение инструкций. Модель имеет размер около 1 млрд параметров и работает с архитектурой Gemma 3 1B через ONNX Runtime. Она поддерживается библиотекой Transformers.js, включая запуск в браузере или другом JavaScript-окружении с WebGPU; в примере также используется квантизация q4. Доступен запуск через ONNX Runtime на Python. README не указывает поддерживаемые языки, максимальную длину контекста, дополнительные модальности или результаты бенчмарков. К сильным сторонам относятся относительно небольшой размер, переносимость формата ONNX и возможность локального запуска, в том числе с WebGPU и квантизацией. Ограничения производительности, качества, языкового покрытия и контекстного окна в предоставленных данных не описаны, поэтому их нельзя оценить по README. Модель распространяется по лицензии Gemma.

mlx-community/gemma-3-1b-it-qat-4bit — языковая модель для генерации текста, созданная на основе google/gemma-3-1b-it и преобразованная сообществом mlx-community в формат MLX. Модель предназначена для диалоговых и других сценариев, связанных с текстовой генерацией, и поддерживает использование через библиотеку mlx-lm на совместимом оборудовании Apple MLX. Модель содержит около 1 миллиарда параметров, является instruction-tuned и использует 4-битное QAT-квантование. В карточке указана только текстовая модальность; сведения о поддерживаемых языках и размере контекстного окна не приведены. Ключевое преимущество — компактность и возможность локального запуска в оптимизированном формате MLX, однако небольшой размер и 4-битное квантование могут ограничивать качество и точность по сравнению с более крупными или полноразмерными моделями. Для доступа требуется принять лицензию Google Gemma на Hugging Face. Модель была конвертирована с использованием mlx-lm версии 0.22.5.

hudlow/gemma-3-270m-mlx-fp16 — текстовая модель семейства Gemma 3, преобразованная из google/gemma-3-270m в формат MLX с помощью mlx-lm 0.31.2. В метаданных архитектура указана как плотная причинная языковая модель Gemma3ForCausalLM размером 257 млн параметров; базовая модель рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования в приложениях, работающих с MLX. Компактный размер подходит для локального запуска на совместимом оборудовании Apple. README описывает преобразование, но не сообщает о специализированном дообучении или оценках качества. Репозиторий распространяется по лицензии Gemma. Языки и ограничения по применению в предоставленных материалах подробнее не описаны.

MaziyarPanahi/gemma-3-4b-it-GGUF — набор файлов модели в формате GGUF для Google Gemma 3 4B Instruct, разработанной Google и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие инструменты экосистемы GGUF. Известно, что доступны варианты квантизации с разрядностью от 2 до 8 бит. Формат GGUF разработан командой llama.cpp как замена устаревшему GGML и поддерживает запуск с ускорением на GPU, а в некоторых инструментах — совместимые API и интеграцию с фреймворками. Эти варианты позволяют выбирать компромисс между размером файлов, требованиями к памяти и качеством, однако README не содержит точных сведений об архитектуре, контекстном окне, языках, модальностях и характеристиках производительности модели. Основные преимущества — возможность локального развертывания, широкий выбор уровней квантизации и поддержка несколькими популярными клиентами. Ограничения связаны с потерями качества, возможными при квантизации, а также зависимостью от конкретного рантайма и аппаратной конфигурации. Лицензия в README не указана.

ark4004/gemma3.8-fn-jh — модель, опубликованная пользователем ark4004 на Hugging Face для генерации текста. В метаданных указаны библиотека Transformers, conversational-режим и теги text-generation и image-text-to-text, поэтому модель может применяться для диалогового взаимодействия и задач генерации текста с учётом визуального ввода, если это поддерживается самим checkpoint и конфигурацией.

PollardWeights/gemma-4-12B-it-Pollard — квантизированная GGUF-версия модели google/gemma-4-12B-it, подготовленная PollardWeights с использованием llama.cpp и метода Pollard Weights. Модель содержит около 11,9 млрд параметров, использует архитектуру gemma4_unified и предназначена для генерации текста и диалоговых сценариев. Она поддерживает текстовые, визуальные и аудиовходы; заявленный язык — английский. В README приведены измерения качества при контексте 2048 токенов, но максимальная длина контекста не указана. Модель рассчитана на локальный запуск в llama.cpp и совместимых приложениях, включая Ollama, LM Studio, koboldcpp, Jan и ramalama. Доступны варианты с разным соотношением размера и точности: IQ2_XXS размером 4,64 ГБ, IQ4_XS размером 6,78 ГБ и Q6_K размером 9,65 ГБ. Квантизация использует распределение битов по чувствительности отдельных слоёв и калибровку imatrix, что позволяет существенно уменьшить требования к памяти; наиболее точным из представленных вариантов является Q6_K, а IQ2_XXS — самым компактным, но с заметно более высоким perplexity. Ограничения включают снижение качества по сравнению с f16, отсутствие данных о широком тестировании и проверку измерений на одной машине. Распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

gemma-4-26B-A4B-it-Uncensored-MAX-GGUF — это GGUF-версия модели, разработанной prithivMLmods на базе google/gemma-4-26B-A4B-it. Модель представляет собой модифицированную версию Gemma с уменьшенным уровнем встроенных отказов от ответа: для этого применялись анализ направлений отказа и методы abliteration. Заявлено сохранение возможностей рассуждения и следования инструкциям исходной архитектуры. Модель предназначена для генерации текста, подробных ответов, выполнения инструкций, исследовательских и обучающих сценариев, а также агентских задач. Указана поддержка обработки изображений и текста; заявлен английский язык. Архитектура описана как MoE, размер — 26 млрд параметров. Доступны файлы GGUF в форматах BF16, F16, F32 и Q8_0, а также отдельные mmproj-файлы для мультимодальной обработки. Сведения о размере контекстного окна и точных характеристиках MoE-компонентов не приведены. К сильным сторонам относятся сниженная склонность к отказам, ориентация на подробные ответы, рассуждение и следование инструкциям. Ограничением является потенциально повышенный риск генерации небезопасного или незаконного содержания из-за уменьшенных защитных механизмов; использование осуществляется на риск пользователя. Модель предоставляется по лицензии Apache-2.0 и заявлена авторами для исследовательских и учебных целей.

gemma-4-31B-it-MLX-5bit — это 5-битная квантованная версия инструкционной модели gemma-4-31B-it, разработанной Google. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на устройствах с Apple Silicon. В карточке указана модальность image-text-to-text, поэтому модель предназначена для обработки текста и изображений с генерацией текстовых ответов. Модель подходит для локального использования в LM Studio и совместимых приложениях, включая диалоговые сценарии, анализ изображений и выполнение инструкций. Квантование снижает требования к памяти по сравнению с полной версией и может упростить запуск на Apple Silicon, однако может уменьшать точность относительно исходной модели. В README не указаны размер контекста, поддерживаемые языки, результаты тестирования и точные требования к памяти, поэтому оценить эти характеристики невозможно. Лицензия указана как Apache 2.0.

OsaurusAI подготовила конвертированный MLX-пакет JANG_4M на основе мультимодальной Gemma 4 31B Instruct QAT от Google. Это плотная модель Gemma4ForConditionalGeneration с 60 текстовыми слоями, предназначенная для диалогов, генерации текста и анализа изображений в совместимой среде MLX или vMLX на Apple Silicon. Карточка сохраняет обработку изображений, но не заявляет поддержку аудио для этого варианта. Веса используют смешанную аффинную квантизацию: эмбеддинги, выходная проекция, нормализации и компоненты обработки медиа сохранены в FP16, проекции внимания и маршрутизатор MoE — в 8 битах, а основная часть MLP и экспертов — в 4 битах. Для запуска требуется загрузчик Gemma 4, совместимый с MLX и понимающий параметры quantization, jang_config.json, процессор и шаблон чата. Лицензия — Gemma.

MaziyarPanahi/gemma-7b-GGUF — это набор файлов модели Gemma 7B в формате GGUF, созданной Google и преобразованной в GGUF-квантизированные варианты пользователем MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. В README указано только, что это модель размером 7B с текстовой модальностью; сведения о поддерживаемых языках, длине контекста и точной архитектуре не приведены. К сильным сторонам относятся широкий выбор уровней квантизации и совместимость с популярными средствами локального инференса, включая запуск с ускорением на GPU. Более агрессивная квантизация может снижать качество по сравнению с исходной моделью, а для работы требуются подходящий клиент и ресурсы, зависящие от выбранного варианта. Указана лицензия other, но её конкретные условия в README не раскрыты.

CorticalStack/gemma-7b-ultrachat-sft — языковая модель на архитектуре Gemma, дообученная методом supervised fine-tuning на наборе диалогов UltraChat с использованием LoRA. Она предназначена для генерации ответов в чатах и ведения диалога. Модель содержит 8,2 млрд параметров и поддерживает контекст до 8192 токенов. Модель принимает текст и генерирует текст. В репозитории указаны веса в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает отдельные языковые специализации или ограничения качества.

Gemma-merged-2B-ties — объединённая модель семейства Gemma, созданная arcee-ai с помощью mergekit из google/gemma-2b и google/gemma-2b-it. Она предназначена для генерации текста и сочетает базовую и инструктивно настроенную версии Gemma. Модель имеет плотную архитектуру GemmaForCausalLM, около 2,5 млрд параметров и контекст до 8192 токенов; веса доступны в формате safetensors. Модель подходит для генерации продолжений текста и ответов в диалоге. В метаданных указана англоязычная базовая модель; подтверждений поддержки дополнительных языков нет. Лицензия — Apache-2.0. README описывает способ слияния TIES и параметры смешивания, но не приводит оценок качества или специальных ограничений.

GemmaX2-28-2B-v0.1 — модель машинного перевода на основе языковой модели Gemma2, разработанная Xiaomi. Она получена дообучением GemmaX2-28-2B-Pretrain на высококачественных инструкциях по переводу. Базовая модель прошла дополнительное предобучение на монолингвальных и параллельных данных для 28 языков. Модель предназначена для перевода текста между поддерживаемыми языками. Она имеет плотную архитектуру Gemma2ForCausalLM, содержит 2,7 млрд параметров и поддерживает контекст до 8192 токенов. Для загрузки используются Transformers и веса Safetensors; лицензия — Gemma. Модель рассчитана на 28 языков, включая русский, английский, китайский, арабский, хинди, японский и другие. Карточка предупреждает, что качество перевода на языках вне этого списка не гарантируется. Указанная лицензия Gemma определяет условия использования.

GigaChat-20B-A3B-base — базовая языковая модель семейства GigaChat, представленная в работе о компактном русскоязычном моделировании с архитектурой смеси экспертов. Согласно карточке, её обучили с нуля специально для русского языка. Модель использует архитектуру MoE: из 20 млрд параметров при генерации активны около 3 млрд. В её устройстве применяются Fine-grained Experts и Shared Experts, Grouped Query Attention, Rotary Position Embeddings, RMSNorm и SwiGLU. Контекст составляет 131 072 токена; веса доступны в формате safetensors, для работы требуется Transformers версии 4.47 или новее. Модель предназначена для генерации текста и языковых задач, в том числе на русском и английском языках. В карточке приведены результаты англоязычных и русскоязычных тестов LM Evaluation Harness, но она не описывает отдельные специализированные сценарии применения. Лицензия — MIT. Карточка указывает на перезаливку весов в safetensors; метаданные классифицируют архитектуру как плотную DeepSeekForCausalLM, что расходится с описанием MoE в README.

Gigantes-v3-gemma2-9b-it — объединённая языковая модель, созданная разработчиком репозитория с помощью mergekit на основе Gemma 2 и нескольких инструктивных моделей. В состав объединения входят princeton-nlp/gemma-2-9b-it-SimPO, AXCXEPT/EZO-Humanities-9B-gemma-2-it, VAGOsolutions/SauerkrautLM-gemma-2-9b-it, anthracite-org/magnum-v4-9b и silma-ai/SILMA-9B-Instruct-v1.0; применён метод task arithmetic. Модель предназначена для диалоговой генерации текста. Автор рассчитывал, что сочетание японской, немецкой и арабской инструктивных моделей улучшит рассуждения и усложнит генерацию на английском языке. Это плотная модель Gemma 2 на 9 млрд параметров с контекстом до 8192 токенов, доступная в формате safetensors и рассчитанная на работу через Transformers. Метаданные указывают возможность чата, но не дают оснований считать заявленные улучшения подтверждёнными оценками. Модель распространяется по лицензии Gemma; перед применением следует соблюдать её условия. Карточка не описывает специальные ограничения по качеству или безопасности.

glm46-code-feedback-maxeps-131k — дообученная модель на базе Qwen/Qwen3-8B, созданная с использованием набора данных open-athena/glm46-code-feedback-maxeps-131k. Это плотная авторегрессионная языковая модель с архитектурой Qwen3ForCausalLM и 7,6 млрд параметров, предназначенная для генерации текста в диалоговом режиме. Контекст модели составляет до 40 960 токенов. Модель может применяться для диалога и генерации кода; по названию набора данных можно предположить настройку на обратную связь по коду, но README не описывает конкретные возможности или результаты обучения. Доступна в формате Safetensors для библиотеки Transformers. Лицензия — Apache-2.0.

GLM-4.7-REAP-50-mxfp4 — языковая модель для генерации текста, опубликованная сообществом mlx-community. Она конвертирована в формат MLX из базовой модели 0xSero/GLM-4.7-REAP-50 с использованием mlx-lm версии 0.30.0. Модель предназначена для текстовой генерации и может использоваться в приложениях на базе MLX, включая диалоговые сценарии с применением chat template. В README она обозначена как разреженная MoE-модель с pruning и квантованием mxfp4. Точные размер модели, число экспертов, поддерживаемые языки и размер контекста не указаны. К сильным сторонам относятся совместимость с экосистемой MLX и возможность локального запуска через mlx-lm. Ограничения и результаты benchmark-тестов в README не приведены, поэтому качество генерации, производительность и область оптимального применения требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

MLX-совместимая 4-битная квантизованная версия GLM-5.3, преобразованная сообществом mlx-community из базовой модели zai-org/GLM-5.3-BF16 с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста и ориентирована на запуск на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; заявлено, что она комфортно помещается в такой конфигурации. Поддерживаемые языки — английский и китайский. Ключевое преимущество версии — стандартная 4-битная квантизация, которую авторы описывают как стабильную и быструю по сравнению с некоторыми альтернативными рецептами квантизации, склонными к избыточному обдумыванию и повторному пересмотру решений. Для работы используется библиотека MLX и пакет mlx-lm. Архитектура, точный размер модели, длина контекста, дополнительные модальности и результаты benchmark в README не указаны. Лицензия обозначена как other с названием glm-5.3; конкретные условия необходимо уточнять в лицензии исходной модели.

GLM-Edge-Chat-4B-GGUF — чат-модель семейства GLM, разработанная организацией zai-org. Она предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск на совместимом оборудовании через формат GGUF и адаптированную версию llama.cpp. Модель имеет размер около 4 миллиардов параметров и поддерживает китайский и английский языки. В README указана текстовая генерация; сведения о точной архитектуре, размере контекста, дополнительных модальностях и результатах тестирования отсутствуют. Формат GGUF и возможность использования аппаратного ускорения делают модель подходящей для периферийных устройств и локальных приложений, однако требования к ресурсам и фактическая производительность зависят от выбранной квантованной версии и оборудования. Использование весов регулируется лицензией GLM-4; подробные условия приведены в файле LICENSE. Для запуска требуется адаптированная версия llama.cpp, поскольку интеграция поддержки модели в официальную ветку на момент публикации README ещё выполнялась.

Модель gpt2_guanaco-dolly-platypus разработана Luiz G A Alves и представляет собой авторегрессионную языковую модель на архитектуре GPT-2, дообученную следовать инструкциям. Она предназначена для генерации текста в ответ на запросы и может использоваться как основа для дальнейшей настройки под прикладные задачи. Модель обучалась на наборах OpenAssistant Guanaco, Databricks Dolly 15k и Open-Platypus; заявленный язык — английский. Модель работает с текстом и имеет контекст длиной 1024 токена. В README приведены сравнительные результаты на нескольких тестах: среднее значение для модели выше базового GPT-2, однако на HellaSwag базовая модель показывает лучший результат. Модель не проходила обширную проверку, может выдавать недостоверные сведения и содержит неотфильтрованный контент из интернета. Лицензия — MIT.

Mungert/gpt-oss-20b-Derestricted-GGUF — это GGUF-версия модифицированной модели gpt-oss-20b, разработанной Arli AI на базе открытой модели OpenAI. Модель предназначена для генерации текста, локального и специализированного использования, задач рассуждения и агентных сценариев, где требуется снизить выраженность стандартных отказов модели. При этом заявленная цель модификации — сохранить качество рассуждений исходной модели. Базовая gpt-oss-20b содержит около 21 млрд параметров, из которых примерно 3,6 млрд активны одновременно, и относится к моделям с архитектурой Mixture of Experts. Модель ориентирована на меньшую задержку и локальный запуск; README также указывает формат GGUF и генерацию с использованием llama.cpp. Для снятия отказов применён метод Norm-Preserving Biprojected Abliteration, который изменяет направляющие компонентов весов с сохранением их исходных норм. Дополнительно в процессе квантования отдельные важные слои переводятся в более высокую точность, что увеличивает размер файла, но может улучшать точность при низкой разрядности. Сильной стороной модели заявляется сочетание уменьшенного количества отказов, сохранённого качества рассуждений и удобства локального запуска в различных вариантах квантования. Ограничения включают возможные остаточные попытки подавлять отдельные запросы, зависимость качества и размера от выбранного GGUF-варианта, а также отсутствие в представленном README подробных данных о языках, длине контекста, результатах стандартизированных бенчмарков и точных системных требованиях. Лицензия указана как Apache-2.0.