II.6Документация и сопровождение разработки

Gemma 1.1 2B Instruct — языковая instruction-tuned модель Google, представленная в формате GGUF. Квантизацию выполнил bartowski на основе llama.cpp. Модель содержит около 2 миллиардов параметров и предназначена для текстовой генерации и работы с инструкциями. Модель подходит для диалогов, ответов на вопросы, творческих задач, многошагового общения, программирования, автодополнения и других универсальных сценариев. По сравнению с первоначальной версией Gemma заявлены улучшения качества ответов, работы с кодом, фактической точности, следования инструкциям и многораундового диалога. Небольшой размер делает её подходящей для устройств с ограниченными ресурсами и обеспечивает быстрый отклик. Сильной стороной модели являются связные, подробные и преимущественно образовательные ответы. При этом стиль может быть менее разговорным, чем ожидается, а результаты генерации кода требуют проверки: в приведённом примере присутствует ошибка порядка объявления функций. Системные промпты модель не поддерживает; используется шаблон Google Gemma Instruct. Сведения о поддерживаемых языках и размере контекста в README не указаны. Для доступа к исходной модели на Hugging Face требуется принять лицензию Google Gemma; в карточке указана лицензия gemma. Дата выпуска в метаданных — 5 апреля 2024 года.

Gemma-2-27B-it-SimPO-37K-100steps-GGUF — набор GGUF-квантизаций модели AALF/gemma-2-27b-it-SimPO-37K-100steps, подготовленный пользователем bartowski с помощью llama.cpp и imatrix. Это текстовая instruction-tuned модель для генерации ответов по запросам, диалога и других задач обработки текста; запуск предусмотрен через llama.cpp и совместимые приложения, включая LM Studio. Модель имеет заявленный размер 27 млрд параметров и поставляется в вариантах от F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Более точные варианты обеспечивают лучшее сохранение качества, но требуют больше памяти; компактные варианты подходят для систем с ограниченным объёмом RAM, при этом качество снижается. Для ARM доступны специальные варианты Q4_0, требующие поддержки соответствующих инструкций процессора. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности и результаты оценивания. К сильным сторонам относятся широкий выбор размеров файлов, возможность локального запуска и применение imatrix-квантования, а также наличие высококачественных вариантов Q6_K_L и Q6_K. Ограничения связаны с существенными требованиями к памяти у крупных вариантов и неизбежной потерей качества при сильном квантовании; сравнительные показатели и область наилучшего применения не приведены. Модель распространяется по лицензии Gemma.

Это квантизированная GGUF-версия текстовой генеративной модели gemma-2-27b-it-SimPO-37K, созданная пользователем bartowski на основе AALF/gemma-2-27b-it-SimPO-37K. Квантизация выполнена с помощью llama.cpp b3615 и метода imatrix; модель предназначена для запуска локально, в том числе через LM Studio. Модель относится к семейству Gemma 2 и имеет размер 27B параметров. Она работает с текстом и предназначена для генерации ответов в диалоговом формате с использованием специального шаблона prompt format Gemma. В README не указаны поддерживаемые языки, размер контекстного окна и точные сведения об архитектуре или исходном обучении, поэтому эти характеристики нельзя надежно определить. Доступно множество вариантов квантизации от F16 до Q2_K и IQ2_M, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Варианты Q6_K и Q6_K_L описаны как близкие к исходному качеству, а Q4_K_M — как компромиссный вариант. Более сильная квантизация экономит память, но снижает качество; самые компактные варианты характеризуются как низкокачественные. Модель распространяется по лицензии Gemma.

unsloth/gemma-2-2b — версия Gemma 2 от Unsloth, подготовленная для дообучения и текстовой генерации. Модель имеет плотную архитектуру Gemma2ForCausalLM и содержит 2,7 млрд параметров; репозиторий использует формат safetensors. В README также указано, что модель квантизирована до 4 бит с помощью bitsandbytes. Модель предназначена для генерации текста, включая диалоговые сценарии и продолжение произвольного текста, а также для дальнейшего дообучения. Она принимает текст и выдаёт текст, поддерживает английский язык и имеет контекстное окно 8192 токена. README описывает ноутбуки Unsloth для дообучения Gemma 2, в том числе на Google Colab. Unsloth позиционирует свои инструменты как способ ускорить дообучение и снизить расход памяти; эти показатели относятся к процессу обучения и не гарантируют качество конкретного результата генерации. Модель распространяется по лицензии Gemma; применяйте её с учётом условий этой лицензии.

Gemma 2 2B Instruct — компактная языковая модель Google из семейства Gemma, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантизацию выполнил bartowski на основе релиза llama.cpp b3496. Модель предназначена для генерации текста и диалоговых сценариев общего назначения, а также может использоваться для автодополнения и черновой генерации на устройствах с ограниченными ресурсами и низким энергопотреблением. Модель содержит около 2 миллиардов параметров и обучена на 2 триллионах токенов, включавших веб-документы, программный код и математические материалы. Она поддерживает работу с текстом; в README отдельно отмечены крупный словарь Gemma 2, потенциальные преимущества для многоязычных задач и программирования, однако точный список языков и размер контекстного окна не указаны. Для корректного диалога требуется шаблон Google Gemma Instruct; системный промпт не поддерживается. Сильными сторонами модели являются небольшой размер, пригодность для локального запуска и специализация на общих текстовых, кодовых и математических задачах. Ограничениями выступают меньшая емкость по сравнению с крупными моделями, отсутствие мультимодальности и неподдержка системных инструкций; модель также может генерировать неточные, вредные или неуместные ответы. Доступ регулируется лицензией Google Gemma: на Hugging Face требуется ознакомиться с условиями и принять лицензию.

ayoubkirouane/gemma-2-9b-alpaca-small-Instruct — текстовая генеративная модель на базе Google Gemma 2 9B, дообученная на наборе ayoubkirouane/Small-Instruct-Alpaca_Format. Она предназначена для диалоговых сценариев и выполнения инструкций в формате Alpaca: модель получает текстовый запрос и генерирует текстовый ответ. Модель имеет плотную архитектуру Gemma2ForCausalLM, содержит 9 млрд параметров и поддерживает контекст до 8192 токенов. В карточке указана английская локализация. Модель распространяется в формате PyTorch и загружается через Transformers. Указана лицензия Gemma; перед использованием следует соблюдать её условия. Карточка не приводит результаты оценивания качества, поэтому пригодность модели для конкретных задач стоит проверять на собственных примерах.

QuantFactory/gemma-2-9b-it-DPO-GGUF — квантизированная версия модели princeton-nlp/gemma-2-9b-it-DPO, созданная с использованием llama.cpp. Исходная модель разработана Yu Meng, Mengzhou Xia и Danqi Chen на базе google/gemma-2-9b-it и дообучена на наборе предпочтений princeton-nlp/gemma2-ultrafeedback-armorm с целевой функцией DPO. Это каузальная языковая модель для генерации текста и диалоговых сценариев, включая ответы на пользовательские запросы и задачи, где важны качество и соответствие человеческим предпочтениям. Архитектура, размер и контекст у квантизированной версии в README не указаны отдельно; известно, что она основана на Gemma 2 9B Instruct. Модель является текстовой и поддерживает генерацию текста; перечень языков не приведён. Обучение на предпочтениях улучшило показатели исходной модели в ряде оценок, включая AE2 и AH, при сопоставимых результатах на GSM и MMLU, однако отдельные метрики, такие как MMLU, не выросли. Квантизация может снизить требования к памяти и упростить локальный запуск, но её влияние на качество и характеристики не раскрыто. Лицензия указана как gemma. Для обучения использовались 8 GPU H100; параметры запуска и совместимость зависят от конкретного GGUF-файла и среды llama.cpp.

qwp4w3hyb/gemma-2-9b-it-iMat-GGUF — набор GGUF-квантизованных вариантов модели Google Gemma 2 9B IT, подготовленных на основе google/gemma-2-9b-it. Модель предназначена для генерации текста и локального запуска через llama.cpp; доступно множество уровней квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты с суффиксом _L. Для квантизации использовалась importance matrix (imatrix), призванная снизить потери качества по сравнению с обычной квантизацией. Модель имеет размер около 9 миллиардов параметров, поддерживает текстовый ввод и вывод и ориентирована на английский язык. В сборке учтены исправления llama.cpp, связанные с final logit soft capping, sliding window и токенизатором; конкретный размер контекстного окна в данных не указан. Разные уровни квантизации позволяют выбирать компромисс между качеством, потреблением памяти и скоростью, однако более компактные варианты могут заметнее терять качество. Лицензия указана как gemma; дополнительные условия использования в README не приведены.

Gemma-2-9B-It-SPPO-Iter3-GGUF — квантизированная версия языковой модели Gemma-2-9B-It-SPPO-Iter3, опубликованная UCLA-AGI и подготовленная в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, включая диалоговые и другие сценарии применения текстовых LLM. Обучение или дообучение связано с датасетом openbmb/UltraFeedback. Модель содержит около 9 миллиардов параметров и поддерживает английский язык. Доступны варианты от F32 до низкобитных квантований Q2 и IQ2, размером примерно от 3,43 до 36,97 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp b3389; варианты Q6 и Q5 позиционируются как обеспечивающие очень высокое качество, а Q4 — как компромисс между качеством и требованиями к памяти. README не указывает размер контекста и модальности, поэтому эти характеристики неизвестны. Для работы требуется соблюдать формат prompt, основанный на специальной разметке ролей Gemma. Модель не поддерживает system prompt. Качество и требования к памяти зависят от выбранного варианта квантования: более компактные файлы экономят ресурсы, но могут заметно снижать качество. Лицензия указана как gemma; конкретные условия её применения следует уточнять в документации Gemma.

MCZK/Gemma-2-9B-It-SPPO-Iter3-GGUF — это версия модели Gemma-2-9B-It-SPPO-Iter3, разработанной UCLA-AGI, преобразованная в формат GGUF. Модель предназначена для генерации текста и диалоговых сценариев с использованием instruction-tuned версии Gemma 2. В метаданных указан английский язык и набор данных openbmb/UltraFeedback. Модель имеет около 9 млрд параметров; исходная архитектура относится к семейству Gemma 2, а вариант SPPO-Iter3, согласно идентификатору, получен на третьей итерации оптимизации методом SPPO. Для K-квантизованных вариантов применена iMatrix-квантизация. Текст iMatrix подготовлен на основе c4_en_ja_imatrix.txt из набора TFMC/imatrix-dataset-for-japanese-llm. Формат GGUF подходит для локального запуска в совместимых инструментах, однако конкретные требования к памяти, размер контекста, поддерживаемые модальности и результаты бенчмарков в README не указаны. Лицензия обозначена как gemma. README не содержит подробностей о сильных сторонах, ограничениях, допустимых сценариях коммерческого использования или точных параметрах отдельных вариантов квантизации, поэтому эти характеристики требуют дополнительной проверки.

MaziyarPanahi/gemma-3-12b-it-GGUF — это набор файлов модели в формате GGUF для Google Gemma 3 12B IT. Исходную модель разработала Google, а квантованные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в сценариях взаимодействия с инструкциями. Главная особенность репозитория — представление модели в формате GGUF, совместимом с llama.cpp и рядом локальных приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Доступны варианты с квантованием от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества, однако конкретные характеристики каждого варианта в README не приведены. К сильным сторонам относятся поддержка распространённого формата для локального запуска, возможность GPU-ускорения и широкий выбор уровней квантования. Ограничения связаны с потерями качества, возможными при агрессивном квантовании, а также с отсутствием в предоставленных данных сведений о поддерживаемых языках, размере контекста, модальностях и точных требованиях к оборудованию. Лицензия в README не указана.

Gemma-3-1b-it-GGUF — квантизированная GGUF-версия модели gemma-3-1b-it, разработанной Google и подготовленной в квантизированном виде компанией Second State Inc. Это инструкционно настроенная модель генерации текста, предназначенная для диалогов, обработки пользовательских запросов и запуска локальных приложений и сервисов, включая LlamaEdge. Поддерживается контекст размером до 32 000 токенов. Сведения о языках, мультимодальности и точной архитектуре в README не указаны. Модель доступна в вариантах квантования от Q2_K до Q8_0, а также в формате f16, с размером файлов примерно от 689 МБ до 2,01 ГБ. Вариант Q4_K_M рекомендован как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более низкие уровни квантования уменьшают требования к ресурсам, но могут существенно снижать качество; README отдельно указывает, что Q2_K и некоторые Q3- и Q4-варианты имеют значительные потери. Для использования заявлена лицензия Gemma.

duyntnet/gemma-3-1b-it-imatrix-GGUF — набор GGUF-квантизаций модели Gemma 3 1B IT, основанной на открытой модели Google Gemma 3 1B instruction-tuned. Репозиторий подготовлен для запуска через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, text-generation-webui, Jan, GPT4All, LM Studio и другие интерфейсы. Модель предназначена для генерации текста, диалогов, ответов на вопросы, суммаризации и рассуждений. Gemma 3 поддерживает текстовые и графические входы с генерацией текста; для версии 1B заявлено контекстное окно до 32K токенов, а максимальный объём генерируемого вывода составляет 8192 токена. Модель поддерживает более 140 языков, однако в карточке отдельно указан английский язык. Изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. Ключевое преимущество — небольшой размер, позволяющий развёртывать модель на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ограничения связаны с компактным размером 1B, который может уступать более крупным моделям в сложном рассуждении и качестве генерации, а также с необходимостью использовать llama.cpp версии b4875 или новее для запуска GGUF-файлов. В карточке указана лицензия other; дополнительные условия лицензирования не приведены.

unsloth/gemma-3-270m-it-GGUF — GGUF-версия инструкционно дообученной модели google/gemma-3-270m-it, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов и задач рассуждения, а также может использоваться локально на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Это компактная модель семейства Gemma 3 с размером 270M параметров и поддержкой текстовых и, согласно общей карточке Gemma 3, визуальных входных данных при генерации текста. Для вариантов 270M заявлено контекстное окно до 32K токенов на запрос, включая вход и доступный объём вывода. Семейство поддерживает более 140 языков, однако конкретные языки и возможности именно этой версии отдельно не уточнены. Данные обучения имеют отсечку знаний августом 2024 года. К сильным сторонам относятся небольшой размер, возможность локального развёртывания и открытые веса; компактность может быть полезна при ограниченных ресурсах. Ограничения связаны с меньшей ёмкостью модели по сравнению с крупными вариантами Gemma 3, а также с тем, что README не содержит отдельных оценок качества для данной GGUF-квантизации и не уточняет её параметры квантизации. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

Gemma-3-27B-Derestricted-i1-GGUF — квантизированная версия модели Nabbers1999/Gemma-3-27B-it-NP-Abliterated, подготовленная и опубликованная mradermacher. Модель предназначена для генерации текста и диалоговых сценариев; в README она также обозначена как vision-модель, поэтому может обрабатывать изображения при наличии совместимого mmproj-файла. Указан английский язык. Модель основана на Gemma 3 с 27 млрд параметров и поставляется в формате GGUF, включая варианты квантизации i1 и imatrix. Доступны уровни от IQ1_S до Q6_K размером примерно от 6,4 до 22,3 ГБ. Квантизации различаются компромиссом между размером, скоростью и качеством: низкие уровни требуют меньше памяти, но могут заметно снижать качество, тогда как i1-Q4_K_S отмечен как оптимальный по соотношению размера, скорости и качества, а i1-Q4_K_M — как быстрый и рекомендуемый вариант. Сильными сторонами являются большой размер базовой модели, поддержка текстовых и визуальных сценариев и широкий выбор квантизаций для локального запуска. Ограничения включают возможное снижение качества при агрессивной квантизации, необходимость совместимого программного обеспечения для GGUF и mmproj-файла для обработки изображений. Лицензия указана как gemma; конкретные условия следует проверять в лицензии Gemma.

pytorch/gemma-3-27b-it-FP8 — модель, разработанная PyTorch и полученная квантованием google/gemma-3-27b-it. Это instruction-tuned модель для генерации текста в формате диалога, ответов на вопросы и общего языкового взаимодействия. README также указывает возможность мультимодальной оценки на задаче ChartQA, однако подробные сведения о поддерживаемых типах входных данных не приведены. Модель использует квантование FP8 с динамическими активациями и весами FP8; размер базовой модели составляет 27B параметров. Указан английский язык. Доступны режимы с рассуждением и без него, а для запуска предусмотрена интеграция с vLLM и Transformers. В приведённых проверках версия FP8 показала близкие к исходной модели результаты: 76,20 против 76,48 на MMLU и 51,32 против 51,80 на мультимодальном ChartQA. Для работы требуются актуальные версии vLLM, torchao или Transformers, а также GPU-окружение; README отмечает необходимость отключения compile cache в vLLM из-за проблем совместимости. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/gemma-3-27b-it-GGUF — это набор квантованных файлов модели Gemma 3 27B Instruct в формате GGUF. Исходную модель разработала Google, а конвертацию и публикацию квантованных версий выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Репозиторий содержит варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью работы и качеством ответов. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами; некоторые из них поддерживают ускорение на GPU и OpenAI-совместимый сервер. Ключевые сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Ограничения зависят от выбранного уровня квантования и используемого клиента. Лицензия для опубликованных файлов в предоставленных данных не указана.

mlx-community/gemma-3n-E4B-it-lm-bf16 — версия модели Google Gemma 3n E4B IT, подготовленная сообществом mlx-community для MLX. Репозиторий создан конвертацией из google/gemma-3n-E4B-it с помощью mlx-lm 0.25.2 и содержит веса safetensors в формате BF16. Модель предназначена для диалогов и генерации текста. Исходная Gemma 3n E4B IT — компактная мультимодальная модель Google, способная работать с аудио, изображениями и видео, однако метаданные этой версии подтверждают только задачу text-generation и возможность чата; другие задачи не следует считать подтверждёнными для данной сборки. Лицензия — Gemma. Для запуска в MLX README указывает библиотеку mlx-lm.

Мультимодальная инструкционная модель Gemma 4 Unified, созданная tepirale слиянием через Task Arithmetic на базе google/gemma-4-12B-it и двух производных моделей, ориентированных на программирование и агентные сценарии. Репозиторий содержит веса Safetensors и предназначен для диалогового использования; модель принимает текст и изображения и генерирует текстовые ответы. Слияние объединяет возможности исходной модели Google с направлениями coder и agentic. По данным карточки, модель поддерживает зрительные входы и относится к задаче image-text-to-text; базовая Gemma 4 также описана как мультимодальная модель для диалога, анализа изображений, видео и аудио, а также генерации кода. README не приводит отдельной оценки качества или подробностей об используемых сценариях. Лицензия, размер параметров, поддерживаемые языки и длина контекста в предоставленных данных не указаны. Практические ограничения и качество объединённых возможностей не описаны; сведения о лицензии исходной модели не позволяют установить условия лицензирования этого репозитория.

Это дообученная модель Gemma 4 E2B IT, созданная armand0e на базе unsloth/gemma-4-E2B-it с помощью Unsloth и библиотеки TRL. Она предназначена для диалогового взаимодействия и представлена как дистилляция рассуждений Claude Opus; README сообщает об ускоренном обучении, но не описывает обучающие данные или методику дистилляции. Модель относится к семейству Gemma 4, имеет плотную архитектуру условной генерации и опубликована в формате safetensors. Метаданные указывают на интерфейс для чата и вызова инструментов, а также на задачу any-to-any. Лицензия — Apache-2.0. Подробности о размере, контексте и поддерживаемых языках в предоставленных данных отсутствуют.

mizydorczyk/gemma-4-e4b-it-ask — текстовая диалоговая модель на архитектуре Gemma4ForCausalLM, созданная автором репозитория объединением LoRA-адаптера mizydorczyk/gemma-4-e4b-it-ask-lora с текстовой частью google/gemma-4-E4B-it. Модель предназначена для генерации ответов в диалоге и работает с шаблоном чата Gemma 4. Веса представлены в формате safetensors; размер модели — 4,7 млрд параметров, контекст — до 131 072 токенов. Это текстовая настройка мультимодальной базовой модели: сама опубликованная модель принимает и генерирует текст, а функции обработки изображений и аудио из описания базовой модели здесь не заявлены. README указывает источники весов и шаблоны для вывода и обучения. Лицензия в предоставленных данных не приведена.

AKALI — языковая модель, опубликованная Ali Eren Ak и дообученная на базе google/gemma-2-2b-it с использованием фреймворка AKALI. В метаданных указаны архитектура Gemma 2 с плотной causal language model, 2,7 млрд параметров, контекст до 8192 токенов и поддержка диалогового режима. Модель работает с текстом и предназначена для генерации ответов и выполнения языковых задач. В карточке заявлены сценарии дополнения знаний, подготовки данных и интеграции в NLP-системы. Эффективность зависит от базовой модели, качества данных и выбранной задачи; автор отдельно отмечает возможные смещения в сгенерированных данных и отсутствие универсальной оценки. Указана проприетарная конфиденциальная лицензия, поэтому условия использования следует сверять с правообладателем.

Crystalcareai/gemma-mod — дообученная модель семейства Gemma с плотной архитектурой GemmaForCausalLM и 8,2 млрд параметров. По карточке, модель обучалась три эпохи на датасете MoD-150k и предназначена для генерации текста в широком круге сценариев. Контекст модели составляет 8192 токена; веса доступны в формате safetensors для использования через Transformers. Карточка позиционирует модель как эффективную и подходящую для ресурсов с ограниченными вычислительными возможностями, однако не приводит результатов оценки качества или конкретных специализаций. Лицензия в предоставленных данных не указана.

CrystalcareAI/Gemma-Selfdiscover — дообученная языковая модель семейства Gemma с архитектурой GemmaForCausalLM. Модель содержит 8,2 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Модель дообучена в течение трёх эпох на наборе Crystalcareai/Self-Discover-MM-Instruct-Alpaca и предназначена для генерации текста и ответов на инструкции. Карточка указывает на компактную и эффективную архитектуру, рассчитанную в том числе на сценарии с ограниченными вычислительными ресурсами. В репозитории представлены веса Safetensors. Лицензия в предоставленных данных не указана; сведения о языковой поддержке также отсутствуют.

GLM-5.3-Flash-MXFP4-Mixed-CT-AutoRound — квантизированная версия GLM-5.3-Flash, созданная Intel с помощью AutoRound в режиме RTN. Весы представлены в формате safetensors; квантизация MXFP4 применена к экспертным слоям MLP, а ряд других слоёв исключён из неё. Модель предназначена для генерации текста и диалогового общения. В README приведены результаты тестов GSM8K, MMLU, PIQA и HellaSwag: средний показатель MXFP4 составляет 99,61% от результата BF16 в описанной оценке. Модель поддерживает английский и китайский языки. В README указано, что ответы могут содержать фактические ошибки, предвзятость или оскорбительный контент, поэтому перед применением требуется оценить её безопасность и надёжность. Лицензия — MIT; README рекомендует следовать лицензии исходной модели.

RedHatAI/GLM-5.3-Flash-NVFP4 — квантизированная версия модели zai-org/GLM-5.3-Flash, разработанная RedHatAI. Модель использует архитектуру Glm5NextForConditionalGeneration, принимает текст и изображения и генерирует текст. Заявленные языки — английский и китайский. Размер модели и длина контекста в предоставленных данных не указаны. Веса и активации линейных операторов MoE-экспертов квантизированы в формат FP4 (NVFP4), а слои MTP сохранены в FP8. Квантизация выполнена с помощью LLM Compressor, модель экспортирована в формате compressed-tensors и предназначена для инференса через vLLM. По данным README, такое сжатие примерно на 50% уменьшает объём диска и требования к памяти GPU для квантизированных весов по сравнению с 8-битным представлением. Также заявлена поддержка speculative decoding и автоматического выбора инструментов при соответствующей настройке vLLM. Модель ориентирована на мультимодальные и текстовые сценарии генерации, включая задачи рассуждения. В приведённой оценке она показала 97,74% на GSM8K Platinum, 94,87% на MATH-500, 86,67% на AIME 2025 и 90,57% на GPQA Diamond; результаты усреднены по нескольким запускам. Ключевое преимущество — снижение потребления дисковой и GPU-памяти при сохранении возможностей исходной модели, однако FP4-квантизация может влиять на качество и требует совместимой инфраструктуры. Модель распространяется по лицензии MIT.

Intel/GLM-5.3-Flash-W4A16-AutoRound — это квантованная версия языковой модели GLM-5.3-Flash, разработанная Intel с использованием инструмента Intel Auto-Round в режиме Tuning. Базовая модель опубликована организацией zai-org. Модель предназначена для генерации текста и может применяться в задачах обработки естественного языка, включая работу с английским и китайским языками. В карточке указаны библиотека Transformers и тип задачи text-generation. Модель использует формат квантования INT4 по схеме W4A16, то есть веса представлены в 4-битном формате, а активации — в 16-битном. По приведённым тестам её средний результат составляет 0,8386 против 0,8399 у версии BF16, что соответствует 99,84% относительного качества; результаты также приведены для GSM8K, MMLU, PIQA и HellaSwag. Такое квантование потенциально снижает требования к памяти и облегчает развёртывание, однако README не содержит сведений о размере модели, архитектуре, длине контекста, поддерживаемых модальностях или системных требованиях. Модель может генерировать фактически неверные, предвзятые, оскорбительные или непристойные ответы, поэтому перед использованием необходимы тестирование безопасности и оценка пригодности для конкретного сценария. В карточке указана лицензия MIT, при этом рекомендуется соблюдать лицензию исходной модели; юридические условия коммерческого использования следует проверить отдельно.

minosu/godot_dodo_4x_60k_llama_7b — модель генерации текста, дообученная по инструкциям на основе LLaMA. Она разработана для выполнения пользовательских инструкций; в карточке отдельно упоминается оценка на запросах по программированию. Модель обучена в апреле 2023 года на наборе из 60 тысяч строк с инструкциями. Это плотная авторегрессионная архитектура LlamaForCausalLM объёмом 6,6 млрд параметров с контекстом 2048 токенов. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия Josiefied-Qwen3-14B-abliterated-v3, разработанной Goekdeniz-Guelmez. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска в LM Studio, llama.cpp и других совместимых проектах. В основе лежит модель Qwen3 размером 14 млрд параметров. Доступны варианты от BF16 до различных 8-, 6-, 5-, 4- и 3-битных форматов GGUF, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Размер файлов варьируется примерно от 8,11 до 29,54 ГБ. Для общения используется шаблон с ролями system, user и assistant через специальные токены ChatML. Сведения о поддерживаемых языках, длине контекста и мультимодальности в README не указаны; по представленным данным модель относится к текстовым. Сильной стороной являются многочисленные варианты квантизации, включая рекомендованные конфигурации с высоким качеством и более компактные варианты для систем с ограниченной оперативной памятью. Ограничения зависят от выбранного формата: более сильное сжатие уменьшает требования к ресурсам, но может снижать качество генерации. Лицензия в README не указана, поэтому условия использования необходимо уточнять в исходном репозитории модели Goekdeniz-Guelmez.

GPT4All-Falcon — языковая модель Nomic AI, дообученная на базе Falcon 7B на большом отобранном корпусе взаимодействий с ассистентом. Это плотная авторегрессионная модель архитектуры RefinedWebModel с 10,9 млрд параметров, предназначенная для генерации текста в диалоговом формате. Модель подходит для многошаговых диалогов, ответов на вопросы и генерации текстов, включая решение словесных задач, написание кода, стихов, песен и историй. В карточке заявлена поддержка английского языка. Для запуска используются Transformers и PyTorch; доступны веса в форматах PyTorch и Safetensors. Модель распространяется по лицензии Apache-2.0. Качество ответов может быть непоследовательным, а результаты по отдельным задачам зависят от формулировки запроса; карточка не приводит здесь подробных гарантий качества или ограничений.