atom-27b-i1-GGUF

Модель относится к семейству Gemma и предназначена для генерации текста, диалоговых сценариев, чат-ботов, ролевого общения и задач, связанных с рассуждением и исследованием поведения и взаимодействия человека с ИИ. В метаданных указан английский язык и библиотека Transformers.

Модель имеет около 27 млрд параметров в исходной версии. README также описывает её как vision-модель, поэтому для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория. В данном наборе представлены варианты imatrix-квантизации с разными уровнями сжатия: от IQ1_S размером около 6,4 ГБ до Q6_K размером около 22,3 ГБ. В качестве сбалансированного варианта размера, скорости и качества рекомендован i1-Q4_K_S, а i1-Q4_K_M отмечен как быстрый и рекомендуемый.

Основное преимущество набора — возможность запуска крупной модели при существенно меньшем потреблении памяти, а imatrix-квантизация может обеспечивать лучшее качество по сравнению с сопоставимыми вариантами. Ограничения зависят от выбранного уровня квантизации: самые компактные варианты имеют низкое качество, тогда как более качественные требуют больше памяти. Контекстное окно, точный набор поддерживаемых языков, результаты оценки и практические системные требования в README не указаны. Лицензия исходной модели обозначена как Gemma; условия использования следует проверять в соответствии с лицензией Gemma и исходной моделью.