tinyllama-oneshot-w4a16-group128-v2

Это модель генерации текста примерно на 1 млрд параметров, предназначенная прежде всего для проверки совместимости и производительности инструментов инференса, а не как самостоятельная специализированная прикладная модель.

В основе лежит TinyLlama — компактная decoder-only языковая модель проекта TinyLlama, разработанная как открытая модель с архитектурой и токенизатором, совместимыми с Llama 2. Обозначение W4A16 указывает на 4-битное представление весов и 16-битные активации, а group128 — на групповой размер 128 при квантовании; oneshot обозначает однопроходную схему квантования. Модель работает с текстом и относится к pipeline text-generation. Благодаря небольшому размеру и квантованию она рассчитана на ограниченные вычислительные ресурсы и более компактное хранение.

Сильные стороны — малый объём модели, совместимость с экосистемой Llama и потенциально сниженные требования к памяти. Ограничения включают небольшой размер, экспериментальный статус и возможную потерю качества из-за квантования; надёжные сведения о языковом охвате, точном размере контекста, целевых бенчмарках и характеристиках именно этой версии в доступных источниках не установлены. Лицензия для репозитория nm-testing в найденных данных явно не указана, поэтому условия использования этой конкретной версии нельзя достоверно определить.