Квантованная до 2 бит версия Llama 2 на 7 млрд параметров для более компактной генерации англоязычного текста.

Подходит для: локальный запуск генерации текста с меньшим объёмом памяти · продолжение англоязычного текста · zero-shot ответы на вопросы общего характера

Квантованная до 2 бит версия Llama 2 13B для компактной генерации и продолжения англоязычного текста.

Подходит для: продолжение англоязычных текстов · генерация ответов на текстовые запросы · запуск языковой модели при ограниченном объёме памяти

Квантизированная до 2 бит версия Meta-Llama-3-8B для компактной генерации английского текста с сохранением 16-битных активаций.

Подходит для: генерация английского текста при ограниченной памяти GPU · локальный запуск языковой модели с компактными весами · оценка perplexity на текстовых корпусах

Квантизированная до W4A16 версия Meta Llama 2 7B для генерации текста с уменьшенным размером весов.

Подходит для: генерация англоязычного текста · оценка языковой модели на бенчмарках · локальный запуск модели с 4-битными весами

Квантизованная до 4-битных весов версия Meta-Llama-3-8B для генерации английского текста с 16-битными активациями.

Подходит для: генерация английского текста · оценка качества языковой модели на тестах общего знания · запуск языковой модели с 4-битными весами