rombos_Llama-3-13B-Instruct

rombodawg/rombos_Llama-3-13B-Instruct — экспериментальная версия увеличенной модели на архитектуре Llama 3, опубликованная Rombodawg. Она создана преобразованием Meta-Llama-3-8B-Instruct из 8 млрд до примерно 13 млрд параметров с использованием методов, разработанных для Mistral-Evolved-11b-v0.1; непрерывное предварительное обучение и дообучение не проводились. Модель предназначена для диалоговой генерации текста. Карточка рекомендует использовать версию 2, поскольку в этой версии есть проблемы.

Модель содержит 12,7 млрд параметров, работает с форматом safetensors и имеет контекст до 8192 токенов. Автор сообщает, что при fp16 она, по результатам его тестирования, работает корректно, но при 4-битной квантизации через bitsandbytes возникают проблемы. В метаданных указана лицензия other; карточка не приводит дополнительных условий лицензии.