Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
weathermanj/llama3-40-layer-base — плотная авторегрессионная языковая модель семейства Llama 3, созданная с помощью mergekit из двух перекрывающихся диапазонов слоёв предварительно обученной Meta-Llama-3-8B. В конфигурации объединены слои 0–19 и 12–31, поэтому итоговая модель содержит 40 слоёв; метаданные указывают 9,2 млрд параметров и архитектуру LlamaForCausalLM. Модель распространяется в формате safetensors, базовый контекст составляет 8192 токена.
Модель предназначена для генерации текста продолжением входного текста. Базовая модель ориентирована на английский язык и код, но README не описывает отдельную специализацию или оценку качества итогового объединения. Указана лицензия исходной модели Meta-Llama-3-8B; условия использования следует сверять с лицензией этой базовой модели.
Сценарии применения
генерация продолжения текста
создание черновиков на английском языке
генерация фрагментов кода
эксперименты с объединением слоёв языковой модели
Ограничения
README не сообщает об оценках качества или тестировании результата слияния. Контекст ограничен 8192 токенами; применяются условия лицензии базовой модели Meta-Llama-3-8B.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель