Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
SHRDFU-7b Γ — языковая модель, разработанная maldv и дообученная на базе ammarali32/multi_verse_model. Это плотная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и экспериментов с улучшением рассуждений и решения задач; при дообучении использовался датасет maldv/crabcanon, а также настройка слоёв внимания и небольшое полное дообучение слоёв.
Модель поддерживает контекст до 32 768 токенов и рассчитана на английский язык. Распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
Сценарии применения
генерация английского текста по запросу
ответы на вопросы на английском языке
эксперименты с рассуждением языковой модели
решение текстовых задач на английском языке
Ограничения
Автор отмечает, что в использованном датасете есть как полезные, так и слабые примеры, а модель рассматривается как промежуточный эксперимент. Коммерческое использование ограничено лицензией CC BY-NC 4.0.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
Finetuned from model: ammarali32/multi_verse_model
Methodology: Targeting attention layers with peft to condition; then small full layer tuning; extending intelligence and problem solving w/ crabcanon
As I work on understanding how to layer information in to the model, this dataset has some good parts and bad. I think one or two more experiments and I move on.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров