/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
19,8 млрд
Размер весов
39,8 ГБ
Архитектура
llama · dense
Базовая модель
Fimbulvetr-11B-v2
Библиотека
transformers
Опубликована
7 мая 2024

UnFimbulvetr-20B

Генерация текстаТекст → текст3 профессии

Экспериментальная модель Llama на 19,8 млрд параметров для генерации текста, полученная слиянием на основе Fimbulvetr-11B-v2.

15скачиваний за 30 дней0лайковвеса обновлены8 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

UnFimbulvetr-20B — экспериментальная плотная языковая модель семейства Llama примерно на 19,8 млрд параметров, созданная KaraKaraWarehouse с помощью mergekit. В карточке указано слияние методом passthrough на основе Sao10K/Fimbulvetr-11B-v2; модель предназначена для генерации текста. Для неё заявлено контекстное окно 4096 токенов, веса опубликованы в формате safetensors.

Автор характеризует модель как эксперимент для тестирования и предупреждает, что проверял её лишь ограниченно и не рекомендует использовать. Оценки качества не приводятся. Базовая Fimbulvetr-11B-v2 описана как англоязычная модель, но отдельные языковые возможности UnFimbulvetr-20B не подтверждены. Лицензия в предоставленных данных не указана.

Сценарии применения

  • эксперименты с генерацией текста
  • проверка поведения модели после слияния слоёв
  • тестирование исследовательских гипотез о слиянии языковых моделей

Ограничения

Автор предупреждает, что модель проверялась ограниченно и не рекомендует её использовать; результаты оценивания не приводятся. Контекст ограничен 4096 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

UnFimbulvetr-20B

Waifu to catch your attention

This is a merge of pre-trained language models created using mergekit.

NOTE: Only tested this just for a bit. YMMV.

Next Day Tests...

Downloaded the GGUF model that someone quantized... And... nope. No.

Do not use model.

Merge Details

Merge Method

This model was merged using the passthrough merge method.

Models Merged

The following models were included in the merge:

  • Sao10K/Fimbulvetr-11B-v2

Configuration

The following YAML configuration was used to produce this model:

slices:
  - sources:
    - model: FimbMagic
      layer_range: [0, 13]
  - sources:
    - model: FimbMagic
      layer_range: [8, 13]
  - sources:
    - model: FimbMagic
      layer_range: [12, 36]
  - sources:
    - model: FimbMagic
      layer_range: [12, 36]
  - sources:
    - model: FimbMagic
      layer_range: [36, 48]
  - sources:
    - model: FimbMagic
      layer_range: [36, 48]
merge_method: passthrough
dtype: bfloat16

Additional Notes

Fimbulvetr 11B is still a very good model. This model is for extreme trailblazers who wants to test stuff!

Eval results? Don't bother.

Last one before I sleep: I'm so sorry Sao10K...

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
cbea626

0 моделей