Характеристики

Контекст: 32 764 токена
Параметры: 120 млрд
Архитектура: llama · dense
Опубликована: 25 мар 2024

Ссылки

Hugging Face arXiv 2203.05482

QueenLiz-120B

Noodlz

Генерация текстаТекст → текст6 профессий

Объединённая 120-миллиардная модель Llama для генерации текста с контекстом до 32 764 токенов.

67скачиваний за 30 дней3лайкавеса обновлены1 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

QueenLiz-120B — объединённая Noodlz языковая модель на архитектуре Llama с плотной причинной языковой моделью LlamaForCausalLM. Автор создал её как линейное слияние моделей alchemonaut/QuartetAnemoi-70B-t0.0001 и lizpreciatior/lzlv_70b_fp16_hf с помощью mergekit. Модель содержит 120,1 млрд параметров и рассчитана на контекст до 32 764 токенов.

Модель предназначена для генерации текста и может использоваться для диалогов, написания и продолжения текстов. Автор отмечает, что для запуска может потребоваться мощное оборудование. Доступны веса в формате safetensors; в карточке также упомянуты отдельные сборки GGUF Q4_K_M и iMat. Лицензия указана как non-commercial-research-only, поэтому коммерческое использование не разрешено.

Сценарии применения

генерация ответов в диалоге
написание и продолжение текстов
составление развернутых текстовых черновиков

Ограничения

Для запуска может потребоваться мощное оборудование; сведения о поддерживаемых языках и качестве модели не приведены. Лицензия ограничивает использование некоммерческими исследовательскими целями.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

My first ever successful merge: QueenLiz 120B

image/png

this is a linear merge of Quartet70B (https://huggingface.co/alchemonaut/QuartetAnemoi-70B-t0.0001) and Lzlv 70B (https://huggingface.co/lizpreciatior/lzlv_70b_fp16_hf)

Sharing it here so hopefully someone else with proper machine can try this out.

NOTE: Context Window should be 32K

My Q4KM GGUF here :https://huggingface.co/Noodlz/QueenLiz-120B-GGUF

Thanks to the Mad Skills by @mradermacher - a whole set of iMat quantized GGUF files here: https://huggingface.co/mradermacher/QueenLiz-120B-i1-GGUF/tree/main

base_model:

alchemonaut/QuartetAnemoi-70B-t0.0001
lizpreciatior/lzlv_70b_fp16_hf library_name: transformers tags:
mergekit
merge

output_folder

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the linear merge method.

Models Merged

The following models were included in the merge:

license: other license_name: non-commercial-research-only license_link: LICENSE

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: f4d323d