/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
15,8 млрд
Размер весов
31,9 ГБ
Лицензия
Apache 2.0
Архитектура
llama · dense
Опубликована
22 апр 2024

GALAXY-16B-v1.0

Генерация текстаТекст → текст6 профессий

GALAXY-16B-v1.0 — 16-миллиардная разговорная модель Llama для генерации текста и диалогов с контекстом до 4096 токенов.

20скачиваний за 30 дней1лайквеса обновлены24 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GALAXY-16B-v1.0 — разговорная языковая модель на архитектуре Llama, опубликованная TeeZee. Она создана расширением глубины модели: в карточке указана последовательность Mistral (32 слоя) → SOLAR (48 слоёв) → GALAXY (72 слоя). Модель содержит около 15,8 млрд параметров и поддерживает контекст до 4096 токенов.

Модель предназначена для генерации текста и диалогов по шаблону Alpaca; шаблон чата встроен в конфигурацию токенизатора. В обучающих данных есть наборы для предпочтений и диалогов, включая данные ролевых сценариев с контентом для взрослых. Автор прямо предупреждает, что модель может генерировать NSFW-контент. Результаты оценки качества на момент создания карточки ожидались.

Модель опубликована под лицензией Apache-2.0. В доступной карточке не приведены результаты бенчмарков, поэтому качество для конкретных задач следует проверять отдельно.

Сценарии применения

  • генерация ответов в диалоговом интерфейсе
  • создание текстов по инструкциям в формате Alpaca
  • ролевые диалоги и художественные сценарии
  • генерация контента для взрослых

Ограничения

Автор указывает, что модель может генерировать NSFW-контент; результаты оценки качества в README ещё ожидались. Контекст ограничен 4096 токенами.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GALAXY-16B-v1.0

image/png

Technical notes

  • 72 layers,DUS procedure, mistral(32)->SOLAR(48)->GALAXY(72)
  • 16B parameters
  • model created as an extension of depth upscaling procedure used for SOLAR by upstage

Results

  • model can and will produce NSFW content
  • waiting for eval results

Prompt template

  • Alpaca
  • chat template is embedded in tokenizer config, should load automatically

Context size

  • 4096

All comments are greatly appreciated, download, test and if you appreciate my work, consider buying me my fuel:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
a5585d4

0 моделей