/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
65 млрд
Размер весов
82,6 ГБ
Лицензия
Apache 2.0
Архитектура
falcon · dense
Опубликована
17 авг 2023

LosslessMegaCoder-Falcon-40b-mini

Генерация текстаТекст → текст9 профессий

Дообученная модель Falcon с 65 млрд параметров для генерации кода и диалогового текста.

94скачиваний за 30 дней2лайкавеса обновлены4 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LosslessMegaCoder-Falcon-40b-mini — языковая модель для генерации текста и кода, созданная Rombodawg в сотрудничестве с Andreaskoepf, аффилированным с Open Assistant. Это плотная авторегрессионная модель семейства Falcon с архитектурой FalconForCausalLM и примерно 65 млрд параметров. Модель дообучена на отфильтрованной версии датасета LosslessMegaCodeTrainingV2_1m_Evol_Uncensored; из выборки удаляли примеры короче 100 токенов. README указывает, что использованный набор данных отличается от LosslessMegaCodeTrainingV3_MINI.

Модель предназначена для генерации кода и диалогового взаимодействия в шаблоне ChatML; также приведены шаблоны для GPT4All и Text-Generation-WebUI. В репозитории представлены веса Safetensors. Карточка не сообщает поддерживаемые естественные языки и длину контекста. Лицензия — Apache-2.0. README отмечает ранний этап фильтрации обучающих данных и не приводит результатов оценки качества.

Сценарии применения

  • генерация фрагментов кода по запросу
  • помощь с написанием программного кода в диалоге
  • продолжение и дополнение исходного кода
  • текстовая генерация в формате ChatML

Ограничения

Обучающий набор прошёл только базовую фильтрацию: удалены примеры короче 100 токенов, а более тщательная фильтрация в карточке обозначена как будущая работа. Карточка не содержит оценок качества или сведений о длине контекста.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

  • Please note this model was not trained on the rombodawg/LosslessMegaCodeTrainingV3_MINI dataset, despite the name similarity. You can find the training data at the bottom of the model card labeled (megacode2-min100)

This is one of the first models trained on the LosslessMegaCodeTrainingV2_1m_Evol_Uncensored dataset. The version of the dataset used for this model was filtered by removed any data with less than 100 tokens but plans for much more refined filtering are in the works

  • This model was made as a colaboration between me and andreaskoepf who is an affiliate of Open Assistant.

Prompt template:

  • chatml format is used: "<|im_start|>system\n{system message}<|im_end|>\n<|im_start|>user\n{user prompt}<|im_end|>\n<|im_start|>assistant\n{Assistant answer}<|im_end|>\n"

multi-line:

<|im_start|>system
{system message}<|im_end|>
<|im_start|>user
{user prompt}<|im_end|>
<|im_start|>assistant
{Assistant answer}<|im_end|>

Gpt4all template:

  • System prompt
<|im_start|>system
"Below is an instruction that describes a task. Write a response that appropriately completes the request."
  • Prompt template
<|im_end|>
<|im_start|>user
"%1"<|im_end|>
<|im_start|>assistant

Oobagooba Text-Generation-Webui Template

  • user:
  <|im_start|>user
  {User string}<|im_end|>
  • bot:
  <|im_start|>assistant
  {Bot string}<|im_end|>
  • turn_template:
<|user|>\n<|user-message|>\n\n<|bot|>\n<|bot-message|>\n\n
  • context:
  <|im_start|>system
  Below is an instruction that describes a task. Write a response that appropriately completes the request.<|im_end|>

Current quantizations available:

  • (COMING SOON)

The link for the full dataset is bellow:

Link for the filtered dataset used to make this model are bellow:

The original posting for this model was uploaded at the link bellow.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
FalconForCausalLM
Ревизия весов
9de32ce

0 моделей