/ Модель
Каталог

Характеристики

Лицензия
Своя лицензия
Библиотека
transformers
Опубликована
24 ноя 2023

Ссылки

Hugging Face

ai1

deepnight-research
Генерация текстаТекст → текст

ai1 — заявленная DEEPNIGHT крупная языковая модель для диалогов, генерации текста, написания кода и автоматизации.

0скачиваний за 30 дней21лайквеса обновлены26 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ai1 — заявленная командой DEEPNIGHT языковая модель для генерации текста. В карточке авторы описывают её как модель с более чем 600 млрд параметров и контекстом 8 тысяч токенов; для работы указан Transformers, файлы представлены в формате safetensors. По описанию, модель обучали на корпусах веб-текстов и открытом коде, а затем дообучали на данных для логического рассуждения и понимания связей.

Авторы также заявляют поддержку вызова функций. Модель предназначена для диалогов, написания кода, ролевых сценариев и задач автоматизации; в README заявлены встроенная обработка запроса перед генерацией и учёт эмоционального тона беседы. Эти характеристики и сопоставление качества с GPT-4 являются заявлениями разработчиков, а не подтверждёнными результатами независимой оценки.

Доступ к модели на момент публикации карточки ограничен, поскольку команда продолжала проводить оценки. Лицензия обозначена как other; конкретные условия использования из доступных сведений установить нельзя.

Сценарии применения

  • генерация ответов в диалоге
  • написание и объяснение кода
  • выполнение задач автоматизации с вызовом функций
  • ролевые диалоги
  • логическое рассуждение по текстовому запросу

Ограничения

Заявления о качестве на уровне GPT-4 и других возможностях приведены разработчиками и не подтверждены независимой оценкой в карточке. Доступ к модели ограничен; условия лицензии other не раскрыты в предоставленных сведениях.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DEEPNIGHT ai1

The 600 Billion+ Parameter Model. Yes! We did this!

The second largest model in the world, right after GPT-4.

We at DEEPNIGHT have been working on this for quite some time. We have successfully built the second largest model called ai1 which comes with 600 Billion+ parameters.

ai1 can perform as good as GPT-4 and has a context-window of 8k tokens. ai1 was trained with a new approach where after training the model on a corpus of text from various sources including but not limited to:

  • RefinedWeb
  • Opensource code from GitHub
  • Common Crawl we fine-tuned the model on a huge dataset (generated manually and with automation) for logical understanding and reasoning. We also trained the model for function calling capabilities.

What is special about ai1?

ai1 works on a chaining methodology which is built-in. When it receives an input from the user, it tries to understand the input before acting on generation. It generates an instruction-based prompt internally and then works on generation of the response. Benefit of this? We'll just say the jobs of Prompt Engineering are over.

Unlike ChatGPT, GPT-4, Llama, and other models, ai1 doesn't require heavy prompt engineering to provide answers. The understanding-development phase in the model takes care of that.

What else?

  • performs as good as GPT-4
  • excels in automation tasks
  • can predict emotions of the user by the conversation (while understanding the input in Phase-1) resulting in better and curated generations.
  • has an understanding towards human-emotions which helps the model curate the content accordingly
  • excels in roleplays
  • excels in writing code
  • the model has a few global memory units which are used to store data away from the context-window. These memory units are mostly used to store the function schemas but in the end the model decides itself what to store in them.
  • if we consider how much would it cost, well, on an average $0.005 per 1000 tokens.

Future goals

We don't discuss that. Specially after seeing how SOME AI COMPANY ON THEIR DEV DAY just used the opensource research and publications to profit themselves... Hah.

Are we going to allow access?

Not for some time. We are still running evaluations and have a lot to learn about how this model can be made better.

Feel free to reach out to us at research@deepnight.tech

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов
dda5461

0 моделей

    Создать бенчмарк