Характеристики

Лицензия: Llama 3.1
Базовая модель: Meta-Llama-3.1-8B-Instruct
Опубликована: 27 июл 2024

Ссылки

Meta-Llama-3.1-8B-Instruct-128k-GGUF

Генерация текстаТекст → текст15 профессий

GPT4All-Community/Meta-Llama-3.1-8B-Instruct-128k-GGUF — это конвертированная и квантизированная GGUF-версия Meta-Llama-3.1-8B-Instruct.

1 237скачиваний за 30 дней12лайковвеса обновлены12 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель подготовлена пользователем 3Simplex для использования в GPT4All; для работы требуется GPT4All версии 3.1.1 или новее. Базовая модель разработана Meta, однако в README не указаны дополнительные сведения о разработчике исходной модели.

Модель предназначена для генерации текста и диалоговых сценариев с системными и пользовательскими сообщениями. Заявлена длина контекста до 131 072 токенов, что позволяет обрабатывать длинные документы и продолжительные диалоги. Известно, что модель содержит 8 миллиардов параметров и использует инструкционную настройку, но сведения о поддерживаемых языках и модальностях отсутствуют.

К преимуществам относятся большой контекст и возможность локального использования через GPT4All. Модель не является официально курируемой и поддерживаемой Nomic: в README указано, что требуется дополнительное тестирование и обратная связь, поэтому качество и стабильность следует оценивать в конкретных задачах. Лицензия обозначена как llama3.1; перед использованием необходимо ознакомиться с её условиями.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

[!NOTE] This is a model that is assumed to perform well, but may require more testing and user feedback. Be aware, only models featured within the GUI of GPT4All, are curated and officially supported by Nomic. Use at your own risk.

About

Model converted and quantized by: 3Simplex. GPT4All v3.1.1 required.

image/png

Prompt Template

<|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|>

<|start_header_id|>user<|end_header_id|>

{user_input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{assistant_response}

128k Context Length

"llama.context_length": 131072

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 350b6d7