Характеристики

Лицензия: Llama 3.1
Базовая модель: Meta-Llama-3.1-8B-Instruct
Опубликована: 23 июл 2024

Ссылки

Meta-Llama-3.1-8B-Instruct-GGUF

Генерация текстаТекст → текст15 профессий

Meta Llama 3.1 8B Instruct GGUF — это квантизированная версия инструкционной языковой модели Meta Llama 3.1 с примерно 8 миллиардами параметров.

2 155скачиваний за 30 дней1лайквеса обновлены24 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Исходную модель разработала Meta, а данный вариант подготовлен для библиотеки GGUF и распространяется quantizer’ом brooketh; он предназначен для локального использования в приложениях на базе llama.cpp, включая Backyard AI.

Модель ориентирована на генерацию текста и диалоговые сценарии, в которых требуется следовать инструкциям. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный контекст составляет до 131 072 токенов. Формат GGUF позволяет распределять вычисления между CPU и GPU и запускать модель на более широком спектре оборудования, однако квантизация снижает требования к ресурсам ценой возможного ухудшения связности и качества при более низкой точности. Модель не дообучена специально для roleplay.

Лицензия указана как llama3.1; перед использованием следует ознакомиться с её условиями. README не содержит сведений о конкретном уровне квантизации, размере файла, требованиях к памяти или результатах тестирования, поэтому производительность и качество на конкретном оборудовании заранее определить нельзя.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

The official library of GGUF format models for use in the local AI chat app, Backyard AI.

Meta Llama 3.1 8B Instruct

Creator: meta-llama
Original: Meta Llama 3.1 8B Instruct
Date Created: 2024-07-18
Trained Context: 131072 tokens
Description: Version 3.1 of the Meta Llama base model. This is the instruct variant with 8 billion parameters. Not finetuned for roleplay.

What is a GGUF?

GGUF is a large language model (LLM) format that can be split between CPU and GPU. GGUFs are compatible with applications based on llama.cpp, such as Backyard AI. Where other model formats require higher end GPUs with ample VRAM, GGUFs can be efficiently run on a wider variety of hardware. GGUF models are quantized to reduce resource usage, with a tradeoff of reduced coherence at lower quantizations. Quantization reduces the precision of the model weights by changing the number of bits used for each weight.

Backyard AI

Free, local AI chat application.
One-click installation on Mac and PC.
Automatically use GPU for maximum speed.
Built-in model manager.
High-quality character hub.
Zero-config desktop-to-mobile tethering. Backyard AI makes it easy to start chatting with AI using your own characters or one of the many found in the built-in character hub. The model manager helps you find the latest and greatest models without worrying about whether it's the correct format. Backyard AI supports advanced features such as lorebooks, author's note, text formatting, custom context size, sampler settings, grammars, local TTS, cloud inference, and tethering, all implemented in a way that is straightforward and reliable. Join us on Discord

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: c7e6c37