/ Модель
Каталог

Характеристики

Лицензия
Своя лицензия
Опубликована
24 сен 2026

Ссылки

Hugging Face

RK1828-LLM-Meta-Llama-3-8B-Instruct

RKNNAI
Генерация текстаТекст → текст3 профессии

Квантизированная конверсия Meta-Llama-3-8B-Instruct для диалоговой генерации текста на устройствах с NPU RK1828.

250скачиваний за 30 дней0лайковвеса обновлены28 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RK1828-LLM-Meta-Llama-3-8B-Instruct — конвертированная и квантизированная версия Meta-Llama-3-8B-Instruct от RKNNAI для запуска на ускорителе RK1828. Модель предназначена для диалоговой генерации текста; веса подготовлены в формате RKNN с квантизацией w4a16, а KV-кэш использует fp16. Для указанной конфигурации заявлен контекст 4096 токенов и использование восьми ядер NPU.

Модель подходит для локальных чат-сценариев и генерации ответов на запросы на совместимом устройстве RK1828. В репозитории указаны RKNN Runtime v1.1.0 и необходимость использовать соответствующие версии runtime и драйвера; поддержка заявлена только для RK1828. README ссылается на лицензию исходной Meta-Llama-3-8B-Instruct и сопутствующие документы, но конкретный текст лицензии здесь не приведён.

Сценарии применения

  • локальный чат-ассистент на устройстве RK1828
  • генерация ответов на текстовые запросы
  • развёртывание Llama 3 на совместимом RK1828-ускорителе

Ограничения

Поддерживается только чип RK1828; требуется совместимая версия RKNN Runtime и драйвера. Контекст указанной конфигурации ограничен 4096 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RK1828-LLM-Meta-Llama-3-8B-Instruct

English | 简体中文

1. Model Overview

This repository provides an RKNN LLM model converted from LLM-Research/Meta-Llama-3-8B-Instruct.

  • Model ID: RKNNAI/RK1828-LLM-Meta-Llama-3-8B-Instruct
  • Model Display Name: RK1828-LLM-Meta-Llama-3-8B-Instruct
  • RKNN Runtime Version: v1.1.0
  • Source Model: LLM-Research/Meta-Llama-3-8B-Instruct
  • Model Type: LLM
  • Chip Label: RK1828
  • Supported Chips: RK1828

Available Models

RKNN Runtime VersionConfiguration DirectorySupported ChipsQuantizationNPU CoresContext Length (tokens)KVCache
v1.1.0Meta-Llama-3-8B-Instruct-w4a16-8-4096RK1828w4a1684096 (4k)fp16

2. Files

File or DirectoryDescription
LICENSESource model license
NoticeLicense, usage requirements, and attribution
USE_POLICY.mdLicense, usage requirements, and attribution
<configuration-directory>/Matching model files
Subdirectory README.mdConfiguration documentation (English)
Subdirectory README_CN.mdConfiguration documentation (Chinese)
Subdirectory config.jsonModel configuration and file manifest
Subdirectory SHA256SUMSSHA-256 checksums of the files in this directory (excluding this file)

3. Download

Download the full repository from ModelScope:

modelscope download --model RKNNAI/RK1828-LLM-Meta-Llama-3-8B-Instruct --revision v1.1.0 --local_dir ./RK1828-LLM-Meta-Llama-3-8B-Instruct

Download the full repository from Hugging Face:

hf download RKNNAI/RK1828-LLM-Meta-Llama-3-8B-Instruct --revision v1.1.0 --local-dir ./RK1828-LLM-Meta-Llama-3-8B-Instruct

Download a specific configuration from ModelScope:

from modelscope import snapshot_download

snapshot_download(
    "RKNNAI/RK1828-LLM-Meta-Llama-3-8B-Instruct",
    revision="v1.1.0",
    allow_patterns=["README.md", "README_CN.md", "LICENSE", "Notice", "USE_POLICY.md", "Meta-Llama-3-8B-Instruct-w4a16-8-4096/**"],
    local_dir="./RK1828-LLM-Meta-Llama-3-8B-Instruct",
)

Download a specific configuration from Hugging Face:

hf download RKNNAI/RK1828-LLM-Meta-Llama-3-8B-Instruct --revision v1.1.0 --include "README.md" "README_CN.md" "LICENSE" "Notice" "USE_POLICY.md" "Meta-Llama-3-8B-Instruct-w4a16-8-4096/**" --local-dir ./RK1828-LLM-Meta-Llama-3-8B-Instruct

4. SHA-256 Verification

Run in the configuration directory:

cd ./RK1828-LLM-Meta-Llama-3-8B-Instruct/Meta-Llama-3-8B-Instruct-w4a16-8-4096
sha256sum -c SHA256SUMS

Deploy only after all entries show OK.

5. Compatibility and Limitations

  • Supported Chips: RK1828.
  • Use the matching RKNN Runtime and driver. Check the device-side version with rknn-smi -v before running.
  • Use the files from the selected configuration directory together.

6. Copyright and License

  • Source model license: Meta Llama 3 Community License Agreement.
  • See LICENSE in the repository root for the full license and Notice for attribution.
  • Use is also subject to the applicable license terms of the source model, RKNN Toolkit, and RKNN Runtime.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
3df7150

0 моделей

    Создать бенчмарк