/ Модель
Каталог

Характеристики

Лицензия
CC BY 4.0
Базовая модель
Llama-3.2-3B-Instruct
Библиотека
transformers
Опубликована
2 окт 2024

Ссылки

Hugging Face

VersatiLlama-Llama-3.2-3B-Instruct-Abliterated-Imatrix-GGUF

Devarui379
Генерация текстаТекст → текст4 профессии

Сборка GGUF разговорной Llama 3.2 на 3,21 млрд параметров для генерации текста и диалогов на английском языке.

90скачиваний за 30 дней5лайковвеса обновлены2 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VersatiLlama-Llama-3.2-3B-Instruct-Abliterated-Imatrix-GGUF — GGUF-сборка разговорной модели на архитектуре Llama 3.2, разработанной Meta AI и доработанной Devarui379. Модель основана на объединении VersatiLlama-Llama-3.2-3B-Instruct-Abliterated и meta-llama/Llama-3.2-3B-Instruct; базовая модель содержит 3,21 млрд параметров. В репозитории представлены варианты GGUF в форматах BF16 и F16 с Imatrix.

Модель предназначена для диалогов и генерации связного текста на английском языке. Её можно применять для ответов на вопросы, суммаризации и свободного общения через совместимые приложения, например LM Studio. По заявлению автора, исходная модель дообучалась на наборе диалогов и была аблитерирована; заявленная цель — более свободная генерация. Лицензия — CC BY 4.0.

Это компактная модель с возможностями чата, однако README не приводит результатов независимых оценок, а заявленное сопоставление с Llama 3.1 8B Instruct не подтверждено измерениями. Длина контекста в доступных данных не приведена.

Сценарии применения

  • ответы на вопросы в диалоге
  • свободное общение с чат-моделью
  • генерация связного текста на английском
  • суммаризация текста
  • локальный запуск чат-модели в LM Studio

Ограничения

В README не приведены независимые оценки качества или результаты бенчмарков; заявленное сравнение с Llama 3.1 8B Instruct не подтверждено измерениями. Длина контекста не указана в доступных данных.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

VersatiLlama-Llama-3.2-3B-Instruct-Abliterated-Imatrix-GGUF

image/webp

Model Description

Small but Capable

Fine-Tuned on Vast dataset of Conversations and Abliterated for freedom of use.

Able to Generate Human like text with high performance within its size.

It is very versatile when compared for it's size and Parameters and offers capability almost as good as Llama 3.1 8B Instruct

Feel free to Check it out!!

Check the safetensors version of the model here : Devarui379/VersatiLlama-Llama-3.2-3B-Instruct-Abliterated

[This model was trained for 5hrs on GPU T4 15gb vram]

  • Developed by: Meta AI
  • Fine-Tuned by: Devarui379
  • Model type: Transformers
  • Language(s) (NLP): English
  • License: cc-by-4.0

Model Sources [optional]

base model:meta-llama/Llama-3.2-3B-Instruct

Uses

Use desired System prompt when using in LM Studio The optimal chat template seems to be Jinja but feel free to test it out as you want!

Technical Specifications

Model Architecture and Objective

Llama 3.2

Hardware

NVIDIA TESLA T4 GPU 15GB VRAM

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Можно запустить

Подбираем GPU…

Ревизия весов
3d6d8f2

0 моделей

    Создать бенчмарк