/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
11 млрд
Размер весов
12 ГБ
Лицензия
Apache 2.0
Архитектура
mistral · dense
Базовая модель
Bielik-11B-v2.2-Instruct
Библиотека
transformers
Опубликована
26 авг 2024

Ссылки

Hugging Face

Bielik-11B-v2.2-Instruct-Quanto-8bit

speakleash
Генерация текстаТекст → текст4 профессии

Квантизированная 8-битная польская разговорная модель Bielik для генерации текста и ответов в диалоге.

156скачиваний за 30 дней4лайкавеса обновлены7 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Bielik-11B-v2.2-Instruct-Quanto-8bit — квантизированная 8-битная версия польской разговорной языковой модели Bielik, подготовленная SpeakLeash и ACK Cyfronet AGH. Это плотная авторегрессионная модель с архитектурой Mistral и декодером causal language model; размер исходной модели — 11 млрд параметров, контекст — до 32 768 токенов.

Модель предназначена для генерации текста и диалоговых сценариев на польском языке. Она получена квантизацией Bielik-11B-v2.2-Instruct; базовая модель дообучена на Bielik-11B-v2. Для загрузки используется библиотека Transformers с бэкендом Optimum Quanto.

Квантизация уменьшает требования к хранению и вычислениям, но может снижать качество ответов и приводить к галлюцинациям. Лицензия указана как Apache 2.0; README также ссылается на условия использования модели.

Сценарии применения

  • ответы на вопросы на польском языке
  • польскоязычный диалоговый помощник
  • генерация польских текстов
  • продолжение текста на польском языке

Ограничения

Квантизация может снижать качество ответов и увеличивать вероятность галлюцинаций. README указывает на условия использования помимо лицензии Apache 2.0.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923моделиIII.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модельI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Bielik-11B-v2.2-Instruct-Quanto-8bit

This model was converted to Quanto format from SpeakLeash's Bielik-11B-v.2.2-Instruct.

DISCLAIMER: Be aware that quantised models show reduced response quality and possible hallucinations!

About Quanto

Optimum Quanto is a pytorch quantization backend for optimum. Model can be loaded using:

from optimum.quanto import QuantizedModelForCausalLM

qmodel = QuantizedModelForCausalLM.from_pretrained('speakleash/Bielik-11B-v2.2-Instruct-Quanto-8bit')

Model description:

Responsible for model quantization

  • Remigiusz KinasSpeakLeash - team leadership, conceptualizing, calibration data preparation, process creation and quantized model delivery.

Contact Us

If you have any questions or suggestions, please use the discussion tab. If you want to contact us directly, join our Discord SpeakLeash.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
3a3696b

0 моделей

    Создать бенчмарк