/ Модель

Характеристики

Контекст
32 764 токена
Параметры
90,1 млрд
Лицензия
Своя лицензия
Архитектура
llama · dense
Библиотека
transformers
Опубликована
16 мар 2024

miiqu-f16

Генерация текстаТекст → текст12 профессий

Разговорная 90,1-миллиардная модель на архитектуре Llama для генерации текста и ответов в диалоге с контекстом до 32 768 токенов.

66скачиваний за 30 дней11лайковвеса обновлены20 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

miiqu-f16 — разговорная языковая модель от Infinimol AI GmbH на архитектуре Llama, представленная в формате safetensors для Transformers. Модель рассчитана на генерацию текста и диалоговое взаимодействие; в README также приведён результат на EQ-Bench — 8-е место в сравнении с несколькими крупными чат-моделями. Заявленное окно контекста — 32 768 токенов.

Модель содержит 90,1 млрд параметров по метаданным. README сообщает, что она создана без дообучения и дополнительного обучения; метаданные помечают её как слияние, поэтому происхождение следует считать слиянием моделей. Доступны варианты GGUF Q4_K_M и EXL2 5.0 bpw. Для диалогов указаны шаблоны ChatML и Mistral. Метаданные отмечают поддержку английского, немецкого, французского, испанского и итальянского языков. Лицензия обозначена как other, без конкретных условий в предоставленных данных.

Сценарии применения

  • ответы в диалоге на английском языке
  • генерация и продолжение текста
  • многоязычные чат-ответы на немецком, французском, испанском и итальянском
  • обработка длинных диалогов и текстовых запросов

Ограничения

Условия лицензии не раскрыты в предоставленных данных: метаданные указывают тип other. Оценка EQ-Bench приведена в README, но методика и дата сравнения здесь не описаны.

Для каких профессий подходит12

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

miiqu-105b-v1.0

Developed by Infinimol AI GmbH

Also Available:

8th place on EQ-Bench, beating Qwen1.5-72B-Chat, miqudev/miqu-1-70b, mistral-medium and claude-3-sonnet-20240229. All without fine-tuning or additional training.

Thanks for support from: turboderp, silphendio, sqrkl, and ngxson!

Model Details

  • Max Context: 32768 tokens
  • Layers: 105

Prompt template: ChatML or Mistral

chatml:

<|im_start|><|user|>\n<|user-message|><|im_end|>\n<|im_start|><|bot|>\n<|bot-message|><|im_end|>\n

mistral:

[INST] <|user|><|user-message|>[/INST]<|bot|><|bot-message|></s>

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
395d639

0 моделей