Вариант Orca 2 на 12,9 млрд параметров с приведённым к 32 000 токенам словарём для использования как компонента при слиянии моделей.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
TeeZee/Orca-2-13b_flat — вариант Orca 2, подготовленный для использования как компонент при слиянии моделей. Автор удалил три последних токена словаря Orca, включая токены ChatML и PAD, и уменьшил размер эмбеддингов до стандартных 32 000 токенов, чтобы избежать проблем совместимости при слиянии через mergekit с моделями такого размера словаря. Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров, принимающая текст и генерирующая текст; контекст — до 4096 токенов.
Модель предназначена прежде всего для включения в слияния, а не для самостоятельного использования. После изменения словаря она может не работать с шаблоном ChatML; README не приводит сведений о качестве генерации или дополнительных возможностях. В метаданных указана лицензия other, поэтому условия использования следует уточнять по исходной лицензии Orca 2 и сопровождающим материалам.
После удаления токенов ChatML модель может не работать с шаблоном ChatML и предназначена прежде всего для слияния, поэтому самостоятельная генерация может быть несовместима с ожидаемым форматом. Лицензия указана как other, без уточнения условий в предоставленных данных.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Lots of good models use Orca for their merges, however vanilla Orca has vocabulary size of 32003, 3 last tokens are ChatML tokens and a PAD token. This causes errors during a merge with models with standard 32000 vocabulary size.
I've removed those tokens from volabulary and resized model embeddings to mach 32000 standard size. So this model is ready to be used as a merge component in mergekit. It may not work on its own with ChatML template anymore.
model.resize_token_embeddings(32000)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…