134m parameter, 768 width version of Llama for creating sentence embeddings
https://github.com/skeskinen/llama-lite
Currently trained on just the alpaca dataset, but might contain better weights later.
Характеристики
- Контекст
- 2 048 токенов
- Параметры
- 110 млн
- Лицензия
- Apache 2.0
- Архитектура
- llama · dense
- Опубликована
- 15 апр 2023
Ссылки
llama-lite-134m
Компактная модель семейства Llama, обученная на Alpaca и предназначенная по README для создания эмбеддингов предложений.
189скачиваний за 30 дней14лайковвеса обновлены15 апр 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
skeskinen/llama-lite-134m — компактная плотная авторегрессионная модель семейства Llama, разработанная skeskinen. В README указано, что версия с шириной 768 и примерно 134 млн параметров предназначена для создания эмбеддингов предложений; в метаданных указано 109,5 млн параметров и контекст 2048 токенов. Модель обучена на датасете Alpaca.
Модель можно применять для получения векторных представлений предложений в задачах поиска и сравнения текстов. При этом в метаданных Hugging Face основная задача обозначена как генерация текста, а README не приводит способ извлечения эмбеддингов или результаты оценки качества. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
Сценарии применения
- получение эмбеддингов предложений
- поиск похожих предложений
- сравнение текстов по смыслу
Ограничения
README описывает обучение только на Alpaca и не приводит метрик качества или метода извлечения эмбеддингов. Число параметров в README (134 млн) отличается от значения в метаданных (109,5 млн).
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделейI.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- LlamaForCausalLM
- Ревизия весов
- cc5d773