Kite 1.5 — экспериментальная компактная Llama-модель для генерации коротких текстов и историй на английском языке.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Kite 1.5 — небольшая языковая модель примерно на 812 тыс. параметров, разработанная автором репозитория qikp и обученная на случайно инициализированной модели с конфигурацией Llama. По карточке, обучение включало 20 000 шагов на датасете TinyStories, один проход и размер пакета 1; использовался токенизатор GPT-2. Модель предназначена для экспериментов с генерацией коротких историй и изучения обучения компактных языковых моделей. Она принимает текст и генерирует текст, использует архитектуру LlamaForCausalLM и имеет контекст 8192 токена. Указана поддержка английского языка.
Модель очень мала и сама карточка отмечает, что она не подходит для производственных задач; качество и широкий круг языковых сценариев не заявлены. Репозиторий распространяется по лицензии MIT.
Из-за малого размера модель не подходит для производственных нагрузок; карточка не приводит оценок качества и не заявляет пригодность для широкого спектра задач.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
🎉 You are looking at Kite 1.5, which is using an already randomized model (with the same config) during training, and has been trained with significantly higher steps!
Kite is a small, trained, 1 million parameter language model, without any special optimizations.
It was trained on this dataset using 20000 steps, 1 epoch, 1 batch size, and the GPT-2 tokenizer.
Due to its size, the model is not suitable for production workloads.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…