/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
528 384
Лицензия
MIT
Архитектура
llama · dense
Библиотека
transformers
Опубликована
19 июл 2024

Ссылки

Hugging Face

TinyStories-Korean-800K

north-wind
Генерация текстаТекст → текст3 профессии

Экспериментальная компактная модель Llama для авторегрессионной генерации короткого корейского текста.

243скачиваний за 30 дней1лайквеса обновлены30 мая 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TinyStories-Korean-800K — компактная авторегрессионная языковая модель семейства Llama, обученная с нуля. В карточке указаны 5 слоёв, скрытый размер 64, 8 голов внимания MHA и словарь на 4096 токенов; метаданные указывают около 528,4 тыс. параметров и формат safetensors. Модель предназначена для генерации текста на корейском языке на основе входного текста, с контекстом до 512 токенов.

Модель обучена на датасете TinyStories-Korean и доступна через Transformers. Автор предупреждает, что генерации могут быть бессмысленными; это экспериментальный небольшой чекпойнт, поэтому его пригодность для практических задач ограничена. Лицензия — MIT.

Сценарии применения

  • эксперименты с генерацией корейских историй
  • изучение работы малых авторегрессионных моделей
  • проверка генерации текста на корейском языке

Ограничения

Автор предупреждает, что модель может генерировать бессмысленный текст. Контекст ограничен 512 токенами, а малый размер модели ограничивает её возможности.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Update 2025-05-31

Also try:
https://huggingface.co/north-wind/Experimental-Neo-TinyStories-Korean-800K-20240819
https://huggingface.co/datasets/north-wind/ko-TinyStories

TinyStories-Korean-800K

A tiny autoregressive language model trained from scratch.

  • Architecture: Llama
  • Vocab size: 4096
  • Hidden size: 64
  • Layers: 5
  • Heads: 8 (MHA)
  • Context length: up to 512 tokens

Note

This model was trained for experimental purposes and the generated output may not make any sense at all.

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained('northwind33/TinyStories-Korean-800K')
tokenizer = AutoTokenizer.from_pretrained('northwind33/TinyStories-Korean-800K')

input_text = ''
input_ids = tokenizer(input_text, return_tensors='pt').input_ids

output = model.generate(input_ids, max_length=512, do_sample=True, temperature=0.5)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
9a8f7e2

0 моделей

    Создать бенчмарк