/ Модель
Каталог

Характеристики

Лицензия
afl-3.0
Библиотека
transformers
Опубликована
5 авг 2024

Ссылки

Hugging Face

llama-1.9B-kaz

nur-dev
Генерация текстаТекст → текст

Казахоязычная модель LLaMA на 1,9 млрд параметров для генерации текста и продолжения фраз.

0скачиваний за 30 дней3лайкавеса обновлены2 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель nur-dev/llama-1.9B-kaz — казахоязычная причинная языковая модель семейства LLaMA с 1,9 млрд параметров, созданная Кадирбеком Нургали. Она обучена генерировать продолжение текста и может служить основой для дополнительных NLP-задач после дообучения.

В обучающую выборку вошло более 5,3 млн примеров, включая тексты на русском языке. Поэтому модель иногда генерирует по-русски; автор отмечает, что обучение ещё продолжалось и модель находилась в первой эпохе. Репозиторий содержит веса в формате Safetensors и использует библиотеку Transformers. Лицензия — AFL-3.0.

Сценарии применения

  • генерация текста на казахском языке
  • продолжение казахских фраз и документов
  • создание черновиков на казахском языке
  • эксперименты с казахоязычной генерацией текста

Ограничения

В обучающей выборке есть русскоязычные тексты, поэтому модель может переключаться на русский. По README обучение было незавершённым, что может ограничивать качество.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LLaMA 1.9B - Kazakh Causal Language Model

Model Description

This model is a Kazakh language version of the LLaMA model with 1.9 billion parameters, trained for causal language modeling. The train dataset includes some mixed Russian texts, which occasionally cause the model to generate Russian text. Despite this, the model shows promising results. Future steps may include retraining with a purer dataset, fine-tuning, or using the model for various NLP tasks with additional fine-tuning.

Training Setup

  • Training Examples: Over 5.3 million examples
  • Training Hardware: Two NVIDIA A100 GPUs (80GB each)
  • Training Status: Ongoing, currently partway through the first epoch
  • Optimizer: Cosine with restarts scheduler
  • Parallelism: Distributed Data Parallel (DDP)
  • Number of Warmup Steps: 8000

Model Authors

Name: Kadyrbek Nurgali

Citation

If you use this model, please cite the following publication:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов
b01ebd4

0 моделей

    Создать бенчмарк