🚀 AlphaGPT-1
Маленькая, но дерзкая русскоязычная GPT-модель, обученная на реальных диалогах.
🙏 Особая благодарность
Спасибо моему другу prisma3D за поддержку, идеи и вдохновение в этом проекте! 🎉
📊 Модель в цифрах
| Характеристика | Значение |
|---|---|
| Архитектура | GPT-2 |
| Параметры | 12,484,608 |
| Словарь | 30,000 токенов (BPE) |
| Контекст | 256 токенов |
| Шагов обучения | 2,500+ |
| Датасет | Russian Dialogues (10,000 примеров) |
| Время обучения | 8 часов на CPU |
| Устройство | AMD Ryzen 7 4750U (1.70 GHz) |
🎯 Особенности
- ✅ Чисто русский - токенизатор обучен на русских диалогах
- ✅ Без интернет-мусора - нет "омиг", "лол", эмодзи
- ✅ Реальные диалоги - училась на настоящих разговорах
- ✅ Маленький размер - 48MB, работает даже на CPU
- ✅ Дружелюбная - создана с помощью друга prisma_3D ✨
Пример вопроса
- text: Привет, как дела?
example_title: Пример диалога
- text: Сегодня я решил
example_title: Продолжение мысли
- text: Что ты думаешь о
example_title: Вопрос
(скоро будет alphagpt-2)