Характеристики

Контекст: 512 токенов
Лицензия: MIT
Архитектура: gpt2 · dense
Библиотека: transformers
Опубликована: 31 авг 2026

Ссылки

Hugging Face

mini-gpt-10m-fineweb

abdi38394

Генерация текстаТекст → текст3 профессии

Компактная модель GPT-2 на 10 млн параметров, обученная с нуля на Wikipedia для генерации английского текста.

218скачиваний за 30 дней0лайковвеса обновлены1 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Mini-GPT-10M — компактная авторегрессионная языковая модель с архитектурой GPT-2, разработанная и обученная с нуля на наборе Wikimedia Wikipedia. Модель содержит 10 млн параметров, 4 слоя и 4 головы внимания; длина контекста — 512 токенов.

Она предназначена для генерации продолжения английского текста и учебных или экспериментальных сценариев с небольшой языковой моделью. В карточке приведены значения финальной обучающей потери 5,47, валидационной потери 5,31 и perplexity около 202; для генерации рекомендованы temperature 0,7, top_k 50 и repetition_penalty 1,2. Лицензия — MIT.

Сценарии применения

генерация продолжения английского текста
эксперименты с компактной GPT-2
обучение и демонстрация авторегрессионной генерации текста

Ограничения

Perplexity около 202 указывает на ограниченное качество генерации; контекст ограничен 512 токенами. Карточка рекомендует параметры генерации для снижения повторов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

tags:

text-generation

metrics:

perplexity

model-index:

name: Mini-GPT-10M

results:

task: type: text-generation

metrics:

type: perplexity value: 202.5

Mini-GPT 10M Parameters (From Scratch)

Ce modèle est un mini-GPT de 10 millions de paramètres entraîné entièrement à partir de zéro sur ensemble wikimedia/wikipedia

Détails de l'Architecture

Modèle de base : GPT-2 architecture
Couches (Layers) : 4
Têtes d'attention (Heads) : 4
Dimension d'embedding : 160
Longueur de contexte : 512 tokens

Performance & Métriques

Training Loss finale : 5.47
Validation Loss finale : 5.31
Perplexité : 202

Paramètres de génération recommandés

Pour éviter les bégaiements, utilisez ces paramètres :

repetition_penalty: 1.2
temperature: 0.7
top_k: 50

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: GPT2LMHeadModel
Ревизия весов: efc19fa