Характеристики

Контекст: 131 072 токена
Параметры: 63,2 млн
Лицензия: odc-by
Архитектура: llama · dense
Библиотека: transformers
Опубликована: 18 фев 2025

Ссылки

Hugging Face

clm-60m

AICrossSim

Генерация текстаТекст → текст3 профессии

Компактная англоязычная модель семейства Llama для генерации текста и языкового моделирования.

609скачиваний за 30 дней3лайкавеса обновлены12 мар 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

AICrossSim/clm-60m — англоязычная авторегрессионная языковая модель, разработанная AICrossSim при финансировании ARIA. Это плотный трансформер семейства Llama с архитектурой LlamaForCausalLM и нормализацией RMSNorm; в метаданных указано 63,2 млн параметров, а в карточке — около 60 млн без учёта параметров эмбеддингов. Модель обучена на 22 × 60 млн токенов набора FineWeb-Edu и использует токенизатор HuggingFaceTB/cosmo2-tokenizer.

Модель предназначена для генерации продолжений текста на английском языке и языкового моделирования; метаданные также отмечают возможность чата. Заявленная длина контекста — 131072 токена. В карточке приведены результаты оценки на Wikitext, включая byte perplexity 3,1806; практическое качество в других задачах по этим данным не установлено.

Репозиторий содержит веса safetensors, библиотека — Transformers. Лицензия — ODC-BY. Небольшой размер модели ограничивает её возможности по сравнению с крупными языковыми моделями; модель обучалась на FineWeb-Edu, а сведения о дополнительных возможностях и языках не подтверждены.

Сценарии применения

генерация продолжения английского текста
создание простого англоязычного чат-бота
эксперименты с небольшой авторегрессионной языковой моделью
оценка языкового моделирования на Wikitext

Ограничения

Модель компактная и обучена на FineWeb-Edu; результаты на Wikitext не позволяют судить о качестве в широком спектре практических задач. Поддержка языков, кроме английского, и специализированных функций не подтверждена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for AICrossSim/clm-60m

A 60M parameter language model trained on 22 * 60M tokens from FineWeb-Edu dataset.

Model Details

aixsim-60M is a transformer-based language model with approximately 60 million parameters (embedding layer params excluded). It uses RMSNorm for normalization and is trained on the FineWeb-Edu dataset.

Developed by: AICrossSim
Funded by: ARIA
Model type: Transformer Language Model
Language(s) (NLP): English
Tokenizer: HuggingFaceTB/cosmo2-tokenizer
Repository: AICrossSim/NewComputeBench

Training Details

Experiment setup and training logs can be found at wandb run.

Usage

import transformers

model_name="AICrossSim/clm-60m"
model = transformers.AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = transformers.AutoTokenizer.from_pretrained(model_name)

lm-evaluation-harness

Tasks	Version	Filter	Metric		Value		Stderr
wikitext	2	none	bits_per_byte	↓	1.6693	±	N/A
		none	byte_perplexity	↓	3.1806	±	N/A
		none	word_perplexity	↓	486.5306	±	N/A

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 1213e01