Характеристики

Контекст: 2 048 токенов
Параметры: 15 млн
Лицензия: Apache 2.0
Архитектура: qwen3 · dense
Опубликована: 6 сен 2026

Ссылки

Vertex-0.6-15M-Base

Генерация текстаТекст → текст3 профессии

Компактная базовая языковая модель VertexResearch на архитектуре Qwen3 для продолжения англоязычного текста и экспериментов с генерацией.

80скачиваний за 30 дней0лайковвеса обновлены6 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Vertex 0.6 15M Base — базовая предварительно обученная языковая модель семейства Vertex 0.6, разработанная VertexResearch. Это плотная причинная модель на архитектуре Qwen3 с 15 млн параметров: 10 слоёв, скрытая размерность 256, 4 головы внимания и 2 KV-головы с GQA, блоки SwiGLU и словарь из 20 000 токенов ByteLevel BPE. Контекст модели — 2048 токенов.

Модель обучена с нуля на 12 млрд токенов англоязычного веб-текста из Ultra-FineWeb и синтетических перефразировок Ultra-FineWeb-L3. Это базовая языковая модель без шаблона чата и дообучения на инструкции; она предназначена для генерации продолжения текста и экспериментов с компактными языковыми моделями, а не для готового диалогового помощника. Для диалогового применения автор указывает на отдельную версию Vertex-0.6-15M-Instruct.

Модель распространяется под лицензией Apache-2.0. Её небольшой размер упрощает локальные эксперименты, однако узкий контекст, обучение только на английских данных и отсутствие инструкционного дообучения ограничивают качество и универсальность ответов.

Сценарии применения

генерация продолжения англоязычного текста
эксперименты с компактными причинными языковыми моделями
изучение влияния архитектуры Qwen3 на генерацию текста

Ограничения

Модель не проходила инструкционное дообучение и не имеет шаблона чата, поэтому не рассчитана на готовый диалоговый режим. Обучение проводилось на англоязычном тексте, а контекст ограничен 2048 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Vertex 0.6 15M Base

Base (pretrain-only) checkpoint of Vertex 0.6 15M, a tiny ~15M-param model from the Vertex 0.6 family. Qwen3 architecture: hidden 256, 10 layers, 4 heads / 2 KV (GQA, head_dim 64), SwiGLU ffn 1024, 20000-vocab ByteLevel BPE, tied embeddings, ctx 2048.

Pretrained from scratch on 12B tokens of English web text: Ultra-FineWeb plus Ultra-FineWeb-L3 synthetic rewrites (Multi-Style + QA), ~800 tokens per parameter, on a single RTX 4060 Laptop (8GB).

This is a raw language model — no chat template, no instruction tuning. For chat, see Vertex-0.6-15M-Instruct.

Training data

Pretrained on English web text from openbmb/Ultra-FineWeb and openbmb/Ultra-FineWeb-L3 (Multi-Style + QA synthetic configs), 12B tokens total.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen3ForCausalLM
Ревизия весов: b5e98b0