Продолжение предобучения Qwen3-8B на японских данных для взрослых тем, предназначенное для дальнейшей адаптации и генерации текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Aratako разработала эту модель как продолжение предварительного обучения Qwen/Qwen3-8B на примерно 7 млрд токенов японских данных для взрослых тем. Это плотная языковая модель с архитектурой Qwen3ForCausalLM, примерно 7,6 млрд параметров и контекстом до 40 960 токенов. Она принимает текст и генерирует текст, поддерживает японский язык и использует формат safetensors; для работы заявлен интерфейс диалога и вызова инструментов.
Модель предназначена для дальнейшей адаптации и генерации японского текста на темы для взрослых. Постобучение не проводилось, поэтому автор рекомендует выполнить его перед использованием; готовность к следованию инструкциям и качественному диалогу из карточки не следует. Модель опубликована под лицензией MIT.
Постобучение не проводилось, поэтому перед практическим использованием автор рекомендует дополнительно адаптировать модель. Обучающие данные ориентированы на тематику для взрослых.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
このモデルは、Qwen/Qwen3-8Bに対してNSFW系日本語データ約7Bトークンで継続事前学習を行ったモデルです。
事後学習は行われていないので、本モデルを利用する際には何らかの事後学習を行った上でご利用ください。
学習はaxolotlを使ってtransformersベースで行いました。
学習環境はH200x8、学習時間は約65時間です。
学習に関する主なハイパーパラメータは以下の通りです。
- learning_rate: 1e-5
- lr_scheduler: cosine
- cosine_min_lr_ratio: 0.1
- batch_size(global): 256
- max_seq_length: 32768
- weight_decay: 0.01
- optimizer: paged_adamw_8bit
MITライセンスの元公開します。
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…