Характеристики

Контекст: 8 192 токена
Параметры: 134 млн
Лицензия: MIT
Архитектура: mixtral · MoE
Опубликована: 31 дек 2025

Ссылки

Hugging Face

neo-3-1B-A90M-Base

aquilesfd

Генерация текстаТекст → текст3 профессии

Предобученная компактная модель neo-3 на архитектуре Mixtral MoE для генерации текста, кода и продолжения обучения.

310скачиваний за 30 дней8лайковвеса обновлены13 фев 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

neo-3-1B-A90M-Base — базовая языковая модель семейства neo-3, представленная автором aquilesfd. Это предобученный генератор текста на архитектуре Mixtral с разреженной смесью экспертов (MoE); в метаданных указано 134,5 млн параметров, а README сообщает об активных 120 млн параметров и обучении на 1,2 трлн токенов. Модель принимает текст и предназначена для генерации продолжений, в том числе кода и рассуждений. Контекстное окно составляет 8192 токена.

Для обучения использовались Wikipedia, Cosmopedia, SmolTalk, FineMath и наборы кода The Stack и GitHub Code. В опубликованной таблице модель набрала 38,54 балла в среднем по указанным тестам, включая 2,2 на GSM8K. Это базовая, а не постобученная instruct-модель; результаты не гарантируют качества в диалоге или следовании инструкциям. Лицензия — MIT.

Сценарии применения

генерация продолжений текста
эксперименты с компактными языковыми моделями MoE
генерация фрагментов кода
дообучение модели для прикладных задач
воспроизведение обучения на открытых текстовых и кодовых данных

Ограничения

Это базовая модель, не предназначенная сама по себе для надёжного следования инструкциям; результаты тестов показывают слабые способности в GSM8K. Карточка не сообщает о проверке безопасности или качестве на широком наборе прикладных сценариев.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

neo-3

This is the 1B-A90M-Base model. Check out the 3B-A400M-Base model and the post-trained version of your model.

The neo-3-1B-A90M and 3B-A400M models are the successor to neo-2-345M-C1 and C2, featuring:

Pre-trained and post-trained models
Context windows of 8K for 1B and 32K for 3B
The first ever neo reasoning model
Mixtral architecture

The post-trained models will release January 3rd, 2026. The pre-trained models have released on December 31st, 2025. A technical report is on the works, but training data is fully available for replication.

This model has an MIT license.

Evaluations for base models

Performance

	MMLU	HellaSwag	PIQA	ARC avg	GSM8K	Avg.
neo-3-1B-A90M	32.7	52.3	63.4	42.1	2.2	38.54
neo-3-3B-A400M	42.1	59.9	67.5	50.6	5.7	45.16
SmolLM2-360M	32.7	52.3	63.4	42.1	2.2	38.54
Gemma 3 270M	26.5	40.9	67.7	43.4	1.1	35.92
Qwen3-0.6B-Base	44.0	55.3	60.9	52.4	49.7	52.46

Efficiency

	Active Parameters	Training Tokens	Avg. p/ B active	Avg. p/ T training tokens
neo-3-1B-A90M	120M	1.2T	321.17	32.12
neo-3-3B-A400M	380M	1.2T	118.84	37.63
SmolLM2-360M	362M	4T	106.46	9.64
Gemma 3 270M	268M	6T	134.03	5.99
Qwen3-0.6B-Base	642M	36T	81.72	1.46

Charts

Task list

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: MixtralForCausalLM
Ревизия весов: 7a16f96