Экспериментальная дообученная LFM2-модель для предсказания текстовых выходов терминальной среды OpenEnv.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Экспериментальный чекпойнт OpenEnv ECHO World Model разработан для предсказания выходов терминальной среды OpenEnv. Модель обучена с помощью скрипта train_echo.py на базе LiquidAI/LFM2.5-350M с использованием verifier-free ECHO loss.
Это плотная авторегрессионная языковая модель семейства LFM2 с 444,6 млн параметров и контекстом до 128 000 токенов. Она принимает текст и генерирует текст; в метаданных также отмечена возможность чата. Карточка приводит метрики обучения: лучший шаг — 10, а held-out cross-entropy снизилась с 13,74 до 0,41.
Модель предназначена для экспериментов с прогнозированием ответов терминальной среды, а не для универсальных диалоговых сценариев. Лицензия указана как other, поэтому конкретные условия использования следует сверять с файлами репозитория.
Карточка описывает узкую экспериментальную задачу предсказания выходов OpenEnv и не подтверждает качество на других сценариях. Указана лицензия other, поэтому условия использования требуют проверки в репозитории.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This checkpoint was trained with examples/echo_world_model/train_echo.py to
predict OpenEnv terminal environment outputs from verifier-free ECHO loss.
| metric | value |
|---|---|
best_step | 10 |
heldout_ce_after | 0.41339555382728577 |
heldout_ce_before | 13.741455078125 |
heldout_ce_delta | -13.328059524297714 |
heldout_ce_improvement_pct | 96.9916173252615 |
heldout_token_acc_after | 0.8571428571428571 |
heldout_token_acc_before | 0.0 |
lr | 5e-05 |
model | LiquidAI/LFM2.5-350M |
seed | 0 |
steps | 60 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…