Характеристики

Лицензия: MIT
Архитектура: freesolo · dense
Базовая модель: FreeSolo-L-341M
Библиотека: pytorch
Опубликована: 15 окт 2026

Ссылки

FreeSolo-B-341M

Генерация текстаТекст → текст

Базовая модель FreeSolo на 341 млн параметров для генерации текста и экспериментов с дальним контекстом и извлечением информации.

690скачиваний за 30 дней0лайковвеса обновлены16 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FreeSolo-B-341M — базовая языковая модель на 341 млн параметров, разработанная авторами FreeSolo для генерации текста с длинными зависимостями. Архитектура FreeSolo использует внимание без RoPE для дальних токенов: модель ищет кандидатов среди фрагментов по усреднённым ключам, отбирает фрагменты и считывает исходные токены. Обучение проводилось на FineWeb-Edu с контекстом 4 096 токенов; заявлена экстраполяция длины контекста без дополнительного обучения.

Модель подходит для экспериментов с генерацией и извлечением информации из длинного текста, а также для воспроизведения измерений скорости, описанных в исследовании. Это базовая модель без настройки на инструкции, поэтому она не рассчитана на надёжное следование запросам в формате чат-помощника; объединение нескольких фактов может давать нестабильные результаты. Распространяется по лицензии MIT.

Сценарии применения

эксперименты с генерацией текста на длинном контексте
извлечение отдельного факта из длинного текста
изучение методов разреженного внимания
воспроизведение измерений скорости FreeSolo
исследование экстраполяции контекста без дополнительного обучения

Ограничения

Это базовая модель без настройки на инструкции. Извлечение зависит от задачи, особенно при необходимости объединять несколько фактов или значений.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FreeSolo-B-341M

Paper · GitHub · Models · Usage

RoPE-free long-range attention, trained at 4k with zero-shot length extrapolation.

FS-B searches full-prefix and norm-filtered forests of chunk mean keys, reranks their candidates, and reads four chunks. Its attention is superlinear and subquadratic. This 341M research base model was trained on FineWeb-Edu at a 4,096-token context.

Paper Figure 1: RULER length extrapolation at the 800M scale

Try it

hf download zekun-shi/FreeSolo-B-341M freesolo-source.zip --local-dir ./FreeSolo-B-341M
python -m pip install ./FreeSolo-B-341M/freesolo-source.zip
freesolo-generate --model zekun-shi/FreeSolo-B-341M --output generation.json

The short retrieval example asks for the hidden number 5437923. Start with CUDA-enabled PyTorch; Usage gives the tested installation and speed-replication command.

The idea

FreeSolo learns simple chunk mean keys that support search, norm pruning, and hierarchical summarization. RoPE stays in the local window; long-range attention reads selected original tokens without rotating their queries and keys.

Paper Figure 2: FreeSolo attention and FS-L pruning

Paper Figure 3: FS-B two-forest retrieval

Results

This is the 341M checkpoint used for the paper's FS-B speed measurements. See speed replication for the complete protocol and expected throughput.

This is a base model without instruction tuning. Retrieval is task dependent, especially when several facts or values must be combined. Training details, artifact checksums, and citation are in Usage.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Архитектура freesolo неизвестна transformers в образе рантайма.

Ревизия весов: 340f721