Mamba-2 1.3B — языковая модель для авторегрессивной генерации текста на архитектуре Mamba-2.

Подходит для: генерация продолжения текста по подсказке · создание черновиков и коротких текстов · эксперименты с языковыми моделями на архитектуре Mamba-2

Базовая языковая модель NVIDIA с гибридной архитектурой Mamba-2 и MoE для продолжения предобучения и создания специализированных вариантов.

Подходит для: продолжение предобучения на предметном корпусе · создание специализированной языковой модели · подготовка базового чекпойнта для SFT или RL

Семейство англоязычных языковых моделей BTLMLM на 1,3 млрд параметров для генерации текста и решения задач понимания и рассуждения.

Подходит для: генерация англоязычного текста · ответы на вопросы и проверка знаний на английском · решение тестовых задач на рассуждение

Базовая языковая модель Mamba на 1,4 млрд параметров для авторегрессионной генерации текста и экспериментов с языковым моделированием.

Подходит для: продолжение текста по заданному фрагменту · генерация текста для исследовательских экспериментов · оценка языковых моделей на задачах предсказания следующего токена

Диалоговая текстовая модель семейства Llama примерно на 7,5 млрд параметров для генерации ответов на текстовые запросы.

Подходит для: диалоговые ответы на текстовые запросы · генерация продолжения текста · создание чат-бота на базе Transformers

Текстовая Bonsai 2 27B с головой MTP для ускорения генерации посредством спекулятивного декодирования в пропатченном llama.cpp.

Подходит для: ускоренная генерация текста на GPU через спекулятивное декодирование · диалоговая генерация с Bonsai 2 27B · снижение задержки вывода токенов в llama.cpp

Базовая гибридная языковая модель Zyphra с 2,6 млрд параметров для генерации текста и кода.

Подходит для: продолжение и дополнение текста · генерация фрагментов программного кода · эксперименты с гибридными архитектурами Mamba2 и Transformer

Mamba-2.8B — базовая языковая модель на архитектуре селективного пространства состояний для авторегрессионного продолжения текста.

Подходит для: генерация продолжения по текстовому фрагменту · языковое моделирование · эксперименты с языковыми моделями на архитектуре Mamba

Экспериментальная версия Llama 3.2 1B Instruct, дообученная методом RMU для исследования забывания целевой части данных TOFU.

Подходит для: Исследование машинного забывания знаний в языковых моделях · Проверка забывания на наборе TOFU forget10 · Сравнение конфигураций RMU для Llama 3.2 1B

Англоязычная модель Mamba2 с тремя блоками внимания, маршрутизируемыми по энтропии, для генерации текста и исследований гибридных архитектур.

Подходит для: генерация продолжения англоязычного текста · эксперименты с гибридами рекуррентных сетей и внимания · изучение маршрутизации внимания по неопределённости

Текстовая модель Mini-K3 с заменой девяти KDA-смесителей на Mamba-2 предназначена для генерации текста и архитектурных экспериментов.

Подходит для: генерация продолжения текста · эксперименты с архитектурой Mamba-2/SSD · сравнение Mamba-2 и MLA в языковой модели

Базовая разреженная MoE-модель Arcee AI для генерации текста, исследований предобучения и последующего дообучения.

Подходит для: исследование поведения языковой модели после масштабного предобучения · изучение маршрутизации и балансировки экспертов MoE · зондирование и интерпретируемость языковой модели

MBG 1.0 — экспериментальный прототип языковой модели для генерации текста и проверки разреженной архитектуры со смесью экспертов.

Подходит для: генерация текста в экспериментальных задачах · проверка маршрутизации между экспертами MoE · исследование малых языковых моделей

Базовая многоязычная языковая модель OpenBuddy на 66,6 млрд параметров для дальнейшего дообучения специализированных чат-моделей.

Подходит для: дообучение на предметной области · создание специализированного чат-бота · адаптация языковой модели к внутренним диалоговым данным

Мультимодальная модель LanguageBind для диалогов, вопросов и ответов и описания изображений и видео по текстовым инструкциям.

Подходит для: ответы на вопросы о содержимом видео · ответы на вопросы по изображению · создание описаний видеоматериалов

Предобученная текстовая модель Mini-K3 с Mamba-2/SSD и Gated MLA предназначена для генерации текста и исследования архитектурных абляций.

Подходит для: генерация продолжения текста · оценка предобученной модели на задаче предсказания следующего токена · исследование сочетания Mamba-2 и MLA

Производная модели CollectionStudio/Trinity-Large-TrueBase. Базовая разреженная MoE-модель Arcee AI для исследований предобучения, анализа поведения и последующего дообучения.

Подходит для: исследование поведения модели после масштабного предобучения · анализ маршрутизации экспертов и балансировки нагрузки в MoE · пробинг и интерпретируемость языковой модели

Базовая языковая модель Mamba для авторегрессионного моделирования и эффективной генерации текстовых последовательностей.

Подходит для: генерация продолжений текста · предобучение и дообучение языковых моделей · эксперименты с state-space архитектурами

Компактная авторегрессионная LLaMA-подобная модель BabyLM для генерации текста и исследований малых языковых моделей.

Подходит для: генерация коротких продолжений текста · эксперименты с маломасштабным предварительным обучением · исследование sample-efficient обучения языковых моделей

Компактная гибридная модель Mamba2/Transformer в формате GGUF для генерации текста и экспериментов с малыми языковыми моделями.

Подходит для: эксперименты с генерацией текста на очень компактной модели · изучение гибридной архитектуры Mamba2 и Transformer · проверка поддержки архитектуры Pebble в среде llama.cpp

Локальная чат-модель семейства Llama на 7,5 млрд параметров для генерации текста, кода и поддержки сценариев автономного агента.

Подходит для: генерация и редактирование кода · декомпозиция задач для автономного агента · диалог с локально запущенной моделью

Производная модели AndrewThompson1233/maba-v1.5-101m-test. Экспериментальная 96,5-миллионная языковая модель с гибридной рекуррентной и разреженной архитектурой для генерации текста и проверки архитектурных гипотез.

Подходит для: генерация текста в экспериментальных сценариях · проверка гибридной рекуррентной архитектуры языковой модели · сравнение разреженного внимания с линейной рекуррентной обработкой

Компактная базовая Llama-модель на 30,7 млн параметров для исследований, бенчмаркинга и продолжения предобучения.

Подходит для: продолжение предобучения небольшой языковой модели · бенчмаркинг компактных причинных языковых моделей · эксперименты с генерацией текста на малой модели

Компактная авторегрессионная модель Mamba для генерации английского текста и исследовательского сравнения динамики обучения языковых моделей.

Подходит для: генерация продолжений английского текста · эксперименты с динамикой обучения языковых моделей · сравнение архитектур Mamba, Pythia и RWKV