Мультимодальная модель Xiaomi MiMo на 9 млрд параметров для агентных задач, программирования, кибербезопасности и анализа изображений.

Подходит для: написание и исправление кода · выполнение многошаговых агентных задач · анализ изображений в диалоге

Мультимодальная модель Xiaomi для генерации текста, агентных задач и работы с инструментами, с контекстом до миллиона токенов.

Подходит для: написание и исправление программного кода · выполнение многошаговых задач с вызовом инструментов · ответы на вопросы по длинным репозиториям и трассам взаимодействия

Черновая модель Eagle3 MTP для ускорения инференса Kimi-K2.6 с помощью speculative decoding.

Подходит для: ускорение генерации ответов Kimi-K2.6 в vLLM · спекулятивное декодирование Kimi-K2.6 с методом Eagle3 · снижение нагрузки на KV-кэш при обслуживании Kimi-K2.6

TinyMixtral v3.0 — компактная разреженная MoE-модель для генерации текста и диалогов.

Подходит для: генерация продолжений текста · создание диалогового ассистента · ответы на простые вопросы

Производная модели XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B. Мультимодальная модель Xiaomi MiMo на 9 млрд параметров для агентных задач, программирования, кибербезопасности и анализа изображений.

Подходит для: написание и исправление кода · выполнение многошаговых агентных задач · анализ изображений в диалоге

Плотная англоязычная базовая языковая модель на 276 млн параметров для генерации текста и экспериментов по сравнению с MoE-архитектурами.

Подходит для: генерация продолжений англоязычного текста · сравнение плотной модели с MoE при одинаковых вычислениях · исследование влияния маршрутизации экспертов на качество

Компактная англоязычная MoE-модель, дообученная для диалогов, ответов на вопросы и выполнения инструкций.

Подходит для: англоязычный диалог с компактной языковой моделью · ответы на вопросы по общим знаниям · выполнение текстовых инструкций

Компактная англоязычная модель на 276 млн параметров для диалогов и генерации текста по инструкциям.

Подходит для: ответы на простые запросы на английском языке · генерация текста по инструкциям · создание простого англоязычного чат-бота

Компактная разреженная MoE-модель TinyMixtral для генерации текста и диалогов, обученная на образовательных веб-текстах и синтетических учебных материалах.

Подходит для: генерация продолжений текста · создание простых диалоговых ответов · эксперименты с архитектурами MoE

Плотная англоязычная базовая языковая модель на 477 млн параметров для генерации текста и контролируемых экспериментов по сравнению с MoE-моделями.

Подходит для: генерация продолжения англоязычного текста · эксперименты с базовыми языковыми моделями малого размера · сравнение плотной архитектуры с MoE при одинаковом числе параметров

Текстовая MoE-модель Mini-K3 для предсказания следующего токена и исследований архитектуры языковых моделей.

Подходит для: эксперименты с генерацией текста на основе предобученного чекпойнта · сравнение вариантов архитектуры MLA и MoE · изучение поведения модели при длинном контексте

Небольшая английская базовая MoE-модель для генерации текста и воспроизводимых экспериментов, являющаяся первой, устаревшей версией семейства TinyMixtral.

Подходит для: генерация продолжений английского текста · эксперименты с компактными языковыми MoE-моделями · воспроизведение результатов предобучения на C4

Производная модели CollectionStudio/Trinity-Large-TrueBase. Базовая разреженная MoE-модель Arcee AI для исследований предобучения, анализа поведения и последующего дообучения.

Подходит для: исследование поведения модели после масштабного предобучения · анализ маршрутизации экспертов и балансировки нагрузки в MoE · пробинг и интерпретируемость языковой модели

Экспериментальный текстовый чекпойнт Mini-K3 для генерации текста и сравнения архитектур MoE с Gated MLA.

Подходит для: эксперименты с генерацией текста на небольшом MoE-чекпойнте · сравнение архитектур внимания и позиционного кодирования · исследование предварительного обучения языковых моделей

Экспериментальная англоязычная модель TinyMixtral для генерации текста с общим и маршрутизируемыми экспертами.

Подходит для: генерация продолжения англоязычного текста · воспроизведение эксперимента с общим экспертом в MoE · сравнение небольших языковых моделей на тестах понимания текста

Компактная разреженная языковая модель для генерации текста и диалогов, дообученная на образовательных и веб-текстах.

Подходит для: генерация коротких текстовых ответов · продолжение веб-текстов и учебных материалов · черновое ведение диалога с пользователем

Производная модели XiaomiMiMo/MiMo-V2.5-Pro. Открытая MoE-языковая модель Xiaomi для агентных задач, разработки ПО, генерации текста и работы с контекстом до миллиона токенов.

Подходит для: написание и отладка программного кода · выполнение многошаговых задач с вызовом инструментов · анализ длинных документов и контекстов до 1 млн токенов

Черновая модель Eagle3 с MLA для ускорения инференса Kimi-K2.5 посредством speculative decoding.

Подходит для: ускорение генерации текста на базе Kimi-K2.5 · снижение затрат KV-кэша при speculative decoding · ускорение диалогового сервера на vLLM

Производная модели shaikat2007/MiMo-V2.6-Pro. Разреженная мультимодальная модель Xiaomi для генерации текста, агентных задач, программирования и работы с инструментами с контекстом до 1 млн токенов.

Подходит для: написание и отладка кода с помощью агентных циклов · выполнение многошаговых задач с вызовом инструментов · анализ изображений и видеозаписей

Экспериментальная языковая модель Arcee.ai с гибридным вниманием KDA и NoPE для исследований эффективности внимания и математических рассуждений.

Подходит для: исследование гибридных архитектур внимания · сравнение линейного и полного внимания · оценка памяти и KV-кэша при обработке контекста

Предобученный текстовый чекпойнт Mini-K3 для генерации текста и исследований архитектуры MoE с KDA и Gated MLA.

Подходит для: эксперименты с генерацией текста на предобученной модели · сравнение вариантов архитектуры KDA и Gated MLA · исследование разреженных MoE-моделей

Небольшая текстовая MoE-модель Mini-K3 для исследований предобучения и сравнения архитектур генерации текста.

Подходит для: эксперименты с предобучением языковых моделей · сравнение архитектур KDA и Gated MLA · генерация продолжения текста

Базовая разреженная MoE-модель Arcee AI для генерации текста, исследований предобучения и последующего дообучения.

Подходит для: исследование поведения языковой модели после масштабного предобучения · изучение маршрутизации и балансировки экспертов MoE · зондирование и интерпретируемость языковой модели

Компактная англоязычная MoE-модель для продолжения текста и языковых экспериментов.

Подходит для: генерация продолжения английского текста · эксперименты с компактными языковыми моделями · изучение маршрутизации экспертов в MoE