Mini-K3-1H v2 — небольшой исследовательский чекпойнт предобучения для авторегрессионной генерации текста и изучения вариантов архитектуры Kimi-K3.

Подходит для: эксперименты с генерацией текста на базе Mini-K3 · сравнение вариантов архитектуры KDA и Gated MLA · изучение работы Mixture of Experts в языковой модели

Предобученная текстовая модель Mini-K3 с GQA и смесью экспертов для генерации текста и исследовательских экспериментов с архитектурой.

Подходит для: генерация продолжения текста · исследование влияния GQA на качество языковой модели · сравнение механизмов внимания в архитектурных экспериментах

Небольшая текстовая предобученная модель Mini-K3 для генерации продолжения текста и исследовательского сравнения стандартного MHA с другими вариантами внимания.

Подходит для: генерация продолжения текста · эксперименты со стандартным multi-head attention · сравнение архитектур механизмов внимания

Предварительно обученная текстовая MoE-модель Mini-K3 для генерации продолжения текста и исследовательских сравнений архитектур внимания.

Подходит для: генерация продолжения текста · эксперименты с предобученными языковыми моделями · сравнение вариантов механизмов внимания

Текстовая MoE-модель Mini-K3 для генерации текста и исследования вариантов архитектуры внимания, предварительно обученная без настройки на выполнение инструкций.

Подходит для: эксперименты с генерацией текста на основе предварительно обученной модели · сравнение GQA-внимания и остаточных механизмов в языковой модели · исследование компактных MoE-архитектур

Предобученный текстовый MoE-чекпойнт Mini-K3 для генерации продолжения текста и исследования вариантов архитектуры.

Подходит для: продолжение заданного текста · эксперименты с архитектурами языковых моделей · сравнение вариантов KDA и Gated MLA

Экспериментальная текстовая MoE-модель Mini-K3 для генерации продолжения текста и сравнения вариантов архитектуры при предобучении.

Подходит для: генерация продолжения текста · исследование архитектур MoE и линейного внимания · сравнение вариантов KDA при предобучении языковой модели

Исследовательский текстовый чекпойнт Mini-K3 для предобучения и экспериментов с генерацией продолжения текста.

Подходит для: генерация продолжения текста · эксперименты с архитектурой смеси экспертов · сравнение вариантов KDA и Gated MLA

Предобученный текстовый чекпойнт Mini-K3 для генерации текста и исследований архитектуры MoE с KDA и Gated MLA.

Подходит для: эксперименты с генерацией текста на предобученной модели · сравнение вариантов архитектуры KDA и Gated MLA · исследование разреженных MoE-моделей

Текстовый предварительно обученный чекпойнт Mini-K3 для генерации продолжения текста и сравнительных экспериментов с архитектурами.

Подходит для: генерация продолжения текста · изучение поведения MoE-архитектуры на небольшом чекпойнте · сравнение вариантов KDA и Gated MLA

Исследовательский текстовый чекпойнт Mini-K3-1H v2 для экспериментов с генерацией текста и сравнением архитектур.

Подходит для: эксперименты с автодополнением текста · изучение поведения архитектуры KDA и Gated MLA · сравнение вариантов архитектуры Mixture-of-Experts

Текстовая MoE-модель Mini-K3 для исследований предобучения и сравнения вариантов архитектуры.

Подходит для: исследование предобученной языковой модели · сравнение вариантов архитектуры KDA и Gated MLA · эксперименты с MoE и маршрутизацией экспертов

Текстовая MoE-модель Mini-K3 для предсказания следующего токена и исследований архитектуры языковых моделей.

Подходит для: эксперименты с генерацией текста на основе предобученного чекпойнта · сравнение вариантов архитектуры MLA и MoE · изучение поведения модели при длинном контексте

Текстовая MoE-модель Mini-K3 для генерации продолжения текста и исследования механизмов остаточных связей.

Подходит для: генерация продолжения текста · исследование влияния остаточных связей на языковую модель · сравнение вариантов архитектуры Mini-K3

Текстовая MoE-модель Mini-K3 для генерации и продолжения текста, представленная как исследовательский вариант с полными остаточными связями на уровне подслоёв.

Подходит для: продолжение текста по заданному фрагменту · исследование остаточных связей Attention Residuals · сравнение вариантов архитектуры декодерной MoE-модели

Экспериментальный текстовый чекпойнт Mini-K3 для генерации текста и сравнения архитектур MoE с Gated MLA.

Подходит для: эксперименты с генерацией текста на небольшом MoE-чекпойнте · сравнение архитектур внимания и позиционного кодирования · исследование предварительного обучения языковых моделей

Исследовательский текстовый чекпойнт Mini-K3 для генерации текста и сравнения архитектур на этапе предобучения.

Подходит для: эксперименты с генерацией текста на компактной MoE-модели · сравнение вариантов KDA и Gated MLA · изучение поведения архитектурных абляций при предобучении

Текстовый исследовательский чекпойнт Mini-K3 для экспериментов с генерацией текста и блоковыми остаточными связями.

Подходит для: эксперименты с автодополнением текста · сравнение вариантов остаточных связей в языковых моделях · изучение генерации текста на архитектуре MoE

Исследовательская текстовая модель Mini-K3 для экспериментов с предобучением и генерацией текста, не предназначенная для использования как ассистент.

Подходит для: исследование архитектур Mixture-of-Experts · сравнение вариантов KDA и Gated MLA · эксперименты с предобучением языковых моделей

Экспериментальный текстовый чекпойнт Mini-K3-1H v2 для исследований предобучения и сравнения архитектур Mixture-of-Experts.

Подходит для: сравнение архитектурных вариантов языковой модели · исследование предобучения текстовых моделей · измерение perplexity на фиксированной выборке разработки

Исследовательская текстовая Mini-K3-модель предварительного обучения для генерации текста и сравнения архитектурных вариантов.

Подходит для: эксперименты с авторегрессионной генерацией текста · сравнение вариантов KDA и Gated MLA · исследование влияния групп затухания на генерацию

Текстовая MoE-модель Mini-K3 для генерации продолжений, опубликованная как исследовательский чекпойнт с экспериментальным механизмом остаточных связей.

Подходит для: генерация продолжения текста · исследование блочных остаточных связей в языковых моделях · сравнение вариантов архитектуры KDA и Gated MLA

Текстовая модель MoE Mini-K3 для генерации продолжения текста и исследования вариантов архитектуры на этапе предварительного обучения.

Подходит для: генерация продолжения текста · исследование архитектур MoE и линейного внимания · сравнение вариантов декодерных языковых моделей

Экспериментальный текстовый чекпойнт Mini-K3 для исследования предобучения и сравнения архитектурных вариантов MoE.

Подходит для: сравнение архитектур KDA и Gated MLA в языковых моделях · исследование влияния группировки затухания KDA на предобучение · анализ поведения компактных MoE-моделей при генерации текста