echo-clip — CLIP-модель для сопоставления изображений с текстовыми метками и классификации без примеров обучения.
Подходит для: классификация изображений по заданным текстовым категориям · поиск подходящего описания для изображения · ранжирование текстовых меток по соответствию изображению
Производная модели CollectionStudio/Trinity-Large-TrueBase. Базовая разреженная MoE-модель Arcee AI для исследований предобучения, анализа поведения и последующего дообучения.
Подходит для: исследование поведения модели после масштабного предобучения · анализ маршрутизации экспертов и балансировки нагрузки в MoE · пробинг и интерпретируемость языковой модели
Экспериментальная компактная модель Mistral для генерации текста и изучения влияния алгоритма Grokfast на обучение.
Подходит для: эксперименты с обучением компактных языковых моделей · изучение влияния Grokfast на динамику обучения · генерация текста для исследовательских прототипов
pytorch: формат, квантизация, runtime и память принадлежат одному artifact
CMA-1M Mini — крошечная экспериментальная языковая модель для продолжения текста и исследований механизма Channel-Mixing Attention.
Подходит для: исследование смешивания каналов внимания на малой модели · сравнение вариантов архитектуры языковых моделей · учебные эксперименты с авторегрессионными языковыми моделями
Производная модели arcee-ai/Trinity-Large-Base. Базовая разреженная MoE-модель Arcee AI для генерации текста, исследований предобучения и последующего дообучения.
Подходит для: исследование поведения языковой модели после масштабного предобучения · изучение маршрутизации и балансировки экспертов MoE · зондирование и интерпретируемость языковой модели
Экспериментальная модель на архитектуре Mistral для генерации текста, сохранённая на шаге обучения 132 тыс.
Подходит для: эксперименты с генерацией текста · изучение обучения компактной языковой модели · сравнение чекпойнтов по мере обучения