tokenizer-llama-3.1-8B-Instruct-JAX

Это не самостоятельная генеративная модель и не содержит полного набора параметров языковой модели; токенизатор преобразует текст в токены и обратно для использования совместно с соответствующими весами Llama 3.1 8B Instruct в JAX-инфраструктуре.

Базовая модель Llama 3.1 8B Instruct разработана Meta и представляет собой instruction-tuned текстовую autoregressive language model примерно на 8 млрд параметров. Она предназначена для диалоговых ассистентов, генерации и преобразования текста, многоязычных сценариев, синтетических данных и последующего fine-tuning. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; заявлено контекстное окно до 128K токенов. Архитектура использует Grouped-Query Attention. Информация о специальных преимуществах или изменениях токенизатора Felafax по сравнению с оригинальным токенизатором Meta не представлена, поэтому его характеристики следует считать совместимыми с базовой моделью, а не отдельными свойствами.

Использование связано с Llama 3.1 Community License и требованиями Acceptable Use Policy Meta, включая условия распространения и атрибуции. Для практического применения необходимы совместимые веса Llama 3.1 8B Instruct и JAX-совместимый код; сам репозиторий токенизатора не предназначен для генерации текста без модели.