II.6Документация и сопровождение разработки

Карточка модели ombd/llama-3.1-8b-base на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

Llama-3.1-8B-MagPie-Ultra — плотная языковая модель с архитектурой LlamaForCausalLM, дообученная Argilla Warehouse на наборе argilla-warehouse/magpie-ultra-v1.0. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель основана на meta-llama/Llama-3.1-8B и распространяется в формате safetensors по лицензии Llama 3.1. В README приведено значение loss 0,5915 на оценочном наборе, но подробности об оценке, обучающих данных и ограничениях не раскрыты. Языки и специальные прикладные области для этой производной модели не уточнены.

NVIDIA Llama 3.1 8B Medusa FP8 — текстовая генеративная модель на архитектуре Transformer Llama 3.1, основанная на Meta-Llama-3.1-8B-Instruct. В README указано, что модель не принадлежит NVIDIA и была подготовлена по требованиям стороннего заказчика. Она сочетает дообученные Medusa-головы для спекулятивного декодирования с квантизацией FP8; размер составляет около 7,5 млрд параметров, длина контекста — до 128K токенов по README и до 131 072 токенов по метаданным. Модель принимает текст и генерирует текст. Она предназначена для диалогов и генерации ответов с ускоренным инференсом в режиме Medusa speculative decoding через TensorRT-LLM. README сообщает результат 68,3 на MMLU в режиме 5-shot и средний acceptance rate Medusa 2,07. README заявляет готовность к коммерческому и некоммерческому использованию; конкретные условия лицензии в предоставленных данных не приведены. Использование рассчитано на TensorRT-LLM и указанные в карточке поколения NVIDIA Blackwell, Hopper и Lovelace под Linux.

Na0s/Llama-3.1-8B-Pruned-4-Layers_LoRA-PEFT-3.0 — плотная авторегрессионная языковая модель семейства Llama 3.1, разработанная Na0s. Это дообученная версия предыдущего чекпойнта Na0s/Llama-3.1-8B-Pruned-4-Layers_LoRA-PEFT-2.0 на наборе teknium/openhermes. В исходной модели удалили четыре слоя Meta-Llama-3.1-8B, а затем дообучили модель, чтобы восстановить часть потери качества. В репозитории указано 6,4 млрд параметров; метаданные заявляют контекст до 131 072 токенов. Модель предназначена для генерации текста и решения задач общего назначения, включая вопросы и ответы, рассуждения и продолжение текста. В опубликованных оценках версия 3.0 улучшила результаты относительно обрезанной модели на MMLU-Pro, BoolQ, BigBench и наборах few-shot; при этом показатели на MMLU-Pro остаются ниже исходной Meta-Llama-3.1-8B. Автор также сообщает о снижении потребления памяти и задержки инференса в своих тестах. Модель принимает и генерирует текст; метаданные не задают отдельного основного языка. Лицензия — Apache-2.0.

bunnycore/Llama-3.1-8B-TitanFusion-v2 — объединённая авторегрессионная языковая модель семейства Llama 3.1, созданная с помощью mergekit методом Model Stock. В качестве базовой использована bunnycore/LLama-3.1-8B-HyperNova-abliteration; в слияние также вошли TitanFusion, Matrix, Ultra-Instruct и MagpieLM-8B-Chat-v0.1. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и представлена в формате safetensors с точностью bfloat16. Заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и создание ответов. В карточке не приведены результаты оценки качества или подробные сведения о поддерживаемых языках. Лицензия в предоставленных данных не указана.

Hitmanguy/Llama_3.1_GRPO_AMD — текстовая генеративная модель семейства Llama с числом параметров около 7,5 млрд и нативным контекстом до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев; в метаданных указаны библиотеки Transformers, а также инструменты Unsloth, TRL и метод GRPO, что указывает на использование соответствующего стека для обучения или дообучения модели. Модель может применяться для создания ответов на запросы, продолжения текста, прототипирования диалоговых ассистентов и интеграции в приложения на базе Transformers. README автоматически сгенерирован и почти не содержит сведений о разработчике, исходной модели, языках, обучающих данных, оценивании и лицензии, поэтому качество, область применимости и условия использования требуют дополнительной проверки.

unsloth/Llama-3.1-Nemotron-70B-Instruct — текстовая диалоговая модель NVIDIA на архитектуре Llama 3.1, опубликованная Unsloth. Это версия с дообучением NVIDIA Llama-3.1-Nemotron-70B-Instruct-HF; в карточке каталога указан датасет HelpSteer2. Модель предназначена для генерации ответов на инструкции и запросы в диалоге, а также поддерживает интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров. Она принимает текст и выдаёт текст, поддерживает английский язык и контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Llama 3.1. README направляет к исходной карточке NVIDIA за дополнительными сведениями; подробные ограничения и оценка качества в предоставленных данных не описаны.

Llama-3.1-Tulu-3-70B — англоязычная диалоговая модель Allen Institute for AI (AI2), основанная на архитектуре Llama 3.1 и дообученная на модели allenai/Llama-3.1-Tulu-3-70B-DPO. Это плотная causal language model с 69,5 млрд параметров; карточка указывает контекст до 131 072 токенов и загрузку через Transformers. Модель входит в семейство Tülu 3, для которого AI2 публикует данные, код и рецепты постобучения. Модель предназначена для диалогов и следования инструкциям, генерации текста, математических задач и проверки выполнения сложных инструкций. В карточке упомянуты MATH, GSM8K и IFEval. Основной язык — английский. Лицензия — Llama 3.1 Community License Agreement. У модели ограничено обучение безопасности; она может выдавать проблемные ответы, особенно при соответствующих запросах. Для надёжного применения в пользовательских сценариях следует учитывать необходимость фильтрации ответов. README рекомендует для запуска через vLLM ограничивать длину модели до 8192 токенов из-за длинного шаблона диалога, хотя метаданные указывают нативный контекст 131 072 токена.

Llama-3.1-Tulu-3-8B-GGUF — текстовая генеративная модель, созданная Allen Institute for AI (AI2) на базе Llama 3.1 Tulu 3 8B. Она предназначена для генерации текста и решения разнообразных задач, включая сценарии, где важны высокая производительность и работа с длинным контекстом. Модель доступна в формате GGUF для использования через llama.cpp и совместимых приложений, включая LM Studio. Модель содержит 8 млрд параметров, поддерживает контекст длиной до 128 тысяч токенов и, согласно карточке, ориентирована на английский язык. Исходная модель, а также данные, код и рецепты обучения заявлены как полностью открытые. GGUF-квантизация выполнена bartowski на основе llama.cpp b4132; конкретные варианты квантизации в README не указаны. Модель распространяется по лицензии llama3.1. README не содержит подробных результатов бенчмарков, сведений о дополнительных модальностях или точных ограничениях качества, поэтому её возможности следует оценивать с учётом возможных неточных или неподходящих ответов генеративной модели.

LLaMa-3.1-Zeroed-70-30-13B — объединённая модель семейства Llama, созданная сообществом mergekit-community с помощью mergekit. В линейном слиянии объединены LLaMa-3.1-Zeroed-13B с весом 0,7 и LLaMa-3.1-Instruct-Zeroed-13B с весом 0,3. Модель содержит 12,5 млрд параметров, работает через Transformers и распространяется в формате safetensors. Модель предназначена для генерации текста и диалогов по запросам и инструкциям. Она принимает текст и поддерживает контекст до 131 072 токенов; метаданные также указывают интерфейс вызова инструментов. Карточка не описывает отдельные специализированные области применения или языки. Лицензия в предоставленных данных не указана. Практическое качество, ограничения по языкам и надёжность вызова инструментов README не характеризует.

unsloth/Llama-3.2-1B-unsloth-bnb-4bit — 4-битная динамически квантованная версия языковой модели Meta Llama 3.2 1B, подготовленная Unsloth на базе meta-llama/Llama-3.2-1B. Модель предназначена для генерации и обработки текста, диалоговых сценариев, суммаризации и задач агентного поиска; формат также ориентирован на эффективное дообучение с меньшими требованиями к памяти и последующий экспорт в GGUF или vLLM. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention (GQA), содержит около 1 млрд параметров и работает по схеме «текст на входе — текст на выходе». В README официально указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Динамическая 4-битная квантизация Unsloth выборочно сохраняет отдельные параметры в более высокой точности, что должно обеспечивать лучший баланс качества и экономии памяти по сравнению со стандартной 4-битной квантизацией. К сильным сторонам относятся компактный размер, сниженные требования к памяти и удобство дообучения. Ограничения — отсутствие визуальной модальности, статичность обучающих данных и потенциальное снижение качества из-за квантизации; заявленный размер контекста в предоставленном README не указан. Модель распространяется по Llama 3.2 Community License; применяются также условия Acceptable Use Policy.

MLX-квантованная версия Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на основе модели Meta. Это языковая модель для генерации текста и выполнения инструкций, подходящая для диалоговых систем, ответов на вопросы, создания и преобразования текста и других задач обработки естественного языка. Модель имеет размер 3 миллиарда параметров и представлена в 8-битном формате, что ориентировано на более эффективный запуск по сравнению с полноразмерной версией. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о размере контекста и дополнительных модальностях в README не приведены. К сильным сторонам относятся компактный размер, instruction-tuning и возможность использования в экосистеме MLX. Ограничения включают отсутствие заявленных характеристик контекстного окна и результатов бенчмарков, а также возможные ошибки, неточности и ограничения качества при работе с языками и сценариями вне заявленного набора. Модель распространяется по Llama 3.2 Community License от Meta; при использовании и распространении действуют требования лицензии, включая соблюдение Acceptable Use Policy, указание «Built with Llama» и сохранение уведомления об атрибуции.

Модель prithivMLmods/Llama-3.2-8B-GGUF-200K — текстовая генеративная модель семейства Llama, разработанная prithivMLmods и дообученная на базе unsloth/meta-llama-3.1-8b-bnb-4bit. В карточке указано, что её можно запускать через Ollama; репозиторий содержит веса в формате GGUF F16. В метаданных отмечены английский язык и датасет HuggingFaceH4/ultrachat_200k. Модель предназначена для генерации текста и диалогового использования. В названии заявлено «200K», но README и метаданные не уточняют длину контекста. Метаданные указывают лицензию creativeml-openrail-m, тогда как README указывает Apache-2.0; условия лицензирования в источниках расходятся, поэтому их следует сверить перед использованием.

tintnguyen/llama3.2-ft — дообученная tintnguyen модель для генерации текста на основе tintnguyen/llama3.2. Она предназначена для текстовых диалогов и других сценариев генерации; в метаданных также заявлен интерфейс вызова инструментов. Модель использует плотную архитектуру LlamaForCausalLM и содержит 3,2 млрд параметров. Родная длина контекста — 131 072 токена; формат весов — safetensors. Модель обучена с использованием Unsloth и библиотеки Hugging Face TRL. Карточка не описывает специализированную предметную область или дополнительные возможности обучения. Лицензия — Apache-2.0.

angrybyte/llama3.2-tt-opt — текстовая языковая модель семейства Llama, разработанная angrybyte и дообученная на базе unsloth/llama-3.2-3b-instruct-bnb-4bit. Модель содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на генерацию текста в диалоговом формате; интерфейс поддерживает вызов инструментов. Указанное контекстное окно — 131 072 токена. Модель подходит для диалоговых приложений и генерации ответов на текстовые запросы. В карточке заявлено обучение с использованием Unsloth и библиотеки TRL. Указана поддержка английского языка. Лицензия — Apache-2.0.

bartowski/Llama-3.3-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Llama 3.3 70B Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, однако конкретные поддерживаемые языки, размер контекста и детали архитектуры в предоставленном README не указаны. Ключевая характеристика этой версии — квантизация, которая обычно позволяет снизить требования к памяти по сравнению с полноразмерными весами, но может сопровождаться некоторой потерей качества; конкретный уровень квантизации README не сообщает. Модель ориентирована на текстовые задачи, а сведения о мультимодальности отсутствуют. Ограничения, показатели качества и рекомендации по аппаратному обеспечению также не приведены, поэтому их нельзя достоверно оценить по имеющимся данным. Модель распространяется на условиях Llama 3.3 Community License от Meta. Лицензия предоставляет ограниченные права на использование, воспроизведение, распространение и модификацию при соблюдении условий соглашения, включая передачу текста лицензии, указание «Built with Llama», обязательное уведомление об авторских правах и соблюдение Acceptable Use Policy. Для продуктов или сервисов с более чем 700 миллионами ежемесячных активных пользователей требуется отдельное разрешение Meta.

RedHatAI/Llama-3.3-70B-Instruct-NVFP4 — это квантизированная версия Meta-Llama-3.3-70B-Instruct, разработанная RedHatAI. Модель предназначена для коммерческого и исследовательского использования в сценариях ассистентского диалога и генерации текста. Она принимает текстовые входные данные и генерирует текстовые ответы. Модель использует архитектуру Meta-Llama-3.3 и содержит 70B параметров согласно идентификатору и базовой модели. Веса и активации линейных операторов в блоках Transformer квантизированы в формат FP4 по схеме NVFP4 с использованием LLM Compressor. Это уменьшает объём хранения и требования к памяти GPU примерно на 75% по сравнению с представлением с 16 битами на параметр. Модель подготовлена для инференса с vLLM версии 0.9.1 и выше; в README приведён сценарий развёртывания на двух GPU. Размер контекста и точные характеристики производительности не указаны. К сильным сторонам относятся существенно сниженные требования к дисковой и GPU-памяти, а также сохранение назначения исходной instruct-модели для чат-сценариев. Ограничением является возможная потеря качества из-за квантизации; README сообщает о проведённых оценках, но приведённые результаты в предоставленных данных неполны. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако указания по области применения ограничивают использование английским языком. Модель распространяется по лицензии llama3.3.

Ereeeeef3/llama-3.3-merged — текстовая модель семейства Llama, созданная автором репозитория с помощью mergekit из unsloth/Llama-3.3-70B-Instruct. Использован метод passthrough: слои базовой модели продублированы, а итоговая плотная архитектура LlamaForCausalLM содержит 55,8 млрд параметров. Модель предназначена для генерации текста и диалогового использования; доступен интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и унаследованные от базовой модели многоязычные возможности. Репозиторий содержит веса safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Карточка описывает способ слияния, но не приводит отдельной оценки качества итоговой модели; дублирование слоёв само по себе не подтверждает улучшение способностей базовой модели.

lainshower/Llama3-8b-alpaca — дообученная в режиме полного fine-tuning модель Llama 3, созданная на основе Llama 3 8B с использованием инструкционных данных Stanford Alpaca. Это плотная авторегрессионная языковая модель с 7,5 млрд параметров и контекстом до 8192 токенов; веса опубликованы в формате safetensors. Модель предназначена для генерации ответов на инструкции и запросы с дополнительным контекстом. В README приведён шаблон диалога Alpaca и пример ответа на вопрос с выбором варианта; заявлено обучение в течение одной эпохи в BF16, поскольку более длительное обучение приводило к переобучению. Для инференса автор рекомендует Float32. Карточка не указывает лицензию, поэтому условия использования определить нельзя.

MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF — набор файлов модели в формате GGUF, созданный и квантизированный MaziyarPanahi на основе MaziyarPanahi/Llama-3-8B-Instruct-64k. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Из указанных данных известны размер 8B, принадлежность к семейству Llama 3, инструктивная настройка и заявленный контекст до 64 тысяч токенов у базовой модели. Поддерживаются варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством. Модель работает с текстом; сведения о языках и дополнительных модальностях не указаны. Формат GGUF ориентирован на эффективный локальный инференс и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Ограничения включают возможные потери качества из-за квантизации, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в README сведений о лицензии, результатах оценки и точных требованиях к ресурсам.

RedHatAI/Llama-4-Scout-17B-16E-Instruct-FP8-dynamic — это динамически квантованная версия мультимодальной модели Meta Llama-4-Scout-17B-16E-Instruct, подготовленная Red Hat совместно с Neural Magic. Модель реализует архитектуру Llama4ForConditionalGeneration, принимает текст и изображения, а генерирует текст. Она поддерживает арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Модель предназначена для задач text-to-text и image-text-to-text: диалоговых приложений, обработки текстовых запросов и анализа изображений с формированием текстового ответа. Веса и активации переведены в формат FP8 с использованием llm-compressor. По данным README, это примерно вдвое снижает требования к GPU-памяти и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных вычислений по сравнению с представлением FP16. В примере развертывания используется максимальная длина контекста 32768 токенов. К сильным сторонам относятся мультимодальность, поддержка нескольких языков и оптимизация для эффективного инференса на vLLM, Red Hat Enterprise Linux AI и Red Hat OpenShift AI. Ограничения включают зависимость от совместимого FP8-оборудования и программного стека; README не содержит результатов бенчмарков или оценки возможной потери качества после квантования. Модель выпущена 15 апреля 2025 года, версия 1.0, и распространяется по лицензии Llama 4.

Llama-Engineer-Evol-7B — языковая модель на архитектуре Llama 2, созданная дальнейшим дообучением чат-модели Meta с настройкой для следования инструкциям. Разработчик дообучил её на более чем 80 тысячах примеров по программированию из наборов Evol-Instruct-Code-80k-v1, CodeAlpaca-20k и GPTeacher-CodeInstruct; QLoRA-адаптер затем объединили с базовой моделью. Модель содержит 6,6 млрд параметров, работает с контекстом до 4096 токенов и рассчитана на генерацию текста на английском языке. Модель предназначена для ответов на вопросы по программированию, объяснения кода и помощи в решении задач разработки. Для взаимодействия рекомендуется формат запросов Llama 2 с инструкцией для программного ассистента. README отмечает, что формальных оценок качества не проводилось, поэтому возможности модели не подтверждены систематическими бенчмарками. Лицензия — CC BY-SA 4.0.

Llama-Spark — разговорная языковая модель компании Arcee.ai на архитектуре Llama, предназначенная для чат-ботов, виртуальных помощников и диалоговых систем. Модель насчитывает 7,5 млрд параметров и создана на основе Llama-3.1-8B: её дообучили на наборе данных Tome, а затем объединили с Llama-3.1-8B-Instruct. В метаданных указано окно контекста до 131 072 токенов. Модель генерирует текст в формате беседы и рассчитана на естественные, информативные ответы. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH; эти оценки не гарантируют качество в конкретном приложении. Для работы с весами в формате safetensors нужна совместимая среда. Лицензия — Llama 3.1 Community License.

Это дообученная версия KKHYA/llavaqwen3-1.7b-finetune с архитектурой AdapterMoELLaVAQwen3ForCausalLM. Модель содержит 1,7 млрд параметров, принимает текст и предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Максимальная длина контекста — 40 960 токенов. Модель загружается через Transformers, веса представлены в форматах PyTorch и safetensors. Датасет дообучения не описан, поэтому конкретные специализации и качество для отдельных сценариев оценить нельзя. Лицензия — Apache-2.0.

Это дообученная модель KKHYA/llavaqwen3-1.7b-finetune с архитектурой MoELLaVAQwen3ForCausalLM и 1,7 млрд параметров. Она предназначена для генерации текста и диалогов; в метаданных также указана возможность интерфейса вызова инструментов. Длина контекста составляет 40 960 токенов. Модель опубликована в форматах PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Данные о датасете и результаты оценки не приведены.

Это дообученная модель KKHYA на базе KKHYA/llavaqwen3-1.7b-finetune, предназначенная для генерации текста и диалогов. В метаданных указаны архитектура NMMaskMoELLaVAQwen3ForCausalLM, 1,7 млрд параметров и контекст до 40 960 токенов; модель доступна в форматах PyTorch и Safetensors и поддерживает интерфейс вызова инструментов. Датасет дообучения и подробные сценарии применения в карточке не описаны. Модель распространяется по лицензии Apache-2.0.

Модель KKHYA/llavaqwen3-1.7b-finetune-nm-mask-moe-sparse-4e-2k-4of8-imp-anchor_20260812_071057 — дообученная версия KKHYA/llavaqwen3-1.7b-finetune с 1,7 млрд параметров. Она предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Архитектура обозначена как nm_mask_moe_llava_qwen3, библиотека — Transformers, веса представлены в форматах PyTorch и Safetensors. Контекст модели — до 40 960 токенов. Модель опубликована под лицензией Apache-2.0. Датасет дообучения и подробные сведения о качестве в карточке не описаны.

Это дообученная модель KKHYA на 1,7 млрд параметров, созданная на основе KKHYA/llavaqwen3-1.7b-finetune. Она использует архитектуру NMMaskMoELLaVAQwen3ForCausalLM и предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Контекстное окно — до 40 960 токенов. Модель загружена в формате PyTorch/Safetensors и распространяется по лицензии Apache-2.0. Датасет дообучения и результаты оценки не описаны.

LM-cocktail Mistral 7B v1 — разговорная текстовая модель на архитектуре Mistral, опубликованная пользователем Yhyu13. В карточке она описана как смесь двух моделей Mistral с равными долями, созданная методом слияния LM-cocktail; точные идентификаторы исходных моделей не приведены. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста и общих задач общения с языковой моделью. Автор сообщает о результатах локального запуска AlpacaEval, где модель заняла второе место после GPT-4, однако описание не приводит подробностей оценки, поэтому это утверждение нельзя считать независимым подтверждением качества. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

LongCat-Flash-Lite-FP8 — языковая модель для генерации текста, разработанная командой Meituan LongCat. Это нерассуждающая модель на архитектуре Mixture-of-Experts (MoE) с 68,5 млрд параметров, из которых при обработке запроса активируется примерно 3 млрд. Модель поддерживает контекст длиной до 256 тысяч токенов благодаря методу YaRN и использует таблицу N-gram embedding объёмом более 30 млрд параметров. Модель предназначена для общего текстового использования, агентских сценариев с применением инструментов и задач программирования. Разработчики отмечают высокую эффективность в агентском взаимодействии и coding-задачах, а также улучшенную скорость и задержку инференса благодаря N-gram Cache и специализированным синхронизированным ядрам. В README не указаны точный список поддерживаемых языков и мультимодальные возможности; по назначению и pipeline_tag модель относится к текстовой генерации. Для запуска через Transformers рекомендуется использовать Python 3.10 или новее, PyTorch 2.6 или новее, Transformers 4.57.6 и Accelerate 1.10.0. Требуется как минимум две видеокарты с 80 ГБ VRAM каждая, например H100 или A100. К ограничениям относятся значительные требования к аппаратным ресурсам, а также отсутствие в представленных данных подробностей о качестве на конкретных языках, мультимодальности и иных аспектах эксплуатации. Модель распространяется по лицензии MIT.