onnx-community/Llama-3.2-3B-Instruct-ONNX — это ONNX-версия модели Llama-3.2-3B-Instruct, разработанной Meta, подготовленная сообществом onnx-community для совместимости с библиотекой Transformers.js.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Репозиторий содержит ONNX-веса базовой модели и предназначен прежде всего для использования в веб-среде и других сценариях, где требуется формат ONNX.
Модель ориентирована на задачи генерации текста и диалогового применения в соответствии с возможностями Llama-3.2-3B-Instruct. Из карточки известно, что размер модели составляет 3 млрд параметров, однако сведения о поддерживаемых языках, длине контекста, модальностях и конкретных вариантах архитектуры не указаны. Преобразование в ONNX облегчает интеграцию с Transformers.js, но README не содержит данных о производительности, требованиях к оборудованию или сравнительных преимуществах.
Модель распространяется по лицензии Llama 3.2. Условия лицензии и ограничения использования следует уточнять в документации Meta. Отдельный репозиторий ONNX-весов обозначен как временное решение до более широкого внедрения WebML.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
https://huggingface.co/meta-llama/Llama-3.2-3B-Instruct with ONNX weights to be compatible with Transformers.js.
Note: Having a separate repo for ONNX weights is intended to be a temporary solution until WebML gains more traction. If you would like to make your models web-ready, we recommend converting to ONNX using 🤗 Optimum and structuring your repo like this one (with ONNX weights located in a subfolder named onnx).
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers.js
Модель выложена для браузера (ONNX / transformers.js), для GPU-рантайма нет весов.