I.5Создание и редактирование текста

kechengcode/Llama-3.1-5B-Instruct-18Layers — компактная текстовая генеративная модель на архитектуре Llama, созданная методом passthrough merge из слоёв Meta Llama 3.1 8B Instruct с помощью mergekit. В репозитории указаны 4,5 млрд параметров, формат safetensors и библиотека Transformers; метаданные указывают контекст до 131 072 токенов. Модель предназначена для диалоговой генерации текста и интерфейсов вызова инструментов. Её можно использовать для ответов на вопросы, черновиков текстов и подключения языковой модели к приложениям с инструментами. Карточка не описывает отдельную специализацию по предметной области или языкам; исходная модель — Llama 3.1 8B Instruct. Лицензия в предоставленных данных не указана. Сокращённый набор слоёв может влиять на качество и поведение относительно исходной модели; отдельные результаты оценки не приведены.

PocketWeights Llama 3.1 8B Instruct abliterated GGUF — это квантизированная версия модели Meta-Llama-3.1-8B-Instruct-abliterated, разработанной huihui-ai на базе архитектуры Meta Llama 3.1. Модель распространяется в форматах GGUF с вариантами квантизации IQ3_M, Q4_K_M и Q6_K, что позволяет запускать её локально на потребительском оборудовании, включая видеокарты с 4–8 ГБ VRAM и компьютеры Apple Silicon. Модель предназначена для генерации текста, диалогов, ролевых сценариев, творческого письма, работы с кодом, анализа репозиториев, создания синтетических данных и исследовательских задач. Заявлена поддержка контекста до 128K токенов, благодаря чему она подходит для обработки длинных документов и многоходовых диалогов. Основной язык и полный набор поддерживаемых языков в README не указаны. К сильным сторонам относятся компактность, возможность автономного запуска, несколько уровней компромисса между качеством и требованиями к памяти, а также отсутствие стандартных отказов и ограничений, характерных для выровненных моделей. Это одновременно является существенным ограничением: модель лишена защитных механизмов, поэтому требует осторожного применения, особенно при работе с потенциально опасными запросами. Качество зависит от выбранного уровня квантизации. Модель распространяется по Meta Llama 3.1 Community License.

helloollel/Llama-3.1-8B-instruct-bilibili — дообученная helloollel диалоговая модель на архитектуре Llama 3.1 с 7,5 млрд параметров, созданная на базе unsloth/Meta-Llama-3.1-8B-Instruct. Карточка сообщает об использовании Unsloth и Hugging Face TRL для обучения. Модель предназначена для диалогов и генерации текста; метаданные также отмечают интерфейс вызова инструментов. Она поддерживает контекст до 131 072 токенов. В тегах карточки указан английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает специальную адаптацию к Bilibili или результаты оценки качества, поэтому её преимущества в этой области установить нельзя. Как и другие генеративные языковые модели, она может выдавать неточные ответы; возможности вызова инструментов зависят от поддерживающего их приложения.

Llama-3.1-8B-Instruct-cpt-tesi_it — дообученная Pietro Ferrazzi модель на архитектуре Llama для диалогов и генерации текста. Она основана на meta-llama/Llama-3.1-8B-Instruct, содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель распространяется в формате Safetensors и предназначена для использования через библиотеку Transformers. Модель подходит для генерации ответов и ведения диалога в текстовых сценариях. README не раскрывает обучающий набор данных, специальные области применения, результаты оценки или ограничения; поэтому нельзя подтвердить дополнительные возможности, связанные с суффиксом названия. Лицензия — Llama 3.1; использование регулируется её условиями.

QuantFactory/Llama-3.1-8B-Instruct-Fei-v1-Uncensored-GGUF — это квантизированная версия модели Llama-3.1-8B-Instruct-Fei-v1-Uncensored, созданная с использованием llama.cpp. Базовая модель разработана на основе Llama 3.1 от Meta, а исходную модификацию подготовил пользователь aifeifei799. Модель предназначена для генерации текста, диалоговых помощников и других задач обработки естественного языка, включая работу с кодом. Это текстовая авторегрессионная модель с оптимизированной архитектурой Transformer и Grouped-Query Attention (GQA), содержащая 8B параметров. Она поддерживает ввод текста и генерирует текст или код, имеет контекст до 128k токенов и рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Квантизация в формате GGUF предназначена для более эффективного запуска, в том числе через llama.cpp, однако README не указывает конкретный тип квантизации, требования к памяти или характеристики производительности. Версия обозначена как uncensored, поэтому её поведение в части отказов и защитных ограничений может отличаться от стандартной instruction-tuned модели Meta; ответы по-прежнему могут быть неточными или небезопасными. Использование регулируется кастомной коммерческой лицензией Llama 3.1 Community License и связанными ограничениями Acceptable Use Policy.

amd/Llama-3.1-8B-Instruct-FP8-KV — это FP8-квантизированная версия Meta-Llama-3.1-8B-Instruct, созданная компанией Advanced Micro Devices (AMD) с использованием инструмента Quark и калибровочных образцов из набора данных Pile. Модель предназначена для задач генерации текста и диалоговых сценариев, поддерживаемых исходной инструкционной моделью Llama 3.1, а также для эффективного развёртывания через backend vLLM. Квантизации подвергнуты все линейные слои, кроме lm_head. Веса, активации и KV-кэш представлены в формате FP8 с симметричным масштабированием на тензор. Экспорт выполняется в формате Quark safetensors, совместимом с vLLM. Для оценки потери точности использовалась perplexity на Wikitext-2: 7,2169 у исходной модели и 7,2752 у данной версии; результаты получены в режиме псевдоквантизации и могут отличаться от показателей фактического инференса. Размер модели, контекстное окно, список языков и другие архитектурные характеристики в README не указаны. Модель ориентирована на снижение требований к памяти и повышение эффективности инференса на совместимом оборудовании, однако FP8-квантизация может незначительно ухудшать качество по сравнению с исходной моделью. Для использования требуется Quark; заявлена возможность развёртывания с помощью vLLM. Лицензия указана как llama3.1, с условиями Meta для Llama 3.1 и дополнительными модификациями, защищёнными авторским правом AMD.

RedHatAI/Llama-3.1-8B-Instruct-NVFP4 — квантованная версия Meta-Llama-3.1-8B-Instruct, разработанная RedHatAI для коммерческого и исследовательского использования. Модель предназначена для диалоговых ассистентов и генерации текста на основе текстовых запросов; поддерживает ввод и вывод только в текстовой модальности. В метаданных заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако README отдельно ограничивает использование английским языком. Модель основана на архитектуре Meta-Llama-3.1 и имеет 8 млрд параметров. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4 с использованием LLM Compressor; размер группы для весов — 16. Это снижает количество бит на параметр с 16 до 4, а требования к дисковому пространству и GPU-памяти примерно на 75%, что делает модель подходящей для эффективного инференса с vLLM версии 0.9.1 и выше. Контекстная длина в README не указана; для калибровки использовалась максимальная последовательность длиной 2048 токенов. К сильным сторонам относятся уменьшенные требования к памяти и возможность производительного развертывания через vLLM, включая OpenAI-совместимый сервер. Ограничением является потенциальное снижение качества по сравнению с неквантизированной базовой моделью, хотя README сообщает о сравнительной оценке без подробных результатов. Модель распространяется по лицензии llama3.1; применение должно соответствовать действующему законодательству, включая требования торгового контроля.

Это диалоговая языковая модель на базе Meta Llama 3.1 8B Instruct, дообученная автором репозитория ferrazzipietro на неизвестном наборе данных. Модель использует плотную архитектуру LlamaForCausalLM, содержит около 7,5 млрд параметров и предназначена для генерации текста и ведения диалога по инструкциям. Карточка не описывает отдельные специализированные сценарии дообучения. Модель принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. Репозиторий использует библиотеку Transformers и формат safetensors. Базовая модель поддерживает многоязычные диалоги, однако README этой версии явно не перечисляет языки. Лицензия — Llama 3.1; применяются её условия использования.

ferrazzipietro/Llama-3.1-8B-Instruct-reas-int-065-3-epochs-it — дообученная модель семейства Llama, созданная на основе meta-llama/Llama-3.1-8B-Instruct. Это плотная авторегрессионная языковая модель с 7,5 млрд параметров для диалогов и генерации текста; в метаданных указана поддержка контекста до 131 072 токенов и библиотека Transformers. README не раскрывает датасет и конкретную специализацию дообучения, поэтому модель можно описать только как чат-модель общего назначения. Модель принимает текстовые запросы и выдаёт текстовые ответы. Базовая модель рассчитана на многоязычные диалоги, однако языки этой версии отдельно не перечислены. Модель распространяется в формате safetensors по лицензии Llama 3.1; условия лицензии следует проверить перед применением в конкретном проекте. Карточка не сообщает об оценках качества или ограничениях, связанных с дообучением.

mradermacher/Llama-3.1-8B-Instruct-Uz-i1-GGUF — это GGUF-квантизированная версия инструкционной модели Llama 3.1 на 8 млрд параметров, созданной на основе behbudiy/Llama-3.1-8B-Instruct-Uz. Квантизацию выполнил mradermacher с использованием imatrix-подхода; доступны варианты с разными уровнями квантизации и размером примерно от 2,1 до 6,7 ГБ, а также файл imatrix для самостоятельного создания квантованных версий. Модель предназначена для генерации текста, ответов на вопросы, суммаризации и перевода. В метаданных заявлена поддержка узбекского и английского языков. Обучение или дообучение связано с наборами yahma/alpaca-cleaned, behbudiy/alpaca-cleaned-uz и behbudiy/translation-instruction. Модель ориентирована на локальный запуск через инструменты, поддерживающие формат GGUF. Сильной стороной является наличие широкого выбора квантованных вариантов, позволяющего подобрать компромисс между размером, скоростью и качеством; для практического использования рекомендуется вариант i1-Q4_K_M, а i1-Q4_K_S обозначен как сбалансированный по размеру, скорости и качеству. Ограничения связаны с потерей качества при низких уровнях квантизации, особенно у вариантов IQ1 и Q2, а максимальный размер контекста и другие подробные архитектурные характеристики в README не указаны. Лицензия обозначена как llama3.1.

Llama3.1-8B-relu-stage-1-dolma-v1_7-50B-4096 — дообученная текстовая модель на архитектуре Llama 3.1 от Skymizer, основанная на meta-llama/Llama-3.1-8B. В метаданных указаны 7,5 млрд параметров и контекст до 131 072 токенов; модель распространяется в формате safetensors и рассчитана на использование с Transformers. Модель предназначена для генерации текста. В README приведён результат оценки: loss 2,3481; набор данных и подробности обучения не раскрыты. Лицензия — llama3.1, условия использования определяются её положениями.

v000000 — линейное слияние языковых моделей, созданное с помощью mergekit на основе Sao10K/Llama-3.1-8B-Stheno-v3.4 и grimjim/Llama-3-Instruct-abliteration-LoRA-8B. Модель построена на архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на генерацию текста в диалоговом формате. Заявленная длина контекста — 131 072 токена. Модель подходит для диалогов, ответов на инструкции, ролевых сценариев и творческого письма; базовая Stheno v3.4 описана в каталоге как англоязычная. В репозитории указаны веса Safetensors, а README также упоминает варианты GGUF и GGUF imatrix, подготовленные другим автором. Лицензия в предоставленных данных не указана.

bunnycore/Llama-3.1-8B-TitanFusion-Mix — объединённая текстовая языковая модель на архитектуре LlamaForCausalLM, созданная с помощью mergekit методом Model Stock. В README указано слияние вариантов TitanFusion v1, v2 и v3; метаданные также связывают модель с grimjim/Llama-3-Instruct-abliteration-LoRA-8B. В репозитории используются веса safetensors, размер модели — 7,5 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогового применения. Метаданные не указывают языки, поэтому нельзя надёжно определить языковую специализацию. В карточке приведены результаты Open LLM Leaderboard для IFEval и BBH, но они не позволяют установить пригодность для конкретных прикладных областей. Лицензия в предоставленных данных не указана.

Dampfinchen/Llama-3.1-8B-Ultra-Instruct — объединённая разговорная языковая модель на архитектуре Llama 3.1, созданная автором репозитория с помощью mergekit и метода DARE TIES. В основе объединения лежит NousResearch/Meta-Llama-3.1-8B; также использованы Llama-3.1-Storm-8B, llama3.1-airoboros3.2-QDT-8B, llama3.1-gutenberg-8B и Llama-3.1-8B-Stheno-v3.4. Модель предназначена для диалоговой генерации текста и выполнения инструкций с шаблоном Llama 3 Instruct. Она содержит 7,5 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. В карточке приведены результаты оценки, включая 80,81 балла на IFEval (0-shot), однако подробные выводы о качестве для отдельных сценариев из этих данных сделать нельзя. Модель распространяется по лицензии Llama 3.1. Автор рекомендует использовать её с осторожностью; применяются условия и ограничения лицензии исходного семейства.

SliceX AI разработала ELM Turbo — семейство компактных языковых моделей Starfruit с модульной декомпозируемой архитектурой. Эта версия представляет собой инструктивно настроенный срез Llama 3.1; в репозитории указано 2,6 млрд параметров, а README относит модель к линейке срезов около 3 млрд параметров. Архитектура — плотная LlamaForCausalLM, формат весов — Safetensors, заявленный контекст — 131 072 токена. Модель предназначена для диалогов и генерации текста по инструкциям. Срезы ELM Turbo рассчитаны на выбор баланса качества, скорости и потребления памяти под разные условия развертывания, включая облачные и периферийные устройства; для ускорения вывода авторы также описывают интеграцию с TensorRT-LLM. README указывает на дообучение с использованием, среди прочего, наборов инструкций Tulu, Orca Math и WizardLM. Модель основана на meta-llama/Meta-Llama-3.1-8B-Instruct. Лицензия — llama3.1; условия её использования следует соблюдать. Авторы предупреждают, что данные дообучения могут содержать ошибки, смещения и неподходящий контент, поэтому ответы следует оценивать и проверять для конкретного применения.

SliceX AI ELM Turbo 6B Instruct — англоязычная диалоговая языковая модель, созданная SliceX AI как срез архитектуры ELM Turbo на основе Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 5,8 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста и выполнения инструкций в диалоге. Архитектура ELM Turbo позволяет выбирать срезы разного размера для компромисса между качеством, скоростью и потреблением памяти; для этой версии выбран вариант на 6B. Обучение включало дообучение на инструкционных наборах, в том числе Tulu, Orca Math и WizardLM. README также описывает оптимизацию инференса и интеграцию TensorRT-LLM. Модель подходит для диалоговых помощников, ответов на вопросы и генерации текста на английском языке. Её ответы могут содержать фактические ошибки, смещения или неподходящий контент; результаты следует проверять. Использование регулируется лицензией Llama 3.1.

Hitmanguy/Llama_3.1_GRPO_AMD — текстовая генеративная модель семейства Llama с числом параметров около 7,5 млрд и нативным контекстом до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев; в метаданных указаны библиотеки Transformers, а также инструменты Unsloth, TRL и метод GRPO, что указывает на использование соответствующего стека для обучения или дообучения модели. Модель может применяться для создания ответов на запросы, продолжения текста, прототипирования диалоговых ассистентов и интеграции в приложения на базе Transformers. README автоматически сгенерирован и почти не содержит сведений о разработчике, исходной модели, языках, обучающих данных, оценивании и лицензии, поэтому качество, область применимости и условия использования требуют дополнительной проверки.

Llama-3.1-Minitron-4B-Chat — чат-модель на архитектуре Llama, созданная дообучением базовой модели NVIDIA nvidia/Llama-3.1-Minitron-4B-Width-Base. Разработчик провёл supervised fine-tuning на 64 тысячах пар «инструкция — ответ» из набора teknium/OpenHermes-2.5; модель содержит 3,9 млрд параметров и рассчитана на генерацию текста в диалоговом формате. Модель подходит для ответов на вопросы, выполнения инструкций и других текстовых диалоговых сценариев. Указанная длина контекста — 131 072 токена. Для использования автор рекомендует передавать запросы в формате чата с ролями system, user и assistant. В метаданных указана библиотека Transformers и формат весов safetensors; лицензия обозначена как other.

Llama-3.1-SauerkrautLM-8b-Instruct-GGUF — это квантованные версии инструкционной текстовой модели Llama-3.1-SauerkrautLM-8b-Instruct, разработанной VAGOsolutions. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp или LM Studio. Модель имеет размер 8 миллиардов параметров и поддерживает немецкий, английский, итальянский, французский, португальский и испанский языки. Доступны варианты от F32 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-форматов; размер файлов варьируется примерно от 3,5 до 32,1 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, а низкие требуют меньше оперативной памяти, но могут заметно ухудшать результаты. Размер контекстного окна и дополнительные модальности в README не указаны, поэтому модель следует считать текстовой. Модель удобна для локального использования на совместимом оборудовании, особенно когда требуется баланс между качеством, скоростью и потреблением памяти. Основные ограничения связаны с потерями качества при агрессивной квантизации и отсутствием подробных данных о бенчмарках, производительности и контекстном окне. Лицензия указана как llama3.1.

Llama-3.1-SuperNova-Lite-GGUF — набор GGUF-квантизированных версий текстовой генеративной модели Llama-3.1-SuperNova-Lite, разработанной arcee-ai и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. В README указана поддержка английского языка и формат prompt’ов, совместимый с Llama 3.1. Доступны варианты от полноразмерных F16 весов размером 16,07 ГБ до компактных версий с квантованием Q2–Q8 и размером примерно от 3,7 до 8,5 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; отдельные варианты оптимизированы для ARM-процессоров и требуют соответствующей поддержки инструкций. Более высокие уровни квантования обеспечивают лучшее качество, тогда как компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметнее терять в качестве. Архитектура, число параметров, модальности и размер контекстного окна в README не указаны. Модель распространяется по лицензии llama3. Условия использования следует дополнительно сверять с лицензией базовой модели Llama-3.1-SuperNova-Lite.

duyntnet/Llama-3.1-SuperNova-Lite-imatrix-GGUF — набор GGUF-квантизаций модели Llama-3.1-SuperNova-Lite, разработанной Arcee.ai на основе архитектуры Llama-3.1-8B-Instruct. Модель предназначена для генерации текста, выполнения инструкций и широкого спектра прикладных задач, где важны высокая производительность и сниженные требования к ресурсам. Она может использоваться через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель содержит около 8 млрд параметров и представляет собой дистиллированную версию Llama-3.1-405B-Instruct: при обучении использовались офлайн-логиты крупной 405B-модели и набор инструкционных данных, созданный с помощью EvolKit. Заявлены сильные стороны в следовании инструкциям, производительности на бенчмарках и адаптации к предметным областям при компактном размере. В README указан английский язык; другие языки, размер контекста и точные характеристики отдельных квантизаций не приведены. Репозиторий содержит именно квантизированные варианты в формате GGUF с использованием imatrix, поэтому фактические требования к памяти и качество зависят от выбранной версии. Лицензия обозначена как other, но её конкретные условия в README не раскрыты.

brittlewis12/Llama-3.1-Tulu-3.1-8B-GGUF — это квантизированная версия языковой модели Tülu 3.1 8B, разработанной Allen Institute for AI (AI2) на базе Llama 3.1. Модель предназначена для генерации текста и следования инструкциям в диалоговых и прикладных сценариях, включая общение, решение математических задач, ответы на вопросы, выполнение заданий с ограничениями и генерацию кода. Указан английский язык. Модель использует архитектуру Llama и содержит около 8 миллиардов параметров. Она распространяется в формате GGUF для запуска с совместимыми инструментами, включая llama.cpp, в том числе локально на устройствах. В версии Tülu 3.1 был улучшен финальный этап обучения с переходом от PPO к GRPO без reward model и дополнительной настройкой гиперпараметров. В README не указан размер контекстного окна и не описаны конкретные схемы квантизации представленных файлов. Сильными сторонами модели являются следование инструкциям, математические рассуждения, выполнение заданий с формальными ограничениями и ответы на вопросы; согласно приведённым оценкам, особенно высокие результаты показаны в GSM8K, IFEval, DROP и BigBenchHard. Ограничениями являются ориентация преимущественно на английский язык, меньший размер по сравнению с крупными моделями и возможные потери качества, связанные с квантизацией. Модель распространяется по лицензии llama3.1.

Llama-3.1-Tulu-3-405B-DPO — большая языковая модель семейства Tülu 3, разработанная Allen Institute for AI (Ai2). Это плотная авторегрессионная модель на архитектуре Llama 3.1 с 403,7 млрд параметров, дообученная методом DPO на основе allenai/Llama-3.1-Tulu-3-405B-SFT. Она предназначена для диалогов и следования инструкциям, а также для широкого круга текстовых задач, включая математические рассуждения и выполнение заданий по заданным критериям. Контекстное окно составляет до 131 072 токенов; основной язык — английский. Модель подходит для создания чат-ассистентов, ответов на вопросы и решения сложных текстовых задач. Карточка приводит результаты оценки на нескольких бенчмарках, включая MATH, GSM8K и IFEval, и описывает её как модель с сильными результатами на разнообразных задачах. Для запуска доступны веса PyTorch и библиотека Transformers. Модель распространяется по Llama 3.1 Community License Agreement. Авторы отмечают, что обучение безопасности ограничено: без дополнительной фильтрации модель может выдавать проблемные ответы, особенно при соответствующих запросах. Для инференса также нужны значительные вычислительные ресурсы из-за размера модели.

Llama-3.1-Tulu-3-70B-GGUF — набор квантизованных версий языковой модели Llama-3.1-Tulu-3-70B, разработанной Allen Institute for AI (AI2) и опубликованной в формате GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp с использованием метода imatrix; доступны варианты от IQ1_M и Q2 до Q8_0 с различным соотношением качества, размера файла и требований к памяти. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. В README указаны английский язык и исходный набор данных RLVR-GSM-MATH-IF-Mixed-Constraints. Поддерживается формат prompt с ролями system, user и assistant. Размер базовой модели — 70 миллиардов параметров; сведения о максимальном контексте и мультимодальности не указаны. Сильной стороной являются многочисленные варианты квантизации: Q6_K и Q5 считаются высококачественными, а Q4_K_M — компромиссным вариантом для большинства сценариев. Более компактные варианты позволяют снизить требования к оперативной памяти, но обеспечивают более низкое качество. Версия Q4_0_8_8 оптимизирована для ARM и AVX и требует поддержки SVE на ARM; для Mac она не рекомендуется. Лицензия указана как llama3.1.

QuantFactory/Llama-3.1-Tulu-3-8B-SFT-GGUF — квантизированная версия модели Llama-3.1-Tulu-3-8B-SFT, созданная QuantFactory с использованием llama.cpp. Исходную модель разработал Allen Institute for AI (AI2) на базе meta-llama/Llama-3.1-8B и дообучил на смеси общедоступных, синтетических и созданных людьми наборов данных, включая allenai/tulu-3-sft-mixture. Модель предназначена прежде всего для следования инструкциям, диалоговых сценариев и генерации текста на английском языке. Она ориентирована на широкий круг задач, включая общение, MATH, GSM8K и IFEval. Это текстовая авторегрессионная модель; заявленная конфигурация содержит 8 миллиардов параметров. Для запуска предусмотрен формат GGUF, подходящий для экосистемы llama.cpp и совместимых средств инференса. В README рекомендуется ограничивать максимальную длину контекста до 8192 токенов при использовании vLLM, однако точное значение контекстного окна для этой карточки не указано. К сильным сторонам относятся улучшенное instruction following и возможность локального запуска благодаря квантизации и формату GGUF. Ограничения включают преимущественную ориентацию на английский язык, отсутствие мультимодальных возможностей в описании и ограниченную безопасность: модель может генерировать проблемные ответы, поскольку не оснащена полноценной фильтрацией ответов в процессе использования. Модель распространяется по Llama 3.1 Community License Agreement; условия исходной лицензии необходимо учитывать при применении квантизированной версии.

Llama3.1-Typhoon2-70B-Instruct — большая языковая модель с 69,5 млрд параметров, разработанная Typhoon AI на основе Llama 3.1 70B. Это плотная авторегрессионная модель семейства Llama для генерации текста и диалогов по инструкциям; карточка также указывает интерфейс вызова инструментов. Репозиторий содержит веса в формате safetensors. Модель рассчитана прежде всего на тайский и английский языки. Она подходит для ответов на вопросы и выполнения инструкций, диалогов, вызова функций, а также задач программирования и математики. Метаданные указывают контекст до 131 072 токенов, тогда как README заявляет 90 тысяч токенов. В сравнительных оценках карточки приведены результаты для следования инструкциям, переключения между тайским и английским, вызова функций, математики и кода. Модель находится в разработке и может выдавать неточные, предвзятые или нежелательные ответы, несмотря на встроенные ограничения. Для использования применяются условия Llama 3.1 Community License; перед внедрением следует проверить соответствие её условий своему сценарию.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

mlx-community/Llama-3.2-1B-Instruct-MLXTuned — конверсия модели Meta Llama 3.2 1B Instruct в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm версии 0.20.5. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров, предназначенная для генерации текста и диалогового использования. Она поддерживает контекст до 131 072 токенов и ориентирована на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель подходит для ответов на вопросы, суммаризации, помощи в написании текстов и диалоговых сценариев. Репозиторий содержит веса в формате safetensors; README описывает преобразование в MLX и использование через mlx-lm. Лицензия — Llama 3.2 Community License. Возможности и качество унаследованы от базовой модели; результаты компактной модели могут быть менее надёжными и подробными, чем у более крупных моделей.

bunnycore объединил методом passthrough через mergekit модели huihui-ai/Llama-3.2-3B-Instruct-abliterated и bunnycore/Llama-3.2-3B-General-lora_model. Это плотная авторегрессионная языковая модель семейства Llama 3.2 с архитектурой LlamaForCausalLM и 3,2 млрд параметров, предназначенная для генерации текста и диалогов. Метаданные указывают интерфейс чата и вызова инструментов; модель принимает текст и генерирует текст. Заявленная длина контекста — 131072 токена. Карточка сообщает о результатах оценки на Open LLM Leaderboard, включая среднее значение 21,30 и результат IFEval 66,69, но не приводит подробного описания методики или сценариев, где модель превосходит другие. Файлы опубликованы в формате safetensors и используют bfloat16. Дата публикации на Hugging Face — 27 октября 2024 года. Лицензия в предоставленных данных не указана.

mlx-community/Llama-3.2-3B-Fluxed — языковая модель семейства Llama 3.2, преобразованная сообществом mlx-community из VincentGOURBIN/Llama-3.2-3B-Fluxed в формат MLX с помощью mlx-lm 0.19.3. Это плотная авторегрессионная модель класса LlamaForCausalLM с 3,2 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. В качестве обучающего набора для исходной модели указан VincentGOURBIN/FluxPrompting, а язык карточки — английский. Репозиторий распространяется в формате safetensors и по лицензии Apache-2.0.