I.5Создание и редактирование текста

Llama-3.1-Nemotron-lorablated-70B — диалоговая текстовая модель на архитектуре Llama, созданная автором репозитория слиянием NVIDIA Llama-3.1-Nemotron-70B-Instruct-HF и mlabonne/Llama-3-70B-Instruct-abliterated-LORA с помощью mergekit и task arithmetic. Модель содержит 69,5 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы; поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и ответов на инструкции, включая запросы, на которые базовая модель могла отказываться отвечать. В метаданных также заявлен интерфейс вызова инструментов. Карточка приводит результаты оценивания на IFEval и BBH, но не описывает конкретный набор поддерживаемых языков. Модель распространяется по лицензии Llama 3.1; применимость её условий следует проверять для конкретного использования.

duyntnet/Llama-3.1-Nemotron-Nano-4B-v1.1-imatrix-GGUF — набор GGUF-квантизаций языковой модели Llama-3.1-Nemotron-Nano-4B-v1.1, разработанной NVIDIA. Исходная модель создана на основе NVIDIA Llama-3.1-Minitron-4B-Width-Base, которая, в свою очередь, получена из Llama 3.1 8B с применением методов сжатия модели. Модель предназначена для генерации текста, диалогов, решения математических и программных задач, рассуждений, Retrieval-Augmented Generation (RAG) и вызова инструментов. Она поддерживает режимы рассуждения и обычного ответа, а также контекст длиной до 128K токенов. Благодаря размеру около 4 млрд параметров и квантизированному формату подходит для локального запуска, в том числе на одной RTX GPU, через llama.cpp, KoboldCPP, text-generation-webui, Ollama, Jan и совместимые интерфейсы. К сильным сторонам относятся сочетание компактности, эффективности, поддержки рассуждений и tool calling, а также многоэтапное дообучение на задачах математики, программирования, рассуждений, диалогов и следования инструкциям. Ограничениями являются текстовая специализация, заявленный язык English и возможные потери качества, связанные с квантизацией; конкретные характеристики зависят от выбранного GGUF-файла. В карточке указана лицензия other; исходное описание сообщает о готовности модели к коммерческому использованию, но точные условия лицензии для данной сборки не раскрыты.

Llama-3.1-Storm-8B — языковая модель команды Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Это плотная авторегрессионная модель семейства Llama на 7,5 млрд параметров, предназначенная для диалога, следования инструкциям, ответов на вопросы, рассуждений и вызова функций. Контекст составляет до 131 072 токенов. Модель дообучена на основе Llama-3.1-8B-Instruct: авторы отобрали около миллиона примеров с упором на образовательную ценность и сложность, провели целевое дообучение с заморозкой половины слоёв, а затем объединили результат методом SLERP с Llama-Spark. В карточке сообщается об улучшениях относительно Llama-3.1-8B-Instruct на ряде бенчмарков; это заявление авторов, и оно не гарантирует аналогичных результатов на прикладных данных. Модель рассчитана на общее применение, в том числе на локальный запуск при ограниченных вычислительных ресурсах; поддерживает работу через Transformers и vLLM, а также сценарии function calling при использовании соответствующего формата запроса. В метаданных указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Чекпойнт представлен в safetensors и использует формат bfloat16 для рекомендованного запуска. Лицензия — Llama 3.1; перед использованием следует учитывать её условия. Авторы отмечают, что отдельного этапа выравнивания модель не проходила.

Llama-3.1-Storm-8B-GGUF — это набор GGUF-квантизаций языковой модели Llama-3.1-Storm-8B, подготовленный bartowski на базе модели akjindal53244. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и function calling. Она поддерживает текстовый ввод и вывод, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Архитектура и размер исходной модели обозначены как Llama-3.1 и 8B; размер контекста в README не указан. Модель распространяется в формате GGUF для запуска через llama.cpp и совместимых приложений, включая LM Studio. Доступны варианты от f32 и Q8_0 до более компактных Q2_K и IQ2_M, поэтому можно выбирать между качеством генерации и требованиями к памяти. Квантизации созданы с использованием imatrix; отдельные варианты применяют Q8_0 для embedding- и output-весов, что заявлено как способ сохранить более высокое качество. Сильными сторонами являются широкий выбор размеров файлов, локальный запуск и поддержка задач instruction following, reasoning и function calling. Ограничения зависят от выбранной квантизации: варианты с низкой битностью имеют заметно более низкое качество, а некоторые прямо не рекомендуются. Лицензия указана как llama3.1; дополнительные условия использования в README не раскрыты.

QuantFactory/Llama-3.1-Storm-8B-GGUF — квантизированная версия модели Llama-3.1-Storm-8B, созданная с помощью llama.cpp. Исходную модель разработали Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Она основана на Llama-3.1-8B-Instruct и дополнительно обучена с применением целевого fine-tuning и объединения с Llama-Spark методом SLERP. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, ответов на вопросы, рассуждений и function calling. Заявлены улучшения по сравнению с Meta-Llama-3.1-8B-Instruct в instruction following, knowledge-driven QA, reasoning, truthful answer generation и агентских сценариях. В частности, авторы сообщают о лучших результатах на IFEval, GPQA, MMLU-Pro, ARC-C, MuSR, BBH, TruthfulQA и BFCL. Квантизация ориентирована на запуск модели с более ограниченными вычислительными ресурсами. Модель имеет около 8 миллиардов параметров и работает с текстом. В README указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Размер контекстного окна и конкретные варианты квантизации в представленном описании не указаны. GGUF-формат предназначен для использования в совместимых инструментах экосистемы llama.cpp, включая Ollama. Модель позиционируется как универсальная и улучшенная в следовании инструкциям, рассуждениях, function calling и снижении галлюцинаций, однако заявленные преимущества основаны на бенчмарках авторов и могут зависеть от сценария и настроек запуска. Условия использования определяются лицензией llama3.1; дополнительные ограничения или требования в README не приведены.

Llama-3.1-Storm-8B-IMat-GGUF — это GGUF-версия модели Llama-3.1-Storm-8B, разработанной akjindal53244 и квантизированной legraphista с использованием llama.cpp и IMatrix. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и function calling. Она относится к семейству Llama 3.1 и имеет размер 8B параметров; исходный тип данных — BF16. Доступны варианты от BF16 и FP16 до низкобитных форматов, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, причём часть вариантов использует IMatrix для улучшения качества квантизации. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель ориентирована на локальный запуск через совместимое с GGUF программное обеспечение, например llama.cpp; конкретный размер контекста в README не указан. Основные преимущества — широкий выбор уровней квантизации, уменьшенный объём файлов и возможность подобрать баланс между качеством и требованиями к памяти. Низкобитные варианты могут уступать полноформатным по качеству, а сведения о результатах тестирования, мультимодальности и ограничениях безопасности отсутствуют. Лицензия указана как llama3.1.

Llama-3.1-SuperNova-Lite-14B — плотная авторегрессионная языковая модель семейства Llama, созданная с помощью mergekit методом passthrough. Модель предназначена для генерации текста и диалогового общения. Репозиторий содержит веса в формате safetensors; метаданные указывают размер 12,7 млрд параметров и контекст до 131 072 токенов. Модель объединяет предварительно обученные языковые модели; README называет компонент слияния Llama-3.1-SuperNova-Lite. Она подходит для генерации продолжений и ответов в чате. Сведений о языковом охвате, лицензии и конкретных ограничениях качества в доступной карточке нет.

bartowski/Llama-3.1-Tulu-3-70B-DPO-GGUF — это набор GGUF-квантизаций модели Llama-3.1-Tulu-3-70B-DPO, разработанной Allen Institute for AI (AI2) и дообученной методом DPO на наборе данных allenai/llama-3.1-tulu-3-70B-preference-mixture. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях вроде LM Studio. В README указаны архитектура семейства Llama 3.1, размер 70B параметров, текстовая модальность и поддержка английского языка. Для взаимодействия используется формат промпта с ролями system, user и assistant. Размер и качество зависят от выбранной квантизации: доступны варианты от Q8_0 объёмом 74,98 ГБ до IQ1_M объёмом 16,75 ГБ. Сильной стороной являются многочисленные варианты квантизации, позволяющие выбирать баланс между качеством, скоростью и требованиями к памяти; наиболее рекомендуемыми в README названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Более компактные варианты экономят память, но могут заметно снижать качество. Для некоторых вариантов указаны аппаратные ограничения, а файл Q4_0_8_8 не рекомендуется использовать на Mac. Лицензия модели — llama3.1.

Llama-3.1-Tulu-3-70B-SFT-GGUF — это набор GGUF-квантизированных версий языковой модели Llama-3.1-Tulu-3-70B-SFT, разработанной AllenAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях с поддержкой GGUF, например LM Studio. Модель содержит 70 миллиардов параметров и основана на архитектуре Llama 3.1; заявленный язык — английский. В репозитории представлены варианты квантизации от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством вывода. Наиболее качественными считаются Q8_0, Q6_K и Q5_K, а Q4_K_M обозначен как подходящий вариант по умолчанию для большинства сценариев. Модели в формате GGUF поддерживают запуск через llama.cpp, однако для версий с низкой точностью возможна заметная потеря качества. Размеры файлов варьируются примерно от 16,75 до 74,98 ГБ, а сведения о размере контекста и мультимодальности не указаны. Для использования требуется достаточно оперативной или видеопамяти в зависимости от выбранной квантизации и конфигурации запуска. Для модели указана лицензия llama3.1.

Llama-3.1-Tulu-3-8B — языковая модель семейства Tülu 3, разработанного Allen Institute for AI (AI2). Это плотная авторегрессионная модель на архитектуре Llama с 7,5 млрд параметров, дообученная на основе allenai/Llama-3.1-Tulu-3-8B-DPO. Она предназначена для диалогов и следования инструкциям, а также для решения широкого круга задач, включая математические вопросы и проверку следования заданным условиям. Модель работает с текстом, поддерживает английский язык и имеет контекстное окно до 131 072 токенов. В карточке описана серия Tülu 3 как открытый пакет постобучения с данными, кодом и рецептами обучения; приведены результаты оценок на ряде бенчмарков. Модель можно загружать через Transformers и обслуживать с помощью vLLM. Указанная лицензия — Llama 3.1 Community License Agreement. Разработчики отмечают, что модель прошла ограниченное обучение безопасности и может выдавать проблемный контент, особенно при соответствующих запросах. В README также советуют при запуске через vLLM учитывать длину шаблона чата и задавать max_model_len=8192.

unsloth/Llama-3.2-1B-bnb-4bit — 4-битная версия модели Meta Llama 3.2 с базовой моделью meta-llama/Llama-3.2-1B, подготовленная Unsloth для эффективного запуска и дообучения. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с поддержкой библиотеки Transformers. Модель работает в режиме текст-ввод — текст-вывод и предназначена для генерации текста, диалоговых приложений, суммаризации и агентных сценариев поиска информации. Модель имеет размер 1B параметров и использует квантование bnb 4-bit, что снижает требования к памяти по сравнению с полноразмерными вариантами. Для семейства Llama 3.2 заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; модель обучалась на более широком наборе языков, однако качество для языков вне официально поддерживаемых может отличаться. Контекстное окно и другие архитектурные параметры в предоставленных данных не указаны. Сильные стороны модели — компактный размер, экономичное использование памяти и удобство последующего дообучения с помощью инструментов Unsloth. Ограничения включают статичный характер обучения на офлайн-данных, возможное снижение качества из-за 4-битного квантования и отсутствие в карточке подробных результатов бенчмарков, параметров контекста и сведений о конкретной версии дообучения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy Meta; лицензия является специальной коммерческой лицензией.

duyntnet/Llama-3.2-1B-imatrix-GGUF — набор GGUF-квантизаций базовой модели Meta Llama 3.2 1B, подготовленный для запуска через llama.cpp и совместимые интерфейсы, включая KoboldCPP, text-generation-webui и Ollama. Модель предназначена для генерации текста, диалоговых сценариев, извлечения знаний, суммаризации, написания текста, а также переформулирования запросов и промптов. Репозиторий содержит квантизированные варианты исходной модели, поэтому конкретные характеристики и качество зависят от выбранного файла квантизации. Исходная Llama 3.2 1B — авторегрессионная языковая модель на оптимизированной архитектуре Transformer с 1,23 млрд параметров, Grouped-Query Attention и общими эмбеддингами. Она работает только с текстом на входе и генерирует текст и код на выходе, поддерживает контекст до 128 тысяч токенов. Официально заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель статична и обучена на данных с отсечкой знаний в декабре 2023 года; README не уточняет, является ли данный репозиторий базовой или instruction-tuned версией. Сильные стороны модели — небольшой размер, возможность локального запуска и снижение требований к памяти благодаря GGUF-квантизации и imatrix. Ограничения включают возможное ухудшение качества при агрессивной квантизации, отсутствие мультимодальности и ограниченность актуальности знаний. Использование регулируется индивидуальной коммерческой Llama 3.2 Community License и Acceptable Use Policy Meta; условия для производных применений и дополнительных языков необходимо соблюдать.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated3 на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

unsloth/Llama-3.2-1B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Llama 3.2-1B-Instruct, распространяемая Unsloth на основе модели Meta. Это авторегрессионная модель с оптимизированной архитектурой Transformer и Grouped-Query Attention (GQA), предназначенная для генерации текста и диалоговых сценариев. Модель ориентирована на мультиязычный диалог, включая задачи суммаризации и agentic retrieval. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель работает только с текстом: принимает текстовые входные данные и генерирует текст. Размер составляет 1 млрд параметров; README не содержит данных о размере контекстного окна. Instruction-tuned версия обучалась с применением supervised fine-tuning (SFT) и reinforcement learning with human feedback (RLHF) для повышения полезности и безопасности. Ключевое преимущество варианта — 4-битное квантование, снижающее требования к памяти и подходящее для более экономичного запуска и дообучения. Ограничения включают меньший размер и, потенциально, более узкие возможности по сравнению с крупными моделями семейства, а также зависимость качества от поддерживаемого языка и сценария. Модель статична и обучена на офлайн-датасете, поэтому не обладает актуальными знаниями без внешних источников. Использование регулируется пользовательской лицензией Llama 3.2 Community License, являющейся специальной коммерческой лицензией Meta.

benjamin/Llama-3.2-1B-Instruct-flax — текстовая разговорная модель семейства Llama 3.2, опубликованная пользователем benjamin в формате Flax для библиотеки Transformers и JAX. Карточка модели создана автоматически и не называет разработчика исходной модели; идентификатор и архитектура указывают на Meta Llama 3.2 1B Instruct. Модель предназначена для генерации текста в диалоговом формате, например для ответов на запросы и ведения беседы. Это плотная авторегрессионная языковая модель примерно на 1,2 млрд параметров с контекстом до 8192 токенов; данные метаданных указывают поддержку чата и интерфейса вызова инструментов. В карточке не приведены сведения о лицензии, обучении или оценке качества, поэтому условия использования следует сверять с лицензией исходной модели.

tjake/Llama-3.2-1B-Instruct-JQ4 — текстовая инструктивно настроенная модель семейства Llama 3.2, разработанного Meta. Она предназначена для диалогов в формате помощника и агентных сценариев, включая поиск знаний, суммаризацию, помощь при написании текстов и переформулирование запросов. Модель использует авторегрессионную архитектуру Transformer с 1,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README указано, что модель прошла supervised fine-tuning и обучение с обратной связью от людей; репозиторий содержит веса в формате safetensors. Указанная лицензия — Llama 3.2 Community License, специальное лицензионное соглашение, допускающее коммерческое и исследовательское использование при соблюдении его условий и Acceptable Use Policy. Компактный размер рассчитан, в частности, на запуск в ограниченных средах, включая мобильные устройства. По сравнению с более крупными моделями у неё могут быть слабее качество ответов и профиль безопасности; разработчикам следует проверять пригодность и защитные меры для своего сценария. Модель статична и обучена на данных с отсечкой знаний в декабре 2023 года.

AIR-hl/Llama-3.2-3B-DPO — диалоговая языковая модель на архитектуре Llama, разработанная AIR-hl и дообученная методом Direct Preference Optimization (DPO) на базе tanliboy/llama-3.2-3b-sft. Обучение проводилось с использованием TRL на наборе предпочтений HuggingFaceH4/ultrafeedback_binarized. Модель предназначена для генерации текста в формате диалога и ответов на запросы пользователя. Она содержит 3,2 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Доступны веса в формате safetensors. Карточка приводит метрики обучения: loss снизился с 0,6924 до 0,5792, accuracy составила 0,7188, reward margin — 0,5234. Эти значения относятся к обучению и сами по себе не гарантируют качество на реальных запросах. Модель распространяется по лицензии llama3.2; перед использованием следует учитывать её условия.

ThomasBaruzier/Llama-3.2-3B-Instruct-GGUF — это инструкционная языковая модель семейства Llama 3.2, представленная в формате GGUF. По идентификатору модели, она основана на версии с примерно 3 миллиардами параметров и предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Базовая разработка Llama 3.2 принадлежит Meta, а данный вариант опубликован пользователем ThomasBaruzier. Модель предназначена для задач текстовой генерации, ответов на вопросы, диалогов, преобразования и обобщения текста, а также других сценариев, где требуется компактная instruction-tuned LLM. В карточке заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai. Архитектура, точный размер контекста, конкретный тип квантования и поддерживаемые модальности в README не указаны; формат GGUF обычно используется для локального инференса, но параметры конкретной сборки здесь не описаны. К сильным сторонам относятся относительно небольшой размер, инструкционная настройка и многоязычная ориентация, что может упростить локальный запуск и интеграцию в приложения с ограниченными ресурсами. Ограничения включают отсутствие в предоставленных данных результатов оценивания, сведений о качестве на отдельных языках и характеристик производительности; как и другие генеративные модели, она может ошибаться и требует проверки результатов. Модель распространяется по Llama 3.2 Community License Meta с требованиями к атрибуции, маркировке продуктов, соблюдению Acceptable Use Policy и специальным условиям для организаций с более чем 700 миллионами месячных активных пользователей.

duyntnet/Llama-3.2-3B-Instruct-imatrix-GGUF — набор квантизированных версий инструкционно дообученной языковой модели Llama 3.2 3B Instruct, разработанной Meta. Репозиторий распространяет модель в формате GGUF с использованием imatrix и предназначен для локального запуска через llama.cpp, KoboldCPP, text-generation-webui или Ollama. Модель представляет собой авторегрессионную текстовую модель на оптимизированной архитектуре Transformer с примерно 3 млрд параметров. Она работает по схеме «текст на входе — текст на выходе» и поддерживает английский язык; исходная модель описывается как мультиязычная, однако для этой конкретной публикации в карточке указан только английский. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback и ориентирована на диалоги, агентный поиск и извлечение информации, суммирование и другие задачи генерации текста. К сильным сторонам относятся компактный размер, возможность локального запуска и совместимость с распространёнными инструментами инференса. Ограничения включают текстовую модальность, отсутствие в README сведений о размере контекста, конкретных параметрах квантизации и результатах бенчмарков. Лицензия указана как other; дополнительные условия использования в карточке не приведены.

RedHatAI/Llama-3.2-3B-quantized.w8a8 — это квантованная текстовая языковая модель семейства Llama 3.2, размещённая Red Hat AI и основанная на модели Meta Llama 3.2. В репозитории указаны формат Safetensors, 8-битная точность и схема W8A8; отдельная карточка модели отсутствует, поэтому сведения о точной процедуре квантования и дополнительных оценках для этой конкретной версии не заявлены. Модель предназначена для генерации текста и кода, а также для адаптации под локальные и периферийные сценарии с ограниченными вычислительными ресурсами. Это авторегрессионная модель с оптимизированной Transformer-архитектурой, примерно 3,21 млрд параметров, текстовыми входами и выходами, поддержкой английского, немецкого, французского, итальянского, португальского, hindi, испанского и тайского языков. Для квантованных текстовых моделей Llama 3.2 заявлен контекст до 8 тысяч токенов. Ключевые преимущества — меньшие требования к памяти, размеру хранения и вычислениям по сравнению с полноточной версией; ограничение — возможная потеря качества из-за квантования, а также отсутствие опубликованной карточки и специфических результатов тестирования именно для данного репозитория. Базовая модель Llama 3.2 разработана Meta, а использование регулируется Llama 3.2 Community License — специальной коммерческой лицензией Meta с дополнительными требованиями Acceptable Use Policy.

bunnycore/Llama-3.2-3B-RP-DeepThink — объединённая диалоговая языковая модель, созданная с помощью mergekit методом linear merge. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; также в объединение вошли bunnycore/Llama-3.2-3B-All-Mix и prithivMLmods/Codepy-Deepthink-3B. Модель основана на архитектуре LlamaForCausalLM, содержит 3,2 млрд параметров и работает с текстом; заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и ответов в диалоге, включая сценарии, где полезны смешанные возможности объединённых моделей. Карточка приводит результаты Open LLM Leaderboard, в том числе IFEval 71,44 и BBH 23,76. Доступна в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

tanliboy/llama-3.2-3b-sft-2 — дообученная модель семейства Llama 3.2, созданная на основе tanliboy/llama-3.2-3b с использованием набора данных tanliboy/OpenHermes-2.5-reformat. Это плотная авторегрессионная языковая модель на 3,2 млрд параметров для генерации текста и диалогов; карточка указывает контекстное окно 131 072 токена и поддержку интерфейса вызова инструментов. В README приведено значение loss 0,6744 на evaluation set, но не описаны протокол оценки и практические сценарии.

Модель prithivMLmods/Llama-3.2-8B-GGUF-200K — текстовая генеративная модель семейства Llama, разработанная prithivMLmods и дообученная на базе unsloth/meta-llama-3.1-8b-bnb-4bit. В карточке указано, что её можно запускать через Ollama; репозиторий содержит веса в формате GGUF F16. В метаданных отмечены английский язык и датасет HuggingFaceH4/ultrachat_200k. Модель предназначена для генерации текста и диалогового использования. В названии заявлено «200K», но README и метаданные не уточняют длину контекста. Метаданные указывают лицензию creativeml-openrail-m, тогда как README указывает Apache-2.0; условия лицензирования в источниках расходятся, поэтому их следует сверить перед использованием.

Llama3.2-DeepHermes-3-3B-Preview-Reasoning-MAX-NEO-Imatrix-GGUF — это GGUF-квантизированная текстовая генеративная модель, основанная на NousResearch/DeepHermes-3-Llama-3-3B-Preview. Сборка подготовлена David_AU с использованием собственной технологии Neo Imatrix и «MAXED»-квантизации, при которой embedding- и output-тензоры сохраняются в формате BF16. Модель предназначена для локального запуска и ориентирована на рассуждения, следование инструкциям, диалог, решение задач, генерацию идей и текста, творческое письмо и ролевые сценарии. Указана лицензия Apache-2.0. Модель имеет размер около 3B параметров и поддерживает контекст до 128k токенов. Она работает только с текстом; сведения о поддерживаемых языках в README не приведены. Доступны варианты квантизации от IQ1_S до Q8_0, отличающиеся размером, скоростью и качеством. Более высокие кванты обычно лучше сохраняют способности к рассуждению, а варианты IQ4XS, IQ4NL и Q4 рекомендуются для творческих задач; для общего применения рекомендуются Q5, Q6 и Q8. Для reasoning-сценариев рекомендуется использовать как минимум IQ3. Сильные стороны модели — компактный размер, высокая скорость локального вывода, улучшенное следование инструкциям и потенциально более высокое качество благодаря Neo Imatrix и сохранению части тензоров в BF16. При этом качество рассуждений напрямую зависит от выбранного кванта: самые компактные варианты заметно уступают более крупным, а README не содержит независимых бенчмарков, подробных данных об обучении или гарантии заявленного превосходства над более крупными моделями. Для комфортной работы рекомендуется окно контекста не менее 8k токенов, особенно для вариантов IQ4 и ниже.

Карточка модели Justbackup/Llama-3.3-70B-Instruct-ablated на Hugging Face совпадает с карточкой NaniDAO/Llama-3.3-70B-Instruct-ablated, поэтому описание составлено по ней. NaniDAO/Llama-3.3-70B-Instruct-ablated — диалоговая модель NaniDAO на архитектуре Llama 3.3, полученная дообучением Meta-Llama-3.3-70B-Instruct с применением техники абляции. Модель предназначена для следования инструкциям и генерации ответов в чате; авторы заявляют, что она реже отказывает на допустимые запросы и рассчитана на более свободное взаимодействие. Модель содержит 69,5 млрд параметров, принимает и генерирует текст, работает с контекстом до 131 072 токенов. В метаданных заявлена поддержка английского, французского, итальянского, португальского, хинди, испанского, тайского и немецкого языков. Доступна в формате safetensors для библиотеки Transformers; лицензия — llama3. Она подходит для диалоговых ассистентов и генерации текста, но заявленное снижение числа отказов требует ответственного применения и не гарантирует точность или безопасность ответов.

Llama-3.3-70B-Instruct-ablated-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama-3.3-70B-Instruct-ablated от NaniDAO. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и LM Studio. Модель относится к семейству Llama и содержит 70 миллиардов параметров. В README указана поддержка английского, французского, итальянского, португальского, хинди, испанского, тайского и немецкого языков. Доступны варианты квантизации от Q8_0 до Q2_K, что позволяет выбирать между качеством генерации и требованиями к памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4. Все версии поставляются в формате GGUF, некоторые крупные варианты разделены на несколько файлов. Сильными сторонами являются большой размер модели, инструкционная настройка, широкий выбор уровней квантизации и пригодность для локального использования. Ограничения включают высокие требования к оперативной памяти, особенно для вариантов высокого качества, а также возможное снижение качества при использовании низкобитных квантизаций. Пометка ablated указывает на изменённую версию базовой модели, а заявленная характеристика uncensored может означать менее строгие ограничения на содержание, однако подробности изменений в README не описаны. Лицензия указана как llama3.

RedHatAI/Llama-3.3-70B-Instruct-NVFP4 — это квантизированная версия Meta-Llama-3.3-70B-Instruct, разработанная RedHatAI. Модель предназначена для коммерческого и исследовательского использования в сценариях ассистентского диалога и генерации текста. Она принимает текстовые входные данные и генерирует текстовые ответы. Модель использует архитектуру Meta-Llama-3.3 и содержит 70B параметров согласно идентификатору и базовой модели. Веса и активации линейных операторов в блоках Transformer квантизированы в формат FP4 по схеме NVFP4 с использованием LLM Compressor. Это уменьшает объём хранения и требования к памяти GPU примерно на 75% по сравнению с представлением с 16 битами на параметр. Модель подготовлена для инференса с vLLM версии 0.9.1 и выше; в README приведён сценарий развёртывания на двух GPU. Размер контекста и точные характеристики производительности не указаны. К сильным сторонам относятся существенно сниженные требования к дисковой и GPU-памяти, а также сохранение назначения исходной instruct-модели для чат-сценариев. Ограничением является возможная потеря качества из-за квантизации; README сообщает о проведённых оценках, но приведённые результаты в предоставленных данных неполны. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако указания по области применения ограничивают использование английским языком. Модель распространяется по лицензии llama3.3.

ApolloRaines/Llama-3.3-8B-Instruct-128K-Jbliterated — доработанная командой ApolloRaines модель на архитектуре Llama 3.3 для диалогов и генерации текста. Она создана на основе shb777/Llama-3.3-8B-Instruct-128K с применением jBlaze precision neural surgery; изменены все 32 слоя. Модель содержит 7,5 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. Модель предназначена для общения и генерации текста с длинным контекстом. В карточке заявлена настройка на снижение отказов: в тесте Heretic на 100 запросах авторы сообщили о нуле настоящих отказов и двух ложных срабатываниях. Авторы также описывают выпуск как демонстрационную версию с намеренно сниженной силой возможностей, а не полную версию продукта. Заявления о скорости и результатах теста относятся к сведениям карточки модели. Поддерживаемые языки по метаданным: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия — Llama 3.1 Community License; применяйте модель с учётом её условий и ограничений.

Mungert/Llama3.3-8B-Instruct-Thinking-Claude-4.5-Opus-High-Reasoning-GGUF — это GGUF-версия дообученной текстовой языковой модели, созданная Mungert на базе Llama-3.3-8B-Instruct от allura-forge. Модель дообучалась с помощью Unsloth в течение трёх эпох на наборе данных TeichAI/claude-4.5-opus-high-reasoning-250x. По заявлению автора, результат представляет собой гибридную Instruct/Thinking-модель с контекстом до 128K токенов, предназначенную для генерации текста и рассуждений. Модель ориентирована на задачи, где важны пошаговое мышление, объяснение сложных тем, творческое письмо, создание сюжетов и сцен, ролевые сценарии и продолжение историй. Заявлены английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Режим Thinking может активироваться автоматически в зависимости от формулировки запроса, однако его включение не гарантируется для любого промпта. Модель относится к текстовой модальности и использует архитектуру семейства Llama с размером 8B. К сильным сторонам относятся большой заявленный контекст, сочетание instruct-поведения с рассуждением и специализация на художественной генерации. Ограничения включают зависимость качества и стабильности от выбранного GGUF-кванта: автор рекомендует Q4KS, IQ3_M или более высокие варианты и предупреждает о возможных проблемах рассуждения у более низких квантов. Модель не предназначена для обновления базовых знаний, поскольку дообучение, по заявлению автора, меняло поведение, а не фундаментальные знания. Распространяется по лицензии Apache-2.0.

QomSSLab/LLama3.3-Rhino-70B-RAG — языковая модель семейства Llama, дообученная QomSSLab на базе unsloth/Llama-3.3-70B-Instruct-bnb-4bit с использованием Unsloth и TRL. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также заявлен интерфейс вызова инструментов. Название указывает на RAG-сценарии, однако README не описывает отдельные возможности поиска или работы с документами. Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. README не приводит оценок качества или подробностей обучения, поэтому пригодность для конкретных RAG-наборов данных следует проверять отдельно.