I.2Синтез, понимание и проверка знаний

KangalKhan-RawEmerald-7B — языковая модель для диалогов и генерации текста, созданная Yuma42. Это слияние моделей argilla/CapybaraHermes-2.5-Mistral-7B и argilla/distilabeled-OpenHermes-2.5-Mistral-7B с помощью LazyMergekit. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель предназначена для общения в формате ChatML, ответов на вопросы и генерации текста. В карточке приведены результаты оценки на Open LLM Leaderboard. Автор предупреждает, что варианты GGUF от стороннего автора могут иногда выдавать опечатки и рекомендует в таком случае вариант Q4_K_S GGUF. Модель распространяется по лицензии Apache-2.0.

Карточка модели FAISALFAZALHUSSAIN/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

Карточка модели rayrickypp/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

LFM2-24B-A2B — универсальная инструктивная языковая модель компании Liquid AI из семейства LFM2, предназначенная для локального развёртывания на устройствах и компьютерах. Это гибридная архитектура MoE с 24 млрд параметров, из которых активны около 2,3 млрд на токен; в метаданных указано 3,4 млрд параметров. Модель имеет 40 слоёв: 30 сверточных и 10 attention-слоёв, поддерживает контекст до 128 000 токенов и работает через Transformers. Для хранения весов используется safetensors. Модель подходит для диалогов, вызова инструментов, локальных RAG-систем, суммаризации документов и ответов на вопросы. Её можно использовать для приватных сценариев на собственном оборудовании, включая поддержку клиентов и многошаговые агентные процессы. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Разработчик не рекомендует модель для программирования; она не использует цепочки рассуждений в ответах. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с карточкой репозитория.

trohrbaugh/LFM2-24B-A2B-heretic-ara — модифицированная версия LiquidAI/LFM2-24B-A2B, созданная методом abliteration: в README указано изменение слоёв 17–39 и сравнение с исходной моделью. Это гибридная MoE-модель для генерации текста и диалогов; в карточке указано 3,4 млрд параметров, а исходная модель описана как модель с 24 млрд параметров и примерно 2,3 млрд активных параметров на токен. Контекст модели составляет 128 000 токенов. Модель предназначена для многоязычного чата, вызова инструментов, ответов на вопросы и суммаризации документов, в том числе в локальных RAG-системах и приватных сценариях развёртывания. README сообщает, что в тесте на 100 запросах эта версия отказала в 0 случаях против 96 у исходной модели. Поддерживаемые языки — английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский. Разработчики исходной модели не рекомендуют её для программирования. Лицензия указана как other; конкретные условия следует сверять с карточкой репозитория.

Карточка модели meta-llama/Llama-3.1-405B-Instruct-FP8 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-405B, поэтому описание составлено по ней. Meta Llama 3.1 405B — большая авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention. Она принимает и генерирует текст; семейство Llama 3.1 включает базовые и дообученные версии, а этот репозиторий представляет модель размером 405 млрд параметров. В метаданных указаны библиотека Transformers и формат safetensors. Модель предназначена для генерации текста и многоязычного диалога: её можно применять как основу для помощников и чат-систем, а также адаптировать к другим задачам генерации естественного языка. Семейство поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В карточке отмечены расширенное контекстное окно и возможность интеграции с инструментами разработчиками, но точный размер контекста этой модели не указан. Модель разработана Meta и выпущена в июле 2024 года. Она распространяется по специальной коммерческой лицензии Llama 3.1 Community License; применение должно соответствовать лицензии и Acceptable Use Policy. К ограничениям относятся статичность обученных весов, отсутствие гарантии безопасности или корректности ответов и рекомендация не использовать неподдерживаемые языки без дополнительного дообучения и системных мер контроля.

MLX Community Llama-3.1-8B-Instruct-4bit — это 4-битно квантованная версия инструкционной языковой модели Llama 3.1 8B Instruct, разработанной Meta и адаптированной сообществом MLX для запуска с использованием экосистемы MLX. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, обобщение и другие задачи обработки естественного языка. Модель относится к текстовым моделям и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер базовой модели составляет 8 миллиардов параметров. Квантование до 4 бит снижает требования к памяти и может упростить локальный запуск, однако способно немного ухудшить точность и качество по сравнению с полной версией. В README не указаны размер контекстного окна, конкретные требования к оборудованию и результаты бенчмарков. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 миллионами ежемесячно активных пользователей предусмотрено требование получить отдельную лицензию Meta.

TartuNLP и TalTechNLP разработали Llama 3.1 EstLLM 70B 0826 Instruct — плотную авторегрессионную языковую модель с инструкционной настройкой для диалогов и генерации текста. Модель продолжает предобучение Llama 3.1 70B на примерно 60 млрд токенов, затем прошла supervised fine-tuning и оптимизацию предпочтений DPO. Она содержит 69,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; нативное окно контекста — 131 072 токена. Модель рассчитана прежде всего на эстонский и английский языки. Она подходит для диалоговых ответов, следования инструкциям и генерации текста; в карточке также приведена оценка перевода с английского на эстонский. В опубликованных результатах она сравнивается на задачах проверки инструкций, языковой компетенции, знаний и рассуждений. Лицензия — Llama 3.1 Community License Agreement.

LLaMa-3.1-Instruct-13B — языковая модель, созданная сообществом mergekit-community с помощью mergekit из unsloth/Meta-Llama-3.1-8B-Instruct. Применён метод passthrough: в итоговую модель включены указанные диапазоны слоёв исходной модели. Это плотная архитектура Llama для генерации текста и диалогов; размер составляет 12,5 млрд параметров, нативный контекст — до 131 072 токенов. Модель подходит для ответов на вопросы, диалоговых сценариев и генерации текста; метаданные также указывают интерфейс вызова инструментов. В репозитории используются веса safetensors, библиотека — Transformers. В карточке указана лицензия исходной модели Llama 3.1: используйте модель в соответствии с её условиями.

Карточка модели Openintelligent123/Llama-3.2-1B на Hugging Face совпадает с карточкой unsloth/Llama-3.2-1B, поэтому описание составлено по ней. unsloth/Llama-3.2-1B — текстовая модель генерации на базе Meta Llama 3.2, представленная Unsloth. Это плотная авторегрессионная трансформерная архитектура Llama с 1,2 млрд параметров; репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. В README Unsloth также предлагает ноутбуки для дообучения модели и экспорта полученных моделей. Модель принимает текст и генерирует текст. Семейство Llama 3.2 предназначено для генерации и диалога; в карточке указаны сценарии суммаризации и агентного поиска, а также поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131072 токена. Модель опубликована 25 сентября 2024 года и распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при использовании и распространении.

Карточка модели zsjTiger/Llama-3.2-1B на Hugging Face совпадает с карточкой unsloth/Llama-3.2-1B, поэтому описание составлено по ней. unsloth/Llama-3.2-1B — текстовая модель генерации на базе Meta Llama 3.2, представленная Unsloth. Это плотная авторегрессионная трансформерная архитектура Llama с 1,2 млрд параметров; репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. В README Unsloth также предлагает ноутбуки для дообучения модели и экспорта полученных моделей. Модель принимает текст и генерирует текст. Семейство Llama 3.2 предназначено для генерации и диалога; в карточке указаны сценарии суммаризации и агентного поиска, а также поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131072 токена. Модель опубликована 25 сентября 2024 года и распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при использовании и распространении.

onnx-community/Llama-3.2-1B-Instruct-q4f16 — преобразованная в ONNX версия инструкционной языковой модели Meta Llama 3.2, подготовленная сообществом onnx-community для запуска через Transformers.js. Это авторегрессионный трансформер семейства Llama с плотной архитектурой, примерно 1,2 млрд параметров и контекстом до 131 072 токенов; формат репозитория — ONNX, вариант обозначен как q4f16. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для многоязычного диалога, ответов ассистента, поиска знаний с использованием агентных сценариев, суммаризации, помощи в написании текстов и переформулирования запросов. В карточке перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Инструкционные модели семейства выравнивались с помощью SFT и RLHF; заявлены коммерческое и исследовательское применение по условиям лицензии Llama 3.2 Community License. Это статичная модель с данными обучения до декабря 2023 года; качество и безопасность ответов требуют проверки в конкретном приложении.

Meta разработала Llama 3.2 3B — авторегрессионную языковую модель с оптимизированной архитектурой Transformer и механизмом Grouped-Query Attention. Вариант на 3,21 млрд параметров предназначен для генерации текста и обучен на общедоступных данных; модель принимает и выдаёт текст, включая код. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленная длина контекста семейства — до 128 тысяч токенов. Модель подходит для диалоговых приложений, поиска знаний, суммаризации, мобильных помощников для письма и переформулирования запросов. Карточка описывает семейство с предварительно обученными и настроенными на инструкции вариантами; конкретный репозиторий — базовая модель для генерации текста. Меньший размер рассчитан в том числе на устройства с ограниченными ресурсами, но качество и безопасность могут уступать более крупным моделям и требуют проверки под конкретный сценарий. Знания модели ограничены данными до декабря 2023 года. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

alpindale/Llama-3.2-3B-Instruct — текстовая инструктивно настроенная модель семейства Llama 3.2, разработанного Meta. Это авторегрессионный трансформер с плотной архитектурой и примерно 3,2 млрд параметров, доступный через Transformers в формате Safetensors. Модель принимает и генерирует текст, рассчитана на диалоги и работу в приложениях с ограниченными ресурсами, включая мобильные устройства. Модель предназначена для чат-помощников, поиска знаний и суммаризации, а также для написания текстов и переформулирования запросов. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131 072 токена. Настройка включает контролируемое дообучение и обучение с подкреплением по оценкам людей; заявлены GQA и интерфейс для диалогового применения. Небольшой размер подходит для развертывания в условиях ограниченных ресурсов, но качество и профиль безопасности могут уступать более крупным моделям и требуют проверки для конкретного применения. Модель обучена на статическом наборе данных с отсечкой знаний в декабре 2023 года. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Meta Llama 3.3 70B Instruct — мультиязычная генеративная языковая модель Meta для диалогов и следования инструкциям. Это авторегрессионный трансформер на 70 млрд параметров, дообученный с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель принимает и выдаёт текст, поддерживает контекст до 128 тысяч токенов и оптимизирована для диалоговых сценариев. Модель подходит для создания ассистентов, ответов на вопросы, написания и преобразования текстов, а также генерации синтетических данных. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; русский среди них не указан. Для инференса описана библиотека Transformers, а контрольные точки можно использовать с 8- и 4-битной загрузкой через bitsandbytes для снижения требований к памяти. Модель статична и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года. Она не принимает изображения, аудио или видео; качество и безопасность ответов требуют оценки и мер защиты в конкретном приложении. Использование регулируется пользовательским соглашением Llama 3.3 Community License, включая его ограничения и Acceptable Use Policy.

Llama-3.3-70B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Llama 3.3 70B, разработанной Meta и подготовленной в формате GGUF сообществом lmstudio-community; в метаданных также указан quantized_by: bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи обработки естественного языка. Она относится к семейству текстовых моделей и содержит около 70 миллиардов параметров. Сведения о конкретном варианте квантизации, размере контекста, поддерживаемых языках, точных модальностях и требованиях к аппаратному обеспечению в представленном README отсутствуют. Крупный размер модели потенциально обеспечивает высокое качество рассуждений и генерации, однако обычно требует значительных вычислительных ресурсов; влияние выбранной квантизации на качество и производительность здесь не уточняется. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов необходимо предоставлять текст лицензии, указывать «Built with Llama» и соблюдать применимую политику допустимого использования; для некоторых очень крупных коммерческих сервисов предусмотрены дополнительные лицензионные условия.

Maziyar Panahi разработал Llama-3-8B-Instruct-v0.9 на основе MaziyarPanahi/Llama-3-8B-Instruct-v0.8. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; для общения использует шаблон ChatML и может запускаться через библиотеку Transformers. В карточке приведены результаты тестирования на Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Метаданные указывают английский язык. Репозиторий содержит веса в формате safetensors, а квантизованные GGUF-варианты размещены отдельно. Лицензия указана как other, поэтому перед использованием следует проверить условия лицензии в репозитории.

Llama3-ChatQA-2-8B — диалоговая языковая модель NVIDIA на архитектуре LLaMA 3 с 7,5 млрд параметров. Модель создана на базе Llama 3: контекст расширен с 8K до 128K токенов продолжением обучения, после чего проведено трёхэтапное дообучение по инструкциям. Контрольные точки преобразованы из формата Megatron-LM в формат Hugging Face PyTorch. Модель предназначена для ответов на вопросы по документам и найденному контексту, генерации ответов в диалоге и сценариев RAG. Она оптимизирована для использования предоставленного контекста; модель может обработать документ целиком, если он помещается в контекстное окно. В карточке приведена рекомендация явно сообщать, когда ответ не найден в контексте. Модель поддерживает английский язык и контекст до 128K токенов. Она принимает текст и генерирует текст. Лицензия в предоставленных материалах не указана.

Llama-3-Swallow-70B-v0.1 — плотная авторегрессионная языковая модель семейства Llama 3, разработанная командой Swallow-LLM из Токийского технологического института и AIST. Модель на 69,5 млрд параметров прошла дополнительное непрерывное предобучение на корпусах с преимущественно японскими данными; базовая архитектура — LlamaForCausalLM. Выпущена в июне 2024 года и распространяется в формате safetensors через Transformers. Модель предназначена для генерации текста на японском и английском языках. Её можно применять для ответов на вопросы, чтения и понимания текста, суммаризации, перевода между японским и английским, математических рассуждений и генерации кода. В README приведены результаты оценки на японских и англоязычных наборах задач; указанное родное контекстное окно — 8192 токена. Это базовая, не Instruct-версия: она не настроена на следование человеческим инструкциям и требованиям безопасности. Авторы предупреждают, что модель находится на ранней стадии исследований и разработки. Лицензия — Llama 3; перед использованием следует соблюдать её условия.

Карточка модели Sahabat-AI/Llama-Sahabat-AI-v2-70B-IT на Hugging Face совпадает с карточкой begawansemar7/Llama-Sahabat-AI-v2-70B-IT, поэтому описание составлено по ней. Llama-Sahabat-AI-v2-70B-IT — инструктивная языковая модель из семейства Sahabat-AI, разработанная PT GoTo Gojek Tokopedia Tbk и AI Singapore при соинициировании GoTo и Indosat Ooredoo Hutchison. Это плотная авторегрессионная модель-декодер на архитектуре Llama 3.1 с 69,5 млрд параметров, дообученная для общения и выполнения инструкций в индонезийском языковом контексте. Она предназначена для диалоговых приложений, ответов на вопросы, суммаризации, анализа тональности, перевода, рассуждений и работы с местными языками и культурой Индонезии. Модель принимает текст и генерирует текст. Поддерживает английский, индонезийский, яванский, сунданский, язык батак тоба и балийский. Контекстное окно составляет до 131 072 токенов по метаданным; README указывает 128k. В оценках использовались бенчмарки IndoMMLU, SEA-HELM, SEA-IFEval и SEA-MTBench, в том числе задания на следование инструкциям и многоходовый диалог. Модель может выдавать галлюцинации, нерелевантные ответы и непоследовательные рассуждения; ответы требуют проверки. Для приложений с повышенными требованиями к безопасности разработчикам следует самостоятельно настраивать меры безопасности. Лицензия — Llama 3.1 Community License.

Llama-SEA-LION-v2-8B-IT — языковая модель AI Singapore, разработанная командой Products Pillar при финансировании Singapore NRF. Это плотная decoder-модель на архитектуре Llama 3, дообученная следовать инструкциям на основе Llama-SEA-LION-v2-8B. Она содержит около 7,5 млрд параметров и поддерживает контекст до 8192 токенов. Модель предназначена для диалогов и генерации ответов на инструкции, в том числе на английском, индонезийском, тайском, вьетнамском и тамильском языках. Среди описанных сценариев оценки — ответы на вопросы, анализ тональности и токсичности, перевод, суммаризация, причинно-следственные рассуждения и языковой вывод; также оценивались соблюдение инструкций и многоходовой диалог. Модель доступна в формате safetensors для Transformers по лицензии Llama 3 Community License. Она может галлюцинировать, выдавать нерелевантные сведения и непоследовательно рассуждать. По заявлению разработчиков, модель не проходила safety-выравнивание, поэтому ответы требуют проверки, а для прикладного использования могут понадобиться дополнительные меры безопасности.

LwQ-Reasoner-10B — дообученная модель prithivMLmods для генерации текста и диалогов. Она основана на плотной авторегрессионной архитектуре Llama и обучена на синтетических наборах данных для рассуждений. Размер модели — 9,9 млрд параметров, контекстное окно — 32 768 токенов; веса доступны в формате safetensors, запуск предполагает библиотеку Transformers. Модель предназначена для многоязычных диалогов, следования инструкциям и решения задач, требующих математических рассуждений или использования заданного контекста. Её можно применять в чат-ботах, обучающих помощниках, для ответов на вопросы, составления сводок и генерации текстов. Карточка указывает лицензию Llama 3.1. Качество может различаться между языками; модель может ошибаться в узкоспециализированных темах и сложных многошаговых рассуждениях, а неоднозначные инструкции способны ухудшить результат. При работе с длинными материалами нужно учитывать ограничение контекста, а для запуска модели такого размера требуются значительные вычислительные ресурсы.

M7Yamshadowexperiment28_M7Alloyingotneoy — объединённая модель Mistral от MaziyarPanahi, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/M7Alloyingotneoy-7B. Она предназначена для генерации текста и диалоговых сценариев. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0.

Карточка модели SillyTilly/Meta-Llama-3.1-70B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-70B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-70B — текстовая большая языковая модель, разработанная Meta и представленная в репозитории NousResearch. Это плотная авторегрессионная модель семейства Llama 3.1 с архитектурой оптимизированного Transformer и Grouped-Query Attention; объём — 69,5 млрд параметров. Модель принимает и генерирует текст, а контекстное окно составляет до 131 072 токенов. Модель предназначена для генерации текста и многоязычного диалогового взаимодействия: её можно применять как основу для чат-ассистентов, а также для адаптации под различные задачи генерации естественного языка. Поддерживаемые языки — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Карточка описывает инструктивно настроенные модели семейства как прошедшие SFT и RLHF, но не уточняет отдельно тип настройки именно этого репозитория. К преимуществам относятся большой контекст и поддержка нескольких языков. Возможны ошибки и небезопасные ответы; качество на языках вне перечисленных поддерживаемых языков не гарантируется. Модель распространяется по пользовательской коммерческой лицензии Llama 3.1 Community License, условия которой следует проверить перед использованием.

lmstudio-community/Meta-Llama-3.1-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta Llama 3.1 70B Instruct, подготовленная сообществом lmstudio-community и квантизированная bartowski. Базовую модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии обработки естественного языка. Модель относится к семейству Llama 3.1 и использует архитектуру, поддерживаемую библиотекой Transformers; доступна в формате GGUF для локального запуска в совместимых инструментах. Заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста, конкретный вариант квантизации и модальности в README не указаны; по представленным данным это текстовая модель. К сильным сторонам относятся большой размер 70B и инструкционная настройка, потенциально обеспечивающие высокое качество ответов и следование запросам. Ограничениями являются высокая потребность в вычислительных ресурсах даже после квантизации, а также отсутствие в предоставленных данных подробных сведений о производительности, точности и поддерживаемом контексте. Модель распространяется по Llama 3.1 Community License Meta с требованиями к атрибуции, указанию «Built with Llama» при распространении и соблюдению Acceptable Use Policy.

tbhrc/meta_llama_3_1_8b_instruct_4bit — конверсия Meta Llama 3.1 8B Instruct в формат MLX с 4-битным представлением весов. Исходную модель разработала Meta; конверсию выполнил mlx-community, а репозиторий размещён пользователем tbhrc. Модель представляет собой плотную авторегрессионную LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалоговой генерации текста и поддерживает интерфейс вызова инструментов. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. README указывает на конверсию MLX из meta-llama/Meta-Llama-3.1-8B-Instruct; лицензия — llama3.1. Репозиторий описывает конвертированную MLX-версию с 4-битными весами, тогда как в метаданных формат файлов указан как safetensors.

RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w8a16 — это квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Модель предназначена для коммерческого и исследовательского использования в сценариях диалогового ассистента и генерации текста. Она поддерживает текстовый ввод и вывод, а также английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует архитектуру Meta-Llama-3 и содержит около 8 миллиардов параметров. Веса линейных операторов внутри блоков трансформера квантизированы в INT8 по схеме W8A16 с применением симметричной поканальной квантизации и алгоритма GPTQ; выходной слой lm_head не квантизирован. Это примерно вдвое уменьшает размер модели на диске и требования к GPU-памяти по сравнению с 16-битной версией. Модель оптимизирована для эффективного развёртывания с использованием vLLM; в примере конфигурации указан максимальный размер контекста 8192 токена. По заявленным оценкам, квантизация сохраняет качество в пределах 1% от исходной модели на MMLU, ARC-Challenge, GSM-8K, Hellaswag, Winogrande и TruthfulQA. Основные ограничения связаны с меньшим размером и возможными особенностями качества 8-битной квантизации по сравнению с полной версией, а также с тем, что модель предназначена прежде всего для текстовых, а не мультимодальных задач. Модель распространяется по лицензии Llama 3.1; использование не должно нарушать применимое законодательство и требования экспортного контроля.

lmstudio-community/Meta-Llama-3-70B-Instruct-BPE-fix-GGUF — версия модели Meta-Llama-3-70B-Instruct, разработанной Meta и опубликованной сообществом lmstudio-community в формате GGUF с исправлением BPE. Это текстовая генеративная языковая модель для диалогов, следования инструкциям и других задач генерации текста. В карточке указаны английский язык и конвейер text-generation. Модель относится к семейству Llama 3 и содержит 70 млрд параметров; она предназначена для сценариев, где требуется создание и обработка текста в формате инструкций или диалога. Поддерживаются только текстовые входы и выходы. Сведения об архитектурных деталях, размере контекста, точном наборе поддерживаемых языков и характеристиках производительности в карточке не приведены. Модель требует значительных вычислительных ресурсов из-за большого числа параметров, а формат GGUF ориентирован на локальное или совместимое с ним инференс-развёртывание. Условия использования определяются Meta Llama 3 Community License: лицензия предоставляет ограниченные права на использование, копирование, модификацию и распространение при соблюдении условий Meta, включая принятие Acceptable Use Policy, указание атрибуции и отображение фразы «Built with Meta Llama 3» при распространении. Для продуктов с более чем 700 млн ежемесячных активных пользователей требуется отдельное разрешение Meta.

ThomasBaruzier/Meta-Llama-3-70B-Instruct-GGUF — это GGUF-версия инструкционной языковой модели Meta Llama 3 с размером 70 млрд параметров. Модель разработана Meta и предназначена для генерации текста, диалогов и выполнения инструкций; в карточке также указана задача text-generation. Заявленный язык — английский. Модель относится к текстовым, без указаний на поддержку изображений, аудио или других модальностей. Формат GGUF ориентирован на локальный запуск средствами совместимой инфраструктуры, однако конкретная версия квантования, требования к памяти, максимальный контекст и показатели качества в README не указаны. Сильными сторонами являются инструкционный режим и масштаб 70 млрд параметров, но практические характеристики зависят от используемого варианта GGUF и аппаратного обеспечения. Модель распространяется по Meta Llama 3 Community License. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая сохранение уведомления об атрибуции и указание «Built with Meta Llama 3» при распространении материалов или продуктов. Также требуется соблюдение Acceptable Use Policy; для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

NVIDIA MiniMax-M3-NVFP4 — квантизированная версия мультимодальной модели MiniMax-M3, подготовленная с помощью NVIDIA Model Optimizer. Это модель архитектуры Transformer с Mixture-of-Experts: всего 428 млрд параметров, из которых активно около 23 млрд на токен. Она принимает текст, изображения и видео, а также выдаёт текст; контекстное окно составляет до 1 млн токенов, видео — до 30 минут. Модель предназначена для понимания изображений и длинных видео, программирования на продолжительных задачах, диалогов с инструментами и агентных сценариев. Режим рассуждения можно переключать между углублённым и менее затратным по задержке. Квантизация NVFP4 уменьшает объём весов и требования к памяти примерно вдвое относительно 8-битной версии; в приведённых тестах показатели близки к FP8-базе. Для запуска README указывает vLLM и NVIDIA Blackwell; поддержка MiniMax-M3 NVFP4 доступна в nightly-сборке vLLM. Веса самой модели разработаны не NVIDIA, а сторонней организацией. Лицензия обозначена как other, модель разрешена для некоммерческого использования. Ответы могут быть неточными, неполными или избыточными; модель может воспроизводить токсичность и предвзятость из обучающих данных.