I.6Перевод и языковая адаптация

llm-jp-4-33b-thinking-gguf — большая языковая модель серии LLM-jp-4, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это Transformer-модель для генерации текста, диалоговых сценариев, решения инструкций и многошаговых задач на японском и английском языках. Модель представлена в формате GGUF и предназначена для локального или серверного запуска совместимых средств вывода. Модель имеет плотную архитектуру с 33,2 млрд параметров, 64 слоями, размером скрытого состояния 5120 и 40 головами внимания. Максимальная длина контекста составляет 65 536 токенов. Токенизатор основан на Unigram byte-fallback и совместим с шаблоном чата в формате OpenAI Harmony, однако для корректной работы следует использовать токенизатор из репозитория модели. Обучение включало предварительное и промежуточное обучение на 11,7 трлн токенов, а также дообучение SFT и DPO. Сильными сторонами модели являются большой контекст, поддержка японского и английского языков, а также ориентация thinking-варианта на рассуждения и выполнение сложных инструкций. README не содержит итоговых численных оценок качества, поэтому сравнивать производительность с другими моделями по этим данным нельзя. Для запуска через llama.cpp требуется специальный fork от LLM-jp с исправлениями обработки токенизатора; стандартная upstream-версия может некорректно обрабатывать чат. Модель распространяется по лицензии Apache-2.0.

SillyTilly/Meta-Llama-3.1-405B-Instruct — текстовая инструкция-настроенная модель Meta из семейства Llama 3.1. Это авторегрессионный плотный Transformer с архитектурой LlamaForCausalLM и механизмом Grouped-Query Attention; в репозитории указано около 408 млрд параметров, формат весов safetensors и контекст до 131 072 токенов. Модель принимает и генерирует текст и предназначена для диалоговых сценариев с ассистентом, генерации текста и использования в коммерческих и исследовательских приложениях. Модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Ключевые особенности семейства включают настройку инструкциями с помощью supervised fine-tuning и обучения с обратной связью от людей, а также возможности многоязычного диалога и интеграции с внешними инструментами на стороне приложения. Репозиторий создан пользователем SillyTilly; README описывает модель Meta Llama 3.1. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License и Acceptable Use Policy. К ограничениям относятся непредсказуемые или небезопасные ответы, а также недостаточно надёжное качество и безопасность на языках, не входящих в перечень поддерживаемых; при подключении инструментов разработчик должен отдельно контролировать их безопасность и целостность.

win10/Mistral-Nemo-abliterated-Nemo-Pro-v2 — слитая диалоговая языковая модель на архитектуре Mistral, созданная методом TIES с помощью mergekit. В качестве основы использована natong19/Mistral-Nemo-Instruct-2407-abliterated; в слияние также включены shuttleai/shuttle-2.5-mini и cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b. Модель предназначена для диалогов и генерации текста. Она содержит 12,1 млрд параметров, работает с текстом и опубликована в формате safetensors для библиотеки Transformers. Метаданные указывают контекст до 1 024 000 токенов и интерфейс вызова инструментов. Модель поддерживает многоязычную генерацию. Данных о специальных предметных областях или конкретных ограничениях качества в карточке нет. Лицензия в предоставленных сведениях не указана.

Это BF16-версия Mistral Small 3.2 24B Instruct в формате GGUF, подготовленная сообществом mlx-community и опубликованная TensorBlock. Репозиторий содержит файлы, совместимые с llama.cpp; модель предназначена для диалоговой генерации текста и работы с инструкциями. В README приведён шаблон промпта и варианты квантованных файлов, причём для некоторых малых квантовок отмечена существенная потеря качества. Модель содержит 24 млрд параметров и поддерживает многоязычный диалог, в том числе на русском, английском, французском, немецком, испанском, китайском и других языках из карточки. Лицензия — Apache-2.0. Указанная сборка — BF16 в GGUF; доступность файлов разных квантовок позволяет выбирать компромисс между размером и качеством. Для работы с GGUF требуется совместимый рантайм; README подтверждает совместимость с llama.cpp начиная с указанного коммита.

Модель agentlans/multilingual-e5-small-aligned-v2 — мультиязычная модель эмбеддингов на базе Sentence Transformers, разработанная как дообучение agentlans/multilingual-e5-small-aligned. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического сравнения и поиска; близость векторов оценивается косинусным сходством. Модель использует архитектуру BERT с усреднением токенных представлений и нормализацией выходного вектора. Максимальная длина последовательности — 512 токенов. Дообучение проводилось на парах предложений из Tatoeba, включая примеры на разных языках; модель выравнивает представления переводов, чтобы их векторы были близки. Подходит для семантического поиска, поиска перефразирований, кластеризации и классификации текста на основе эмбеддингов. Репозиторий распространяется по лицензии MIT.

NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 — квантизированная версия большой языковой модели NVIDIA Nemotron-Nano-3-30B-A3B, разработанная NVIDIA Corporation. Модель обучена с нуля и предназначена для генерации текста, решения задач с рассуждением и без него, а также создания специализированных AI-агентов. Она поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Модель использует гибридную архитектуру Mixture-of-Experts, включающую 23 слоя Mamba-2 и MoE, а также 6 Attention-слоёв. Всего модель содержит 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена. В каждом MoE-слое используются 128 экспертов и один общий эксперт, при этом на токен активируются 6 экспертов. Модель может сначала формировать reasoning trace, а затем итоговый ответ; режим рассуждений настраивается через chat template. Отключение промежуточных рассуждений сокращает вывод, но может немного снизить точность на сложных задачах. Размер контекста в README не указан. К сильным сторонам относятся сочетание эффективности разреженной MoE-архитектуры с возможностями рассуждения, поддержка нескольких языков и готовность к коммерческому использованию. FP8-квантизация может снизить требования к ресурсам по сравнению с полноточной версией, однако конкретные требования к оборудованию не приведены. Показатели на опубликованных тестах у FP8-версии немного ниже, чем у базовой BF16-версии, например 87,7 против 89,1 на AIME25 без инструментов и 78,1 против 78,3 на MMLU-Pro. Использование модели регулируется NVIDIA Nemotron Open Model License.

OpenBuddy — это мультиязычная чат-модель, разработанная проектом OpenBuddy на базе семейства Meta LLaMA. В репозитории представлена плотная авторегрессионная архитектура LlamaForCausalLM размером 12,9 млрд параметров, с контекстом до 65 536 токенов; веса сохранены в формате Safetensors. Модель предназначена для диалогов и генерации текста на китайском, английском, французском, немецком, японском, корейском, итальянском, русском и финском языках. Модель подходит для чат-ботов, ответов на вопросы и генерации текста с длинным контекстом. Она может выдавать ошибочные, вредные или оскорбительные ответы, поэтому не подходит для критически важных решений, медицинских рекомендаций и управления системами, где ошибка может причинить ущерб. Использование регулируется лицензией Llama 2: требуется соблюдать условия Meta и иметь право на доступ к исходной модели; модель предоставляется без гарантий.

OpenBuddy-openbuddy-mistral-22b-v21.1-32k — разговорная языковая модель OpenBuddy для многоязычного чата и генерации текста. Она основана на плотной архитектуре Mistral и содержит 22,1 млрд параметров; карточка рекомендует использовать быстрый токенизатор Transformers и указывает совместимость с Transformers и vLLM. Модель принимает текстовые запросы и генерирует текстовые ответы, а её нативное контекстное окно составляет 65 536 токенов. Модель предназначена для диалоговых сценариев на китайском, английском, французском, немецком, японском, корейском, итальянском, русском и финском языках. Её можно применять для чат-ботов, ответов на вопросы, диалогового письма и суммаризации длинного контекста. Лицензия — Apache 2.0. Разработчики предупреждают, что ответы могут быть ошибочными, вредными или оскорбительными, и не рекомендуют применять модель в критических сценариях, включая медицину и важные финансовые или юридические решения.

OpenBuddy-mixtral-7bx8-v16.3-32k — многоязычная чат-модель семейства Mixtral, опубликованная командой OpenBuddy. Она предназначена для диалогов и генерации текста; архитектура — Mixtral MoE, класс MixtralForCausalLM. В репозитории указаны 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Лицензия — Apache 2.0. Ответы могут быть ошибочными, вредными или оскорбительными; модель не следует использовать для решений в медицине, финансах, праве и других критически важных сценариях.

Карточка модели ff670/openbuddy-mixtral-7bx8-v17.3-32k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-mixtral-7bx8-v16.3-32k, поэтому описание составлено по ней. OpenBuddy-mixtral-7bx8-v16.3-32k — многоязычная чат-модель семейства Mixtral, опубликованная командой OpenBuddy. Она предназначена для диалогов и генерации текста; архитектура — Mixtral MoE, класс MixtralForCausalLM. В репозитории указаны 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Лицензия — Apache 2.0. Ответы могут быть ошибочными, вредными или оскорбительными; модель не следует использовать для решений в медицине, финансах, праве и других критически важных сценариях.

Карточка модели OpenBuddy/openbuddy-mixtral-8x7b-v16.1-32k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-mixtral-7bx8-v16.3-32k, поэтому описание составлено по ней. OpenBuddy-mixtral-7bx8-v16.3-32k — многоязычная чат-модель семейства Mixtral, опубликованная командой OpenBuddy. Она предназначена для диалогов и генерации текста; архитектура — Mixtral MoE, класс MixtralForCausalLM. В репозитории указаны 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Лицензия — Apache 2.0. Ответы могут быть ошибочными, вредными или оскорбительными; модель не следует использовать для решений в медицине, финансах, праве и других критически важных сценариях.

Карточка модели OpenBuddy/openbuddy-mixtral-8x7b-v16.2-32k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-mixtral-7bx8-v16.3-32k, поэтому описание составлено по ней. OpenBuddy-mixtral-7bx8-v16.3-32k — многоязычная чат-модель семейства Mixtral, опубликованная командой OpenBuddy. Она предназначена для диалогов и генерации текста; архитектура — Mixtral MoE, класс MixtralForCausalLM. В репозитории указаны 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Лицензия — Apache 2.0. Ответы могут быть ошибочными, вредными или оскорбительными; модель не следует использовать для решений в медицине, финансах, праве и других критически важных сценариях.

Qwen/Qwen3-0.6B-MLX-bf16 — версия модели Qwen3, подготовленная для запуска с библиотекой MLX. Это плотная авторегрессионная языковая модель с 507,9 млн параметров, основанная на Qwen/Qwen3-0.6B-Base; в репозитории указаны веса safetensors и лицензия Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математических задач, генерации кода, перевода и сценариев с вызовом инструментов. Модель поддерживает режимы с рассуждениями и без них, которые можно переключать при формировании запроса. Карточка описывает поддержку более 100 языков и диалектов. Контекст в метаданных указан как 40 960 токенов; README базовой модели приводит 32 768 токенов. Модель компактна по числу параметров и рассчитана на запуск через MLX, однако карточка не приводит отдельной оценки качества именно этой версии на конкретных задачах. Как и другие небольшие языковые модели, она может ошибаться в фактах, рассуждениях и коде; для режима рассуждений важен подбор параметров генерации.

FastFlowLM/Qwen3-0.6B-NPU2 — языковая модель семейства Qwen3, разработанная командой Qwen; в README она указана как производная от базовой модели Qwen/Qwen3-0.6B. Это причинная языковая модель для генерации и продолжения текста, диалогов, следования инструкциям, решения математических и логических задач, генерации кода, творческого письма, перевода и сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами рассуждения и обычного ответа в рамках одного запроса. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, и включает 28 слоёв. Используется Grouped Query Attention с 16 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. В README заявлена поддержка более 100 языков и диалектов, однако для данной карточки явно указан язык English. Модель относится к текстовой модальности; сведения о поддержке изображений, аудио или видео отсутствуют. Сильными сторонами являются компактный размер, возможность выбора между более глубоким рассуждением и эффективной генерацией, а также ориентация на диалоги, инструкции, мультиязычные задачи и работу в агентных сценариях. Ограничения включают небольшой объём параметров по сравнению с крупными моделями и отсутствие в README подробных результатов бенчмарков, требований к оборудованию и специфических характеристик варианта NPU2. Для использования рекомендуется актуальная версия библиотеки Transformers; также указана совместимость с vLLM и SGLang. Лицензия — Apache-2.0.

Qwen3.5-9B-AWQ — это 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen группы Alibaba. Модель предназначена для генерации текста по текстовым запросам, а также для обработки интерleaved-входов с изображениями и текстом; базовая модель также поддерживает видео. Предусмотрен режим рассуждений, включённый по умолчанию. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Gated DeltaNet и sparse MoE с vision encoder. Нативная длина контекста составляет 262 144 токена, с возможностью расширения посредством RoPE scaling. Заявлена поддержка 201 языка и диалекта. Квантизация выполнена по схеме W4A16: веса линейных слоёв языковой модели представлены в 4-битном формате, а активации — в 16-битном; vision tower, router gates и lm_head сохранены в более высокой точности. Главное преимущество версии AWQ — уменьшенные требования к дисковому пространству и VRAM при сохранении возможностей базовой vision-language модели, что делает её подходящей для запуска на одной потребительской GPU. Для инференса требуется совместимая GPU с поддержкой INT4 Marlin и свежая версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration; работоспособность проверена на NVIDIA Blackwell. Ограничения включают зависимость от поддержки compressed-tensors в используемом стеке и потенциальные потери точности, характерные для квантизации, хотя vision tower намеренно не квантизован для сохранения качества понимания изображений. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.5-9B.

Qwen3.8-27B-2bit-MLX-TextOnly — текстовая квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованная пользователем lukaskremla в формат MLX с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста, диалогов, рассуждений, работы с инструментами и задач с длинным контекстом; заявлена поддержка нескольких языков. Модель содержит около 27 млрд параметров и использует 2-битное weight-only-квантование с affine RTN-квантизацией и group size 64. Это text-to-text-модель: vision tower удалён, поэтому обработка изображений и другие визуальные сценарии не поддерживаются. Формат MLX ориентирован на запуск в экосистеме Apple MLX и mlx-lm. Точная длина контекста и архитектурные детали в README не указаны. Ключевое преимущество — существенно сниженные требования к памяти по сравнению с полноразмерной моделью, что делает её пригодной для локального запуска при сохранении возможностей исходной текстовой модели. Ограничения связаны с 2-битным квантованием, которое может снизить точность и качество по сравнению с исходной моделью, а также с отсутствием визуального ввода. Модель распространяется по лицензии Apache-2.0.

Leroy Dyer представляет SpydazWeb AI HumanAI RP — объединённую модель для генерации текста на основе Mistral 7B. Автор сообщает о длительном дообучении и слиянии нескольких моделей; метаданные указывают размер 7,1 млрд параметров, архитектуру Mistral и лицензию Apache-2.0. Карточка описывает модель как ориентированную на диалоги, ролевые сценарии, рассказывание историй и следование инструкциям, а также на структурированные ответы, планирование и генерацию кода. Модель рассчитана на текстовые сценарии, включая ролевые игры и персонажей, ответы на вопросы, перевод, суммаризацию, программирование и задачи с агентами или инструментами. В README также заявлена работа с изображениями и аудио через текстовые представления Base64 и спектрограммы, однако метаданные подтверждают только задачу text-generation, поэтому эти возможности следует считать заявлениями автора. Автор заявляет контекст до 512 тыс. токенов, но отмечает, что обучение в основном проводилось на последовательностях длиной 2048 токенов. Автор предупреждает, что модель может ошибаться и выдавать NSFW-контент; её ответы требуют проверки, особенно в медицинских и других чувствительных сценариях. Условия использования определяются лицензией Apache-2.0.

Suzhou 3.1 — созданная Tripplet Models инструкционная языковая модель с архитектурой причинного трансформера Qwen3.5, объединённая методом SLERP. В метаданных указано 7,2 млрд параметров, а README сообщает об округлённом размере 8,95 млрд; модель использует смешанное внимание с линейными и полными слоями и поддерживает контекст до 262 144 токенов. Модель предназначена для диалогов, рассуждений, генерации текста и работы в роли агента с вызовом инструментов в формате Hermes. Заявлена поддержка более 29 языков; метаданные перечисляют английский, китайский, корейский, японский, французский, испанский, немецкий, итальянский, русский и арабский. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. README описывает модель как пригодную для потребительского оборудования, но не приводит результатов сравнительных тестов.

Модель T5, разработанная utrobinmv, предназначена для суммаризации текста на английском, русском и китайском языках с управляемой длиной результата. Она также умеет формировать краткое содержание на выбранном из этих языков, в том числе по тексту на другом или смешанном языке. Это плотная модель T5ForConditionalGeneration на 149,1 млн параметров, дообученная на базе utrobinmv/t5_translate_en_ru_zh_base_200. Задача выбирается префиксом: обычное, краткое или расширенное резюме; можно также указать язык вывода — английский, русский или китайский. По карточке модель рассчитана на входной контекст до 2048 токенов; длина результата зависит от режима и составляет до 200 токенов для расширенного резюме, 50 для обычного и 20 для краткого. Модель подходит для сжатия текстов и подготовки резюме на одном из трёх поддерживаемых языков. Лицензия — Apache-2.0. В карточке приведены примеры использования, однако код примеров опущен; качество на других языках и на текстах длиннее указанного контекста не описано.

Cerberus-v0.1 — языковая модель BRAHMAI для генерации текста и диалогового взаимодействия. Это плотная трансформерная модель семейства Llama с 69,5 млрд параметров, реализованная для Transformers и распространяемая в формате safetensors. Контекстное окно составляет 8192 токена; в метаданных указан английский язык. Модель предназначена для создания текстов, перевода, суммаризации документов и ответов на вопросы. Её можно применять в творческом письме, подготовке кратких изложений и информационных чат-сценариях. Карточка заявляет поддержку нескольких языков, но не приводит их перечень или результаты численных бенчмарков. Модель выпущена в июне 2024 года. Лицензия — Llama 3 Community License (llama3). Карточка отмечает, что качество может различаться в зависимости от предметной области, а ответы могут упускать культурные и контекстные нюансы.

Это конверсия модели OpenAI Whisper Base в формат CTranslate2, опубликованная Guillaume Klein. Она предназначена для распознавания речи и может использоваться через CTranslate2 или проекты на его основе, например faster-whisper. Модель принимает аудио и выдаёт текст; поддерживает многоязычное распознавание, включая русский. Веса сохранены в FP16, а тип вычислений можно выбирать при загрузке через параметр compute_type. Репозиторий распространяется по лицензии MIT.

brittlewis12/gemma-3-27b-it-GGUF — это квантизированная в формате GGUF версия Gemma 3 27B IT, разработанной Google DeepMind и преобразованной пользователем brittlewis12 с помощью llama.cpp. Модель предназначена для генерации текста в режиме instruction tuning: ответов на вопросы, суммаризации, рассуждений и других диалоговых и текстовых сценариев. Формат GGUF ориентирован на локальный запуск через совместимые инструменты, включая llama.cpp, на компьютерах и мобильных устройствах. Модель содержит 27 миллиардов параметров, поддерживает контекст до 128K токенов и, согласно README исходной модели, более 140 языков; в метаданных этого репозитория явно указан английский язык. Gemma 3 также заявлена как способная к пониманию изображений, однако данный репозиторий описывает pipeline для генерации текста, поэтому возможности именно этой GGUF-сборки в мультимодальных сценариях не уточнены. К сильным сторонам относятся большой контекст, широкий языковой охват и пригодность для локального развертывания, но размер модели может предъявлять значительные требования к памяти и вычислительным ресурсам, зависящие от конкретного уровня квантизации. Модель распространяется по лицензии Gemma. Для корректного использования необходимо применять шаблон запросов Gemma Instruct, приведённый в README. Точные параметры квантизации, требования к оборудованию и дополнительные ограничения лицензии в предоставленных данных не указаны.

Gixtral 100B — разговорная языковая модель для генерации текста и выполнения инструкций, созданная ehristoforu путём объединения нескольких моделей семейства Mixtral и WizardLM, включая Mixtral-8x22B-Instruct-v0.1, Mixtral-8x7B-Instruct-v0.1, Dolphin и WizardLM-2-8x22B. Архитектура — Mixtral с разреженной экспертной структурой (MoE); в метаданных указано 9,7 млрд параметров и контекстное окно 32 768 токенов. Модель подходит для диалогов, ответов на запросы, следования инструкциям и генерации текста на английском, французском, немецком, испанском и итальянском языках. Для объединения использованы наборы данных, включающие примеры для программирования и инструктивных диалогов. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. README описывает модель как объединение моделей, хотя в метаданных среди базовых моделей также указаны Dolphin и WizardLM. Практические результаты объединения и сравнительные оценки в карточке не приведены; фактическое качество может зависеть от запроса и используемой конфигурации.

VAGO solutions Llama-3.1-SauerkrautLM-70b-Instruct — плотная языковая модель семейства Llama 3.1 с 69,5 млрд параметров, созданная VAGO solutions дообучением Meta-Llama-3.1-70B-Instruct. Для Spectrum Fine-Tuning обучали 15% слоёв на немецко-английском наборе Sauerkraut Mix v2; авторы сообщают об улучшениях за счёт межъязыкового переноса также для арабского, итальянского, французского, испанского, нидерландского и португальского языков. Модель предназначена для диалогов и генерации текста на этих языках, включая задачи с длинным контекстом до 131 072 токенов и сценарии с интерфейсом вызова инструментов. В карточке заявлено улучшение многоязычных навыков и приведены названия наборов для оценки, включая MMLU-Multilingual, но численные результаты не указаны. Репозиторий содержит веса в формате Safetensors. Лицензия — llama3.1. Авторы предупреждают, что модель может выдавать неподходящий или некорректный контент; результаты бенчмарков и стабильность поведения следует проверять для конкретных задач.

Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

unsloth/Llama-3.2-3B-bnb-4bit — 4-битная версия языковой модели Llama 3.2 с 3 млрд параметров, подготовленная Unsloth на базе Meta Llama 3.2. Это авторегрессионная текстовая модель с архитектурой оптимизированного Transformer и механизмом Grouped-Query Attention (GQA), предназначенная для генерации текста и диалоговых сценариев. Модель ориентирована на многоязычные задачи, включая диалоговые системы, агентный поиск с извлечением данных и суммаризацию. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель работает в режиме «текст на входе — текст на выходе»; сведения о размере контекста в карточке не указаны. Благодаря 4-битному квантованию версия рассчитана на более экономичное по памяти развертывание и удобна для локального использования и дообучения. Сильными сторонами являются компактный размер, сниженные требования к памяти и поддержка сценариев дообучения через инструменты Unsloth. Ограничения включают текстовую, а не мультимодальную специализацию, статичность модели и отсутствие гарантии актуальности знаний, поскольку она обучена на офлайн-данных. Использование регулируется кастомной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy Meta.

bartowski/Llama-3.2-3B-Instruct-GGUF — это квантованная в формате GGUF версия языковой модели Llama 3.2 3B Instruct, разработанной Meta и подготовленной к распространению пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, помощь в написании и обработке текста, а также локальный инференс в совместимом программном обеспечении. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель содержит около 3 миллиардов параметров и относится к текстовым моделям; сведения о точной архитектуре, размере контекста, конкретном уровне квантования и поддержке дополнительных модальностей в карточке не приведены. Формат GGUF ориентирован на эффективный запуск и снижение требований к памяти, однако квантование может уменьшать точность по сравнению с исходными весами. Модель распространяется по лицензии Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy.

MaziyarPanahi/Meta-Llama-3.1-405B-Instruct-GGUF — это набор файлов модели в формате GGUF для Meta-Llama-3.1-405B-Instruct, разработанной Meta (meta-llama) и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, в локальных приложениях на базе llama.cpp и совместимых библиотек и интерфейсов. Модель имеет размер 405 миллиардов параметров, относится к текстовым моделям и поддерживает языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. В репозитории представлены варианты квантизации с разрядностью 2 и 3 бита; конкретные характеристики зависят от выбранного файла. В примере указано контекстное окно до 131 072 токенов. Формат GGUF упрощает локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другими инструментами. Сильными сторонами являются большой размер исходной модели, поддержка нескольких языков, инструкционное обучение, длинный контекст и возможность локального использования с квантизированными файлами. Ограничениями остаются очень высокие требования к вычислительным ресурсам, возможные потери качества из-за агрессивной квантизации и отсутствие в README подробных данных о точности, производительности и рекомендуемом оборудовании. Модель распространяется по лицензии Llama 3.1.

ThomasBaruzier/Meta-Llama-3.1-405B-Instruct-GGUF — это версия большой языковой модели Meta-Llama-3.1-405B-Instruct, подготовленная в формате GGUF для задач генерации текста. Базовую модель разработала Meta; карточка размещена пользователем ThomasBaruzier. Модель предназначена для диалогов, следования инструкциям, подготовки и преобразования текстов и других сценариев, где требуется генерация на естественном языке. Модель относится к семейству Llama 3.1 и имеет размер 405 миллиардов параметров. Она работает с текстовой модальностью и предназначена для text-generation. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Архитектура и размер контекстного окна для этой конкретной сборки не указаны. Формат GGUF может быть удобен для локального запуска совместимыми средствами, однако модель такого масштаба требует значительных вычислительных ресурсов. Модель может обеспечивать высокое качество следования инструкциям и генерации текста благодаря крупному размеру, но её практическая применимость ограничена требованиями к памяти и производительности оборудования. Лицензия указана как Llama 3.1 Community License. При распространении материалов необходимо соблюдать условия Meta, включая предоставление текста лицензии, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy; для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные требования.

Карточка модели SillyTilly/Meta-Llama-3.1-70B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-70B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-70B — текстовая большая языковая модель, разработанная Meta и представленная в репозитории NousResearch. Это плотная авторегрессионная модель семейства Llama 3.1 с архитектурой оптимизированного Transformer и Grouped-Query Attention; объём — 69,5 млрд параметров. Модель принимает и генерирует текст, а контекстное окно составляет до 131 072 токенов. Модель предназначена для генерации текста и многоязычного диалогового взаимодействия: её можно применять как основу для чат-ассистентов, а также для адаптации под различные задачи генерации естественного языка. Поддерживаемые языки — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Карточка описывает инструктивно настроенные модели семейства как прошедшие SFT и RLHF, но не уточняет отдельно тип настройки именно этого репозитория. К преимуществам относятся большой контекст и поддержка нескольких языков. Возможны ошибки и небезопасные ответы; качество на языках вне перечисленных поддерживаемых языков не гарантируется. Модель распространяется по пользовательской коммерческой лицензии Llama 3.1 Community License, условия которой следует проверить перед использованием.