I.6Перевод и языковая адаптация

Granite 3.2 8B Instruct — языковая instruction-tuned модель семейства Granite, разработанная IBM (ibm-granite). Представленная версия — GGUF-квантизация исходной модели granite-3.2-8b-instruct, подготовленная bartowski с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, требующие развитых способностей к рассуждению. Модель имеет размер 8 миллиардов параметров и поддерживает контекст длиной до 128 тысяч токенов. Она работает с текстом и поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный инференс в совместимых инструментах, включая llama.cpp и LM Studio. К сильным сторонам относятся большой контекст, многоязычность и настройка на задачи, связанные с рассуждением. Ограничения включают влияние квантизации на качество по сравнению с исходной моделью, а также возможность получать неточные, неподходящие или вводящие в заблуждение ответы. В README не указаны конкретные параметры квантизации и требования к аппаратным ресурсам. Модель распространяется по лицензии Apache 2.0.

Meta Llama 3.1 405B — большая авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention. Она принимает и генерирует текст; семейство Llama 3.1 включает базовые и дообученные версии, а этот репозиторий представляет модель размером 405 млрд параметров. В метаданных указаны библиотека Transformers и формат safetensors. Модель предназначена для генерации текста и многоязычного диалога: её можно применять как основу для помощников и чат-систем, а также адаптировать к другим задачам генерации естественного языка. Семейство поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В карточке отмечены расширенное контекстное окно и возможность интеграции с инструментами разработчиками, но точный размер контекста этой модели не указан. Модель разработана Meta и выпущена в июле 2024 года. Она распространяется по специальной коммерческой лицензии Llama 3.1 Community License; применение должно соответствовать лицензии и Acceptable Use Policy. К ограничениям относятся статичность обученных весов, отсутствие гарантии безопасности или корректности ответов и рекомендация не использовать неподдерживаемые языки без дополнительного дообучения и системных мер контроля.

Это точная копия весов, токенизатора и конфигурации Llama 3.1 8B Instruct от Meta, размещённая Positron AI как зафиксированный исходный снимок для собственных GPTQ-квантизаций организации. Модель представляет собой плотную авторегрессионную языковую модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов; поддерживает диалоги и генерацию текста, включая интерфейс вызова инструментов. Модель предназначена для инструкционного диалога и генерации текста. Метаданные перечисляют английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Репозиторий использует формат safetensors и лицензию Llama 3.1. Это неизменённая перепубликация базовой модели, поэтому её возможности и ограничения соответствуют исходной карточке Meta; отдельные оценки качества и дополнительные ограничения в этой карточке не приведены.

Llama-3-Taiwan-70B-Instruct — языковая модель команды проекта TAME, дообученная на архитектуре Llama 3 для пользователей традиционного китайского языка Тайваня и английского. Модель содержит 69,5 млрд параметров, работает с контекстом до 8192 токенов и предназначена для генерации текста и многоходового диалога. Модель обучена на корпусе традиционного китайского и английского языков, включающем общие и отраслевые знания по праву, производству, медицине и электронике. В карточке заявлены возможности понимания и генерации языка, рассуждений, извлечения сущностей, структурированного вывода и вызова функций; также описано применение в RAG-сценариях. Для подключения к внешнему поиску или функциям нужна соответствующая обвязка приложения. В README приведены результаты оценок на тайваньских языковых и предметных тестах, однако они не гарантируют качество в конкретной задаче. Модель выпущена по лицензии Llama 3; перед использованием следует учитывать её условия.

LLM-jp-4-33b-thinking — плотная трансформерная языковая модель семейства Llama, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Она предназначена для диалогов, генерации ответов и решения задач с рассуждением на японском и английском языках; поддерживает интерфейс вызова инструментов. Модель содержит 32,2 млрд параметров, имеет 64 слоя и контекст до 65 536 токенов. Она обучалась на этапах предварительного и промежуточного обучения на 11,7 трлн токенов, затем прошла SFT и выравнивание DPO без обучения с подкреплением. Доступна в формате Safetensors для Transformers, лицензия — Apache-2.0. Разработчики отмечают, что модель находится на раннем этапе исследований и разработок и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Для корректной работы следует использовать приложенный токенизатор: он отличается от предположений библиотеки openai-harmony, несмотря на совместимость шаблона диалога с Harmony.

Arcee Meraj Mini — плотная авторегрессионная языковая модель на 7,1 млрд параметров, разработанная Arcee AI и дообученная на базе Qwen/Qwen2.5-7B-Instruct. Она предназначена прежде всего для арабского языка с сохранением сильных возможностей английского; поддерживает диалоговый шаблон ChatML и контекст до 131 072 токенов. Модель подходит для понимания и генерации текста, ответов на вопросы, рассуждений, образовательных материалов, математических задач, генерации кода, клиентской поддержки и создания контента. В карточке сообщается о высоких результатах на арабских бенчмарках и конкурентоспособных результатах на английских, однако численные результаты здесь не приведены. Весовые файлы опубликованы в формате Safetensors; лицензия — Apache-2.0. Модель текстовая и не предназначена для обработки изображений или аудио.

NousResearch/Meta-Llama-3.1-70B — текстовая большая языковая модель, разработанная Meta и представленная в репозитории NousResearch. Это плотная авторегрессионная модель семейства Llama 3.1 с архитектурой оптимизированного Transformer и Grouped-Query Attention; объём — 69,5 млрд параметров. Модель принимает и генерирует текст, а контекстное окно составляет до 131 072 токенов. Модель предназначена для генерации текста и многоязычного диалогового взаимодействия: её можно применять как основу для чат-ассистентов, а также для адаптации под различные задачи генерации естественного языка. Поддерживаемые языки — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Карточка описывает инструктивно настроенные модели семейства как прошедшие SFT и RLHF, но не уточняет отдельно тип настройки именно этого репозитория. К преимуществам относятся большой контекст и поддержка нескольких языков. Возможны ошибки и небезопасные ответы; качество на языках вне перечисленных поддерживаемых языков не гарантируется. Модель распространяется по пользовательской коммерческой лицензии Llama 3.1 Community License, условия которой следует проверить перед использованием.

lmstudio-community/Meta-Llama-3.1-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta Llama 3.1 70B Instruct, подготовленная сообществом lmstudio-community и квантизированная bartowski. Базовую модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии обработки естественного языка. Модель относится к семейству Llama 3.1 и использует архитектуру, поддерживаемую библиотекой Transformers; доступна в формате GGUF для локального запуска в совместимых инструментах. Заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста, конкретный вариант квантизации и модальности в README не указаны; по представленным данным это текстовая модель. К сильным сторонам относятся большой размер 70B и инструкционная настройка, потенциально обеспечивающие высокое качество ответов и следование запросам. Ограничениями являются высокая потребность в вычислительных ресурсах даже после квантизации, а также отсутствие в предоставленных данных подробных сведений о производительности, точности и поддерживаемом контексте. Модель распространяется по Llama 3.1 Community License Meta с требованиями к атрибуции, указанию «Built with Llama» при распространении и соблюдению Acceptable Use Policy.

NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.

ggml-org/Meta-Llama-3.1-8B-Instruct-Q4_0-GGUF — это квантизированная в формате GGUF версия инструкционно дообученной текстовой модели Meta Llama 3.1 8B Instruct, подготовленная для использования с инструментами экосистемы llama.cpp. Разработчик исходной модели — Meta. Модель предназначена для генерации текста, диалоговых сценариев, ответов на инструкции и других задач обработки естественного языка. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер исходной модели составляет 8 миллиардов параметров, а суффикс Q4_0 указывает на 4-битную квантизацию, которая снижает требования к памяти и может упростить локальный запуск, но потенциально уменьшает точность по сравнению с полноразмерными весами. Модальность модели — текстовая; сведения о размере контекста и архитектурных деталях в карточке не указаны. Модель распространяется по Llama 3.1 Community License. При распространении материалов или продуктов на их основе необходимо соблюдать условия лицензии Meta, включая предоставление текста соглашения, указание «Built with Llama», сохранение обязательного уведомления об авторских правах и соблюдение Acceptable Use Policy. Для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено требование запросить отдельную лицензию у Meta.

Mistral-Large-Instruct-2407-4bit — крупная инструкционная языковая модель семейства Mistral, подготовленная сообществом mlx-community. Она конвертирована из mistralai/Mistral-Large-Instruct-2407 в формат MLX с использованием mlx-lm и предназначена для запуска на устройствах, поддерживающих экосистему MLX. Модель содержит около 122,2 млрд параметров, использует 4-битную квантизацию и поддерживает контекст длиной до 32 768 токенов. Она ориентирована на генерацию текста по инструкциям: диалоги, ответы на вопросы, составление и редактирование текстов, суммирование и другие сценарии применения общей языковой модели. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Для использования требуется библиотека mlx-lm. 4-битная квантизация уменьшает требования к памяти, но может снижать точность по сравнению с полноточной или менее квантизованной версией. Модель распространяется по лицензии Mistral Research License (MRL-0.1), указанной в карточке как license: other.

OpenBuddy/openbuddy-deepseek-67b-v24.1-65k — мультиязычная чат-модель проекта OpenBuddy на архитектуре Llama с 66,6 млрд параметров. Она предназначена для диалогов и генерации текста; поддерживает контекст длиной до 65 536 токенов и языки китайский, английский, французский, немецкий, японский, корейский, итальянский, русский и финский. Модель распространяется в формате Safetensors и рассчитана на использование с Transformers или vLLM. В карточке базовая модель не названа. Лицензия обозначена как deepseek; перед использованием следует проверить условия лицензии. Авторы предупреждают, что ответы могут быть ошибочными, вредными или оскорбительными, и не рекомендуют применять модель в критически важных сценариях, включая медицину, управление опасными системами, а также важные финансовые и юридические решения.

Карточка модели OpenBuddy/openbuddy-mixtral-8x7b-v15.4 на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-mixtral-7bx8-v16.3-32k, поэтому описание составлено по ней. OpenBuddy-mixtral-7bx8-v16.3-32k — многоязычная чат-модель семейства Mixtral, опубликованная командой OpenBuddy. Она предназначена для диалогов и генерации текста; архитектура — Mixtral MoE, класс MixtralForCausalLM. В репозитории указаны 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Лицензия — Apache 2.0. Ответы могут быть ошибочными, вредными или оскорбительными; модель не следует использовать для решений в медицине, финансах, праве и других критически важных сценариях.

Qwen1.5-7B-Chat-GGUF — диалоговая версия языковой модели серии Qwen, разработанная командой Qwen. Это авторегрессионная decoder-only модель на архитектуре Transformer с обучением на больших массивах данных и последующей настройкой с помощью supervised fine-tuning и direct preference optimization. Модель предназначена для генерации текста и ведения диалогов, включая ответы на вопросы, ассистирование и другие сценарии обработки естественного языка. Она содержит около 7 миллиардов параметров, поддерживает многоязычную работу и контекст длиной до 32 тысяч токенов. Репозиторий распространяет модель в формате GGUF с вариантами квантования от q2_k до q8_0, что позволяет выбирать баланс между размером, требованиями к памяти и качеством. Предполагается запуск через llama.cpp. К сильным сторонам относятся улучшенная по сравнению с предыдущим поколением поддержка диалогов, многоязычность, большой контекст и наличие нескольких уровней квантования для локального использования. Ограничения включают возможные потери качества при более агрессивном квантовании, а также отсутствие в предоставленных данных подробных оценок по прикладным задачам и точного перечня поддерживаемых языков. Лицензия указана как other с названием tongyi-qianwen; перед использованием следует изучить условия по ссылке на лицензию.

unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit — это 4-битная версия instruction-tuned языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen при Alibaba Cloud и опубликованной сообществом Unsloth. Модель предназначена для диалоговых ассистентов, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Модель относится к causal language models и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Исходная модель содержит около 1,54 млрд параметров, 28 слоёв и Grouped Query Attention с 12 головами Q и 2 головами KV. Указанный контекст исходной модели составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта bnb-4bit — сниженное потребление памяти и возможность запуска на более доступном оборудовании; при этом квантование может уменьшать точность по сравнению с полноформатной моделью. Размер 1,5 млрд параметров делает модель подходящей для локального инференса и ресурсоограниченных приложений, однако её возможности и качество уступают более крупным моделям. Для работы рекомендуется актуальная версия библиотеки Transformers. Модель распространяется по лицензии Apache-2.0.

Это квантованная в формат NVFP4 версия мультимодальной модели Qwen3.5-9B, подготовленная FreedomAISVR на основе Qwen/Qwen3.5-9B. Модель предназначена для диалога и генерации текста, а вместе с файлом проектора mmproj — для понимания изображений. В README заявлены гибридная архитектура Gated DeltaNet и Gated Attention, контекст до 262 144 токенов и поддержка 201 языка; в метаданных подтверждены английский, китайский и многоязычный режимы. Веса хранятся в GGUF: основной файл NVFP4 занимает 5,31 ГБ, а проектор зрения в F16 — 918 МБ. Формат оптимизирован для ускорения на видеокартах NVIDIA Blackwell; производительность и совместимость на других устройствах могут отличаться. Репозиторий распространяется по лицензии Apache-2.0.

Sakalti/ultiima-72B — слитая языковая модель автора Sakalti на архитектуре Qwen2, созданная методом TIES с помощью mergekit на основе Qwen/Qwen2.5-72B и Qwen/Qwen2.5-72B-Instruct. Это плотная авторегрессионная модель на 71,5 млрд параметров в формате safetensors с контекстом до 131 072 токенов; она предназначена для генерации текста и диалогов. Метаданные отмечают интерфейс вызова инструментов, а карточка приводит результаты оценки на Open LLM Leaderboard, включая IFEval и BBH. Модель поддерживает множество языков, среди которых английский, китайский, русский, французский, испанский, немецкий, японский, арабский и хинди. Её можно применять для диалоговых ассистентов, генерации текстов и ответов на инструкции. Карточка указывает лицензию «other», поэтому условия использования следует сверить с лицензией и правилами репозитория; конкретные ограничения применения в карточке не описаны.

Vistral-24B-Instruct — русско-английская унимодальная языковая модель команды VikhrModels, дообученная на базе mistralai/Mistral-Small-3.2-24B-Instruct-2506. Она предназначена для диалогов и выполнения инструкций; архитектура MistralForCausalLM сохранена, визуальный энкодер удалён. Модель содержит 23,4 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. По оценке команды на русскоязычном бенчмарке Ru-Arena-General модель показала win rate 96,1%. Её можно применять для ответов на вопросы, следования заданным форматам и других текстовых задач на русском и английском языках. Распространяется по лицензии Apache-2.0. В карточке отмечен низкий уровень безопасности ответов. Авторы рекомендуют проверять поведение модели, использовать подходящие системные инструкции и низкую температуру генерации; при высокой температуре возможны дефекты вывода.

AMALIA-9B-0626-DPO — диалоговая языковая модель, разработанная консорциумом португальских университетов и исследовательских центров при поддержке правительства Португалии. Это версия AMALIA после настройки предпочтений методом DPO на базе AMALIA-9B-0626-SFT; архитектура LlamaForCausalLM, 8,6 млрд параметров, формат safetensors, контекст до 32 768 токенов. Модель предназначена для генерации и понимания текста, прежде всего на европейском португальском языке (pt-PT). Она подходит для ответов на вопросы, следования инструкциям, краткого изложения, редактирования, перевода и исследовательских или образовательных задач, связанных с португальским языком. Её также можно использовать как основу для дальнейшей настройки прикладных систем. Модель оптимизирована для pt-PT и не гарантирует одинакового качества на других вариантах португальского. Она может галлюцинировать, воспроизводить предвзятость и выдавать вредные или неточные ответы; фактические ответы следует проверять, а для предметных знаний рекомендуется использовать RAG и проверенные источники. Перед внедрением требуется оценка для конкретной задачи. Лицензия — Apache-2.0.

Apertus-8B-Instruct-2509 — многоязычная языковая модель для генерации текста и диалогов, опубликованная в репозитории unsloth как дообученная версия swiss-ai/Apertus-8B-2509. Это плотный decoder-only Transformer семейства Apertus с 10,3 млрд параметров и контекстом до 65 536 токенов; модель работает через Transformers и поддерживает интерфейс вызова инструментов. Модель предназначена для многоязычных диалогов, генерации текста и сценариев с длинными документами. В карточке семейство Apertus описано как поддерживающее более 1 800 языков; конкретный основной язык для этой версии не выделен. Модель обучалась на открытых данных с опубликованными сведениями о процессе обучения, а базовое семейство разработано Swiss AI Initiative. Модель может генерировать фактически неверный или нелогичный текст и воспроизводить предвзятости данных. Для неё не предоставлен фильтр выходных данных, в том числе для персональных данных; важные ответы следует проверять. Лицензия — Apache-2.0.

ERNIE-4.5-300B-A47B-PT-GGUF — текстовая MoE-модель, разработанная Baidu в рамках семейства ERNIE 4.5. Она предназначена для понимания и генерации текста, включая диалоговые сценарии, создание контента и другие задачи общего назначения. Модель основана на предварительно обученной версии ERNIE-4.5-300B-A47B-PT и представлена в формате GGUF. Модель содержит 300 млрд параметров, из которых для каждого токена активируется 47 млрд. Архитектура включает 54 слоя, 64 attention heads для запросов и 8 для ключей и значений, а также MoE-компоненты с 64 экспертами, из которых активируются 8. Максимальная длина контекста составляет 131 072 токена. В README указана поддержка английского и китайского языков. Хотя семейство ERNIE 4.5 обучалось с учётом текстовой и визуальной модальностей, данная версия обозначена как текстовая и не предназначена для обработки изображений. Сильными сторонами модели являются большой контекст, высокая общая ёмкость параметров и вычислительная эффективность MoE за счёт активации только части параметров для каждого токена. Основные ограничения — значительные требования к вычислительным ресурсам и отсутствие заявленной мультимодальности в этой текстовой версии; конкретные характеристики квантования GGUF в README не приведены. Модель распространяется по лицензии Apache 2.0.

FluentlyQwen3 1.7B — языковая модель Project Fluently на архитектуре Qwen3ForCausalLM, дообученная с помощью SFT и GRPO и собранная поэтапным слиянием. Она предназначена для генерации текста, диалогов и выполнения инструкций; разработчик сообщает об улучшениях в обычном общении, переводе и математике. Модель содержит 1,7 млрд параметров, имеет 28 слоёв и контекст до 40 960 токенов по метаданным. Поддерживает режим рассуждений, который можно отключить для более быстрой генерации. Заявлены английский и русский языки, а также работа с кодом. Модель доступна в формате Safetensors и распространяется по лицензии Apache-2.0. Как и другие компактные языковые модели, она может ошибаться в фактах, переводах, математике и коде; заявленные улучшения не сопровождаются в карточке количественными результатами оценки.

Gemma 3 1B IT QAT Q4_0 GGUF — лёгкая инструкционная мультимодальная модель Google DeepMind из семейства Gemma, созданная на основе технологий, использованных в Gemini. Модель принимает текст и изображения и генерирует текст; версия предназначена для запуска в формате GGUF, в том числе через llama.cpp и совместимые среды. Модель имеет размер 1B параметров, использует квантизацию Q4_0 и Quantization Aware Training, благодаря чему снижает требования к памяти при сохранении качества, близкого к версии bfloat16. Для варианта 1B заявлено контекстное окно до 32K токенов, максимальный объём генерируемого ответа — 8192 токена. Изображения обрабатываются с нормализацией до 896×896 пикселей и кодированием в 256 токенов; модель поддерживает более 140 языков. Gemma 3 1B IT подходит для генерации текста, ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Небольшой размер облегчает локальное развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ограничения включают меньший контекст по сравнению с более крупными версиями Gemma 3 и зависимость мультимодальных возможностей от используемого программного обеспечения: например, указанное использование через Ollama поддерживает только текстовый ввод. Доступ к модели на Hugging Face требует принятия условий лицензии Google Gemma; точные условия определяются лицензией Gemma.

eleldar/language-detection — модель классификации текста, разработанная на базе XLM-RoBERTa и дообученная на датасете Language Identification. Она определяет язык текстовой последовательности, выбирая один из 20 классов: арабский, болгарский, немецкий, греческий, английский, испанский, французский, хинди, итальянский, японский, нидерландский, польский, португальский, русский, суахили, тайский, турецкий, урду, вьетнамский и китайский. Модель использует XLM-RoBERTa с классификационной головой, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. В тестировании на сбалансированном наборе из 20 языков автор сообщает среднюю точность 99,6%; это значение относится к указанному набору и не гарантирует такую же точность на коротких, смешанных или нестандартных текстах. Модель распространяется по лицензии MIT.

SC117 подготовил квантизированные GGUF-варианты Ling-3.0-tiny с удалённым направлением отказа (abliteration). Базовая модель inclusionAI/Ling-3.0-tiny — гибридная MoE-модель на архитектуре BailingMoE: 7,9 млрд параметров всего и около 1,3 млрд активных на токен. Варианты APEX применяют смешанную точность с учётом типа и чувствительности тензоров; для калибровки использовались данные чатов, кода, рассуждений и вызова инструментов. Модель предназначена для диалоговой генерации текста, рассуждений, программирования, перевода и других типичных задач языковой модели. Abliteration уменьшает частоту отказов; автор сообщает о 15 отказах из 100 запросов против 98 из 100 у исходной модели и об отсутствии заметного ухудшения в выборочных проверках математики, логики, кода, перевода и знаний. Для запуска подходят llama.cpp и Ollama; для поддержки архитектуры BailingMoE3 требуется llama.cpp версии b10470 или новее. Модель распространяется по лицензии MIT. README не сообщает перечень поддерживаемых естественных языков и длину контекста.

amd/Llama-3.1-8B-Instruct-w-int8-a-int8-sym-test — это вариант Llama 3.1 8B Instruct, опубликованный AMD. Он предназначен для генерации текста, диалоговых ассистентов и других задач обработки естественного языка; инструкционно дообученная версия оптимизирована для многоязычного общения. Вариант содержит 8 млрд параметров и использует 8-битное симметричное квантование весов и активаций; на странице модели также указаны форматы BF16 и I8. README этого репозитория пуст, поэтому характеристики квантования следует считать основными подтверждёнными сведениями именно об этом варианте, а не результатами отдельной оценки качества. Базовая Llama 3.1 разработана Meta и представляет собой авторегрессионную модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Она работает с текстом на входе и выдаёт многоязычный текст и код, поддерживает контекст до 128 тысяч токенов и заявленные языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback; модель поддерживает диалоговые сценарии и tool use. Квантование может снизить требования к памяти и ускорить инференс на совместимом оборудовании, но конкретные показатели качества, скорости и совместимости для этого тестового репозитория не указаны. Использование регулируется Llama 3.1 Community License от Meta, а также Acceptable Use Policy. Лицензия допускает коммерческое и исследовательское применение при соблюдении её условий, включая требования к распространению и маркировке; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено отдельное лицензионное условие.

Это 4-битно квантованная версия инструкционной языковой модели Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на базе модели Meta Llama 3.2. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, составление и преобразование текста. Формат ориентирован на использование с экосистемой MLX; в метаданных также указана совместимость с библиотекой Transformers. Модель относится к текстовым, одномодальным моделям и содержит около 3 млрд параметров. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Ключевая особенность — 4-битное квантование, которое снижает требования к памяти и может облегчать локальный запуск, но потенциально ограничивает точность по сравнению с полноразмерной версией. Длина контекста и другие характеристики архитектуры в представленном README не указаны. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на безвозмездной основе при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные требования.

unsloth/Llama-3.2-3B-unsloth-bnb-4bit — это 4-битная квантизованная версия instruction-tuned модели meta-llama/Llama-3.2-3B-Instruct, подготовленная Unsloth на базе модели Meta. Это авторегрессионная языковая модель с оптимизированной архитектурой Transformer и Grouped-Query Attention (GQA), предназначенная для генерации текста и диалоговых сценариев. Модель ориентирована на многоязычный диалог, включая задачи агентного поиска и извлечения информации, суммаризации и общего текстового взаимодействия. Она работает в режиме «текст на входе — текст на выходе» и официально поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Версия содержит около 3 млрд параметров; размер контекста в предоставленных данных не указан. Ключевое преимущество варианта — снижение требований к памяти за счёт 4-битной квантизации Unsloth Dynamic 4-bit, которая выборочно сохраняет отдельные параметры для уменьшения потери точности по сравнению со стандартной 4-битной квантизацией. Ограничения включают меньший размер и, следовательно, потенциально более низкие возможности по сравнению с крупными моделями, а также отсутствие заявленной поддержки изображений и других модальностей. Модель статична и обучена на офлайн-данных, поэтому не обладает встроенными актуальными знаниями. Использование регулируется лицензией Llama 3.2 и соответствующей Acceptable Use Policy. Для языков, не входящих в официальный перечень, допустима дополнительная настройка при соблюдении этих условий.

Это конвертированная в формат MLX версия Llama 3.3 70B Instruct от Meta, опубликованная сообществом mlx-community. Модель с плотной архитектурой LlamaForCausalLM содержит 69,5 млрд параметров и предназначена для генерации текста и диалоговых сценариев; также поддерживает интерфейс вызова инструментов. Веса представлены в формате safetensors с точностью fp16, а нативный контекст составляет до 131 072 токенов. Модель поддерживает английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Для использования требуется MLX; README указывает конвертацию из meta-llama/Llama-3.3-70B-Instruct с помощью mlx-lm 0.22.2. Лицензия — Llama 3.3 License; перед использованием следует соблюдать её условия. Это крупная модель, поэтому для запуска требуются соответствующие аппаратные ресурсы.

Карточка модели WariHima/llm-jp-4-33b-thinking на Hugging Face совпадает с карточкой llm-jp/llm-jp-4-33b-thinking, поэтому описание составлено по ней. LLM-jp-4-33b-thinking — плотная трансформерная языковая модель семейства Llama, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Она предназначена для диалогов, генерации ответов и решения задач с рассуждением на японском и английском языках; поддерживает интерфейс вызова инструментов. Модель содержит 32,2 млрд параметров, имеет 64 слоя и контекст до 65 536 токенов. Она обучалась на этапах предварительного и промежуточного обучения на 11,7 трлн токенов, затем прошла SFT и выравнивание DPO без обучения с подкреплением. Доступна в формате Safetensors для Transformers, лицензия — Apache-2.0. Разработчики отмечают, что модель находится на раннем этапе исследований и разработок и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Для корректной работы следует использовать приложенный токенизатор: он отличается от предположений библиотеки openai-harmony, несмотря на совместимость шаблона диалога с Harmony.