I.14Автоматизация процессов и AI-агенты

Saily_220B — большая языковая модель команды deepnight-research, созданная на основе слияния нескольких дообученных моделей Llama 2 70B. В репозитории указана архитектура LlamaForCausalLM, плотная модель примерно на 208,2 млрд параметров с контекстом 4096 токенов; веса доступны в формате safetensors и предназначены для использования через Transformers. Модель генерирует текст и рассчитана на диалоговые сценарии с форматом запросов Alpaca, а также на задачи программирования, математики, логического рассуждения, физики, психологии и ролевого общения. При обучении использовались RefinedWeb, Pile, MetaMathQA, Unnatural Code и внутренние транскрибированные беседы с экспертами. README сообщает, что для запуска нужны несколько мощных GPU: авторы проверяли модель на 2 или 4 ускорителях A100 по 80 ГБ, причём на двух требовалась загрузка в 4-битном режиме. Лицензия репозитория — Llama 2. Модель может выдавать неверные или предвзятые ответы. Указанные в README конфигурационные данные названы авторами неточными.

RedHatAI/SmolLM3-3B-FP8-dynamic — квантованная версия языковой модели SmolLM3-3B, разработанная Red Hat (Neural Magic) на базе модели HuggingFaceTB/SmolLM3-3B. Это текстовая модель для генерации и преобразования текста, включая диалоговые сценарии. Заявлена поддержка английского, французского, испанского, итальянского, португальского, китайского, арабского и русского языков. Модель использует архитектуру SmolLM3-3B и принимает текст на входе, выдавая текст на выходе. Веса и активации линейных операторов в трансформерных блоках квантованы в FP8: веса — статически по каналам, активации — динамически по токенам. По данным разработчика, это примерно вдвое снижает требования к памяти GPU и размер файлов, а также примерно вдвое увеличивает пропускную способность матричных вычислений. Для эффективного развёртывания рекомендуется vLLM; поддерживается OpenAI-совместимый серверный интерфейс. В README также указана максимальная длина контекста 65 536 токенов в конфигурации оценки. На тестах AIME24, MATH-500 и GPQA-Diamond квантованная версия показала средний результат 58,90 против 58,61 у исходной модели, что указывает на близкое сохранение качества рассуждений после квантования. Ограничения включают зависимость от совместимого программного стека для эффективного использования FP8 и отсутствие в представленном описании подробных сведений о качестве на других задачах. Модель распространяется по лицензии Apache-2.0.

Solar Open2 250B — Nota NVFP4 — это 4-битная квантованная версия большой языковой модели Solar Open2 250B, разработанной Upstage и подготовленной Nota AI с использованием собственной технологии квантования Mixture-of-Experts (MoE). Модель предназначена для генерации текста и может обслуживать задачи рассуждения, программирования, следования инструкциям, работы с англоязычными и корейскоязычными заданиями, а также другие сценарии применения больших языковых моделей. В заявленных метаданных указаны английский, корейский и японский языки; модальность — текстовая. Размер контекста в README не указан. Модель использует формат NVFP4 с 4-битным квантованием весов и активаций (W4A4), group_size=16 и упаковкой compressed-tensors для прямого запуска через vLLM. Заявленный объём весов составляет 153,3 ГБ против 500,6 ГБ у версии BF16. Ключевое преимущество — существенно меньшие требования к памяти и более высокая пропускная способность при близком к BF16 качеству на приведённых тестах; средний результат составил 81,35 против 81,57 у BF16. Ограничение — необходимость GPU архитектуры NVIDIA Blackwell с поддержкой FP4 tensor cores, например B200 или GB200; Hopper, Ada и Ampere не поддерживаются. Для развёртывания требуется vLLM и Blackwell-класс GPU. Модель распространяется по лицензии Upstage Solar License. Для производных моделей указаны требования использовать префикс Solar в названии, размещать заметную атрибуцию «Built with Solar» в публичных материалах и включать копию лицензии Upstage Solar.

LeroyDyer разработал эту дообученную модель семейства Mistral на основе LeroyDyer/Mixtral_AI_CyberTron_DeepMind_III. Это языковая модель с 7,1 млрд параметров для генерации текста; заявленная длина контекста — 32 768 токенов. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель предназначена для диалогов и выполнения инструкций, включая помощь с программированием, анализом текста, извлечением сущностей, расчётами и генерацией идей. В карточке также заявлены сценарии консультативного общения и работа с медицинской информацией, однако результаты таких применений не подтверждены приведёнными оценками. Обучающие данные включают наборы для кода, диалогов, математики, преобразования текста в SQL и английского и суахили. Автор описывает модель как разговорную, способную использовать историю диалога и выдавать разнообразные ответы; приведены результаты Open LLM Leaderboard, но не полная таблица. Практическая точность и надёжность заявленных специализированных возможностей могут зависеть от формулировки запроса. Модель принимает текст и генерирует текст.

Apertus-v1.5-8B — мультимодальная языковая модель Swiss AI в семействе Apertus 1.5 с 8 млрд параметров. Это decoder-only Transformer с активацией xIELU; модель создана на основе продолженного предобучения Apertus 1.0 с добавлением мультимодальных данных и улучшенной настройкой для следования инструкциям и работы с инструментами. Модель принимает текст, изображения и аудио, а генерирует текст. Она рассчитана на многоязычные диалоги, понимание изображений и аудио, ответы на вопросы, задачи рассуждения в режиме thinking и интеграцию с внешними инструментами. Заявленная длина контекста — до 262 144 токенов. По карточке, модель обучена на открытых данных; веса распространяются по лицензии Apache-2.0. Ответы могут содержать фактические ошибки, логические несоответствия и смещения из обучающих данных, поэтому важные сведения следует проверять. Для запуска могут потребоваться модифицированные версии Transformers и vLLM: поддержка в основных выпусках на момент карточки находилась в процессе добавления.

Jebadiah/Aria-daughter-128k — слитая линейным методом модель на основе двух инструктивных языковых моделей: Nitral-AI/Echidna-7b-128k и gradientai/Llama-3-8B-Instruct-262k. По архитектуре это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для диалогов и генерации текста. Контекстное окно составляет 262 144 токена; модель доступна в формате safetensors и рассчитана на работу через Transformers. Модель подходит для ведения диалогов, генерации ответов и работы с длинными текстами в пределах её контекста. Карточка не сообщает отдельные языковые или предметные специализации. Лицензия в предоставленных данных не указана.

Axeron Forge — объединённая модель генерации текста, созданная TuralBayev с помощью инструмента forgelm. В основе лежит Qwen/Qwen2.5-3B; методом Task Arithmetic объединены веса Qwen2.5-Coder-3B-Instruct и Qwen2.5-3B-Instruct с базовой моделью. Это плотная авторегрессионная модель архитектуры Qwen2 с 3,1 млрд параметров, доступная в формате safetensors и рассчитанная на контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций; наличие компонентов Instruct и Coder позволяет использовать её для вопросов и ответов, помощи с кодом и структурированных ответов. Метаданные отмечают интерфейс вызова инструментов, однако карточка не содержит оценок качества или примеров, подтверждающих надёжность этой возможности. Лицензия в предоставленных данных не указана.

MLX-версия модели DeepSeek-R1-Distill-Qwen-32B, разработанной DeepSeek и производной от Qwen. Данная сборка преобразована сообществом mlx-community в формат MLX с использованием mlx-lm 0.21.1 и предназначена для локального запуска и генерации текста через библиотеку mlx-lm, прежде всего на устройствах Apple, поддерживающих MLX. Из README известно, что модель имеет размер 32B параметров и использует 8-битное представление весов. Она является текстовой языковой моделью; конкретные сведения об архитектуре, поддерживаемых языках, длине контекста, сильных сторонах и ограничениях в карточке не указаны. Для работы требуется установить mlx-lm и загрузить модель через его API. Лицензия и условия коммерческого или иного использования в README не указаны. Для точной оценки прав использования следует обратиться к карточке базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-32B и к условиям публикации конвертированной версии.

bartowski/DeepSeek-V2.5-GGUF — набор GGUF-квантизаций модели DeepSeek-V2.5, разработанной DeepSeek AI и подготовленной для llama.cpp. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio; варианты файлов позволяют выбирать баланс между качеством, размером и требованиями к RAM или VRAM. Доступны квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q4_0, IQ4_XS, Q3, Q2 и IQ1–IQ3 различных уровней. Размер файлов составляет примерно от 52,68 до 250,62 ГБ; крупные варианты разделены на несколько файлов. Квантизации выполнены с использованием imatrix на базе llama.cpp b3658, отдельные варианты используют Q8_0 для embedding- и output-весов. Для модели указан формат prompt с системным сообщением, запросом пользователя и ответом ассистента. Сильная сторона набора — широкий выбор вариантов: Q6_K и Q5_K_M заявлены как близкие к исходному качеству, Q4_K_M — как рекомендуемый компромисс, а малые варианты подходят для систем с ограниченной памятью, хотя имеют заметно более низкое качество. README не содержит сведений об архитектуре, числе параметров, поддерживаемых языках и размере контекстного окна. Лицензия указана как other/deepseek; применяются условия лицензии DeepSeek, доступной по ссылке в карточке модели.

MaziyarPanahi/DeepSeek-V3-0324-GGUF — это набор файлов модели DeepSeek-V3-0324 в формате GGUF. Исходную модель разработала команда deepseek-ai, а данную GGUF-версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими решениями, включая варианты с ускорением на GPU и совместимыми API. Это делает модель пригодной для локальных чат-интерфейсов, серверов генерации текста и интеграции в приложения. В README указана 2-битная квантизация, которая может снизить требования к памяти, но потенциально сопровождается ухудшением качества по сравнению с полноразмерной моделью. В предоставленных данных не указаны архитектура, общее число параметров, поддерживаемые языки и размер контекста. Модель распространяется по лицензии MIT.

Weyaxi/Dolphin2.1-OpenOrca-7B — текстовая генеративная модель Weyaxi, созданная слиянием TIES двух моделей: ehartford/dolphin-2.1-mistral-7b и Open-Orca/Mistral-7B-OpenOrca. Она предназначена для диалогов, ответов на вопросы и генерации текста. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Слияние объединяет веса Dolphin 2.1 Mistral 7B и Mistral 7B OpenOrca; в README приведены коэффициенты весов и плотности для каждой исходной модели. Репозиторий содержит веса в формате safetensors. Указанная лицензия — Apache-2.0. Доступны отдельные квантизированные версии GPTQ, GGUF и AWQ от TheBloke.

EXAONE 4.5-33B — открытая по весам мультимодальная модель LG AI Research для диалога и анализа изображений. Она сочетает причинную языковую модель с визуальным энкодером и содержит 33 млрд параметров, из которых около 1,29 млрд приходятся на визуальную часть. Архитектура использует плотные слои, гибридное внимание с локальными окнами и глобальными слоями; контекст — до 262 144 токенов. Модель предназначена для ответов на вопросы по изображениям и документам, распознавания и интерпретации их содержимого, а также для текстового диалога и рассуждений. Разработчик отмечает сильные результаты в понимании документов и корейских контекстов. Основные языки карточки — английский, корейский, испанский, немецкий, японский и вьетнамский. Для обслуживания рекомендуются оптимизированные движки, например vLLM, TensorRT-LLM или SGLang; запуск с длинным контекстом требует мощных GPU. Модель может выдавать неверные, предвзятые или неподходящие ответы, а её знания ограничены данными до декабря 2024 года. В метаданных указана лицензия «other»; конкретные условия следует сверять с лицензией репозитория и правилами LG AI Research.

lmstudio-community/gemma-3-27B-it-qat-GGUF — это GGUF-квантизированная версия Gemma 3 27B IT, разработанная Google и представленная в рамках программы LM Studio Community Models. Квантизация выполнена Google с применением Quantization Aware Training для повышения качества работы в 4-битном формате. Модель предназначена для генерации текста и понимания изображений. Она подходит для ответов на вопросы, суммирования, рассуждений и других задач, требующих анализа текста или совместной обработки текста и изображений. Поддерживается мультимодальный ввод изображений, нормализуемых до разрешения 896 × 896 пикселей. Заявленная длина контекста составляет до 128 000 токенов, максимальная длина генерируемого ответа — 8 192 токена. Ключевыми преимуществами являются сочетание крупного размера 27B, поддержки изображений, длинного контекста и оптимизации для 4-битного запуска. Ограничения включают возможные неточности, вредные или неподходящие ответы, а также требования к вычислительным ресурсам, характерные для модели такого размера; сведения о поддерживаемых языках в README не указаны. Для использования применяется лицензия Gemma; доступ к исходной модели на Hugging Face требует принятия условий лицензии Google.

llmfan46 выпустил дообученную версию мультимодальной Gemma 4 26B A4B для диалогов и анализа изображений. В карточке указано изменение компонента attn.o_proj; метаданные определяют модель как Gemma4ForConditionalGeneration с возможностями чата и зрения. Базовая модель — google/gemma-4-26B-A4B-it-qat-q4_0-unquantized; файлы представлены в формате safetensors, лицензия — Apache-2.0. Модель принимает текст и изображения и предназначена для визуальных вопросов и ответов, разбора документов, распознавания текста на изображениях, понимания графиков и экранов, а также диалоговых сценариев. Описание семейства Gemma 4 указывает на гибридное внимание и контекст до 256K токенов для версии 26B A4B, поддержку более 35 языков и вызов инструментов; сведения об этих свойствах относятся к семейству и не подтверждены отдельно для данного дообучения. Аудио в списке задач этой модели не заявлено. README описывает версию как uncensored, однако не уточняет методику изменения и не приводит отдельной оценки качества или безопасности этого чекпойнта. Как и другие языковые модели, она может выдавать неверные факты, проявлять смещения и хуже справляться с неоднозначными или сложными запросами.

Gemopus-4-31B-it — дообученная Jackrong версия инструкционной модели Google Gemma 4 31B-it. Это плотная текстовая генеративная модель для диалогов и следования инструкциям; при настройке автор стремился сохранить исходный стиль рассуждений Gemma 4 и улучшить качество, структуру, ясность и последовательность ответов. Модель обучалась с использованием исправленного стека Unsloth и Transformers. Модель рассчитана на повседневную работу с текстом: подготовку структурированных ответов и сводок, редактирование текста и интерактивное программирование. В README автор отдельно отмечает улучшения в организации длинных ответов, объяснении технических тем и естественности диалога. В метаданных указаны английский, китайский, корейский и японский языки; мультимодальные возможности базовой модели не следует автоматически считать возможностями этой текстовой версии. Автор предупреждает, что модель может уступать более крупным облачным моделям в объёме знаний и сложных математических или логических рассуждениях; в узкоспециализированных темах возможны ошибки и галлюцинации. Автор называет веса экспериментальными. Лицензия — Apache-2.0.

Это экспериментальная GGUF-квантизация GigaChat3.1-10B-A1.8B, подготовленная ENOSYS на основе ai-sage/GigaChat3.1-10B-A1.8B-bf16. Модель предназначена для генерации текста и диалогового использования; базовая модель — компактная многоязычная MoE-модель GigaChat для диалогов, рассуждений, кода и вызова инструментов. В репозитории приведены варианты квантования с целевой точностью 2,750, 2,875 и 3,000 бит на вес, а также таблица сравнительных метрик. Для калибровки использованы наборы данных с примерами инструментов, математики, кода и английского и русского текста. Тензоры сохранены в F16 для совместимости с архитектурой Nvidia Pascal. Квантование выполнено на нестандартной ветке LLaMA.cpp с дополнительными патчами. Варианты GGUF позволяют запускать модель в совместимых инструментах с поддержкой этого формата. Квантизация снижает точность относительно исходных весов; приведённые метрики указывают на заметные изменения perplexity и распределений выходных вероятностей. Лицензия репозитория — MIT.

Это GGUF-квантование GLM-4.7-Flash, подготовленное TNT.Chat в рамках проекта LOCAL AI. Модель Z.ai — диалоговая MoE-модель класса 30B-A3B; в этой сборке около 20% весов, включая shared expert и тензоры внимания, представлены в Q4_K, остальные — в Q3_K. Такой смешанный формат рассчитан на локальный запуск и использование в редакторах кода, включая VS Code, на потребительском оборудовании; автор заявляет возможность работы в пределах 16 ГБ VRAM и приводит отдельную оценку для контекста 200 тысяч токенов на GPU с 24 ГБ VRAM. Модель генерирует текст в диалоге и ориентирована, среди прочего, на программирование и рассуждения. В карточке приведены рекомендации по параметрам генерации и отмечено, что исправление в llama.cpp устранило зацикливание и низкое качество прежней версии файлов. Заявления о качестве и требованиях к памяти относятся к описанию автора сборки. Репозиторий распространяется по лицензии MIT; README указывает исходный GGUF от Unsloth и метод смешанного квантования, не подтверждая отдельное дообучение этой версии.

google_gemma-4-31B-it-GGUF — это квантизированная версия instruction-tuned модели Gemma 4 31B-it, разработанной Google. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель опубликована как google/gemma-4-31B-it. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, LM Studio, Ollama-подобные и другие совместимые инструменты. По указанной классификации pipeline_tag это модель для преобразования изображений и текста в текст, однако подробные сведения о поддерживаемых модальностях и языках в README не приведены. Доступны варианты с точностью от BF16 до Q3 и IQ3, включая Q4, Q5, Q6 и Q8. Размер файлов составляет примерно от 13,84 до 61,41 ГБ; варианты Q4–Q6 заявлены как обеспечивающие хороший или очень высокий уровень качества при меньшем потреблении памяти, а Q3 ориентированы на системы с ограниченными ресурсами и отличаются более низким качеством. Архитектура, максимальная длина контекста и точное число параметров, помимо обозначения 31B, в README не уточняются. Сильными сторонами являются широкий выбор уровней квантизации, совместимость с экосистемой llama.cpp и возможность локального инференса. Ограничения включают значительные требования к памяти, особенно для BF16 и высокоточных вариантов, а также возможное снижение качества у компактных Q3-вариантов. Для недавно поддерживаемых моделей может потребоваться обновление используемого программного обеспечения. Лицензия указана как Apache-2.0; при этом для Gemma также приведена отдельная ссылка на лицензионные условия Google.

JOSIE-1.1-4B-Thinking — плотная языковая модель с 3,7 млрд параметров, разработанная Gökdeniz Gülmez на основе Qwen3-4B-Thinking-2507. Это полновесное дообучение для многошаговых рассуждений, математики, научно-технических задач и творческого письма. Модель поддерживает чат и генерацию текста; в карточке указана работа с 13 языками, включая русский, английский, испанский, французский, немецкий, китайский и японский. Метаданные указывают контекст до 262 144 токенов, а README — до 65 536 токенов, поэтому заявленная длина контекста расходится между источниками. Модель предназначена для решения логических задач, математических вычислений, технического анализа и работы с длинными документами. В описании заявлены последовательные рассуждения и прямой стиль ответов без излишней угодливости. Лицензия — MIT. Модель не имеет встроенной фильтрации контента и может выдавать неподходящие ответы. Результаты в узкоспециализированных областях могут быть нестабильны; критически важные ответы следует проверять. README также предупреждает, что для вывода требуется достаточно мощное оборудование.

K2-Horizon-0.9B-GGUF — компактная языковая модель семейства K2-Horizon, разработанная IFM. Репозиторий содержит версию модели в формате GGUF для запуска с помощью llama.cpp. Модель предназначена для генерации текста, решения математических и научных задач, программирования, следования инструкциям и сценариев с использованием инструментов. Это плотная decoder-only модель примерно с 0,9 млрд параметров и контекстным окном до 131 072 токенов. Для масштабирования RoPE применяется YaRN. Модель обучалась методом дистилляции знаний от нескольких специализированных учителей, ориентированных на математику и код, STEM-задачи и следование инструкциям. Поддерживаются английский и китайский языки. Тензоры хранятся в исходной точности BF16, а GGUF-файлы включают метаданные токенизатора и совместимый с llama.cpp шаблон чата. К сильным сторонам относятся небольшой размер, длинный контекст, открытость заявленных данных и рецепта обучения, а также специализация на рассуждениях, математике, коде и научных задачах. Для работы требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, поэтому совместимость зависит от используемой сборки. Лицензия модели — Apache-2.0.

RedHatAI/Kimi-K3-NVFP4 — квантизированная версия модели moonshotai/Kimi-K3, разработанная RedHatAI. Это мультимодальная модель архитектуры KimiK3ForConditionalGeneration, принимающая текст и изображения и генерирующая текст. Модель предназначена для задач понимания и обработки текста и изображений, включая сценарии инференса через vLLM. В модели применена FP4-квантизация весов и активаций MoE-экспертов с использованием LLM Compressor и формата compressed-tensors. Линейные операторы MoE-экспертов квантизированы с 16 до 4 бит, что уменьшает размер на диске и требования к памяти GPU для этих слоёв примерно на 75%. Attention, shared experts и другие неквантизированные слои сохраняют исходную точность. Размер модели, поддерживаемые языки и длина контекста в README не указаны. К сильным сторонам относятся существенное снижение потребления памяти и готовность к инференсу в vLLM при сохранении высокой доли качества исходной модели: на GPQA Diamond достигнуто 91,0 против 93,5 у неквантизированной версии, что соответствует восстановлению 97,33% качества. Ограничением является небольшое снижение точности, а также необходимость совместимой версии vLLM и специальной конфигурации развертывания; в README приведён сценарий с tensor parallel size 8. Лицензия указана как other, с названием kimi-k3.

Lamarck-14B-v0.7 — языковая модель на 14 млрд параметров, собранная sometimesanotion как объединение нескольких моделей семейства Qwen2. Для создания использовалась собственная цепочка слияний весов, включая SLERP и TIES, и объединение ветвей, построенных с помощью LoRA и других методов слияния. В числе предшественников — DeepSeek-R1-Distill-Qwen-14B, Virtuoso-Small и предыдущие версии Lamarck. Модель предназначена для диалогов и генерации текста общего назначения с упором на многошаговые рассуждения, связную прозу, перевод и работу на нескольких языках. Контекст — до 131 072 токенов; в карточке отмечена поддержка английского языка, а автор также заявляет о многоязычных возможностях. Модель доступна в формате safetensors и распространяется по лицензии Apache-2.0. Заявления о качестве основаны на оценках автора и субъективном описании возможностей; независимые результаты бенчмарков в карточке не приведены. Для унаследованных компонентов и слияния качество может различаться в зависимости от задачи.

Llama-3.1-Tulu-3-405B — большая плотная авторегрессионная языковая модель семейства Llama 3.1, разработанная Allen Institute for AI (Ai2). Она дообучена на основе allenai/Llama-3.1-Tulu-3-405B-DPO и предназначена для следования инструкциям и диалогов, а также для решения широкого круга задач, включая математические рассуждения и выполнение инструкций. В карточке отмечены оценки на MATH, GSM8K и IFEval. Модель содержит 403,7 млрд параметров, принимает текст и генерирует текст; заявленный контекст — до 131 072 токенов. Основной язык — английский. Для запуска доступны веса PyTorch в формате safetensors через Transformers; лицензия — Llama 3.1 Community License Agreement. В карточке указано, что безопасность дообучения ограничена: модель может выдавать проблемный контент, особенно при соответствующих запросах, и не снабжена встроенной фильтрацией ответов. Для развертывания следует учитывать высокие вычислительные требования, характерные для модели такого размера.

richardyoung/Llama-3.2-3B-Instruct-heretic — текстовая разговорная модель на базе Llama 3.2 3B от Meta, опубликованная пользователем richardyoung. Это авторегрессионный трансформер с 3,2 млрд параметров, рассчитанный на генерацию ответов в диалоге и другие задачи генерации текста. В карточке указаны контекст до 131 072 токенов и поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модификация обозначена как heretic, uncensored, decensored и abliterated; конкретный способ изменения модели в предоставленных данных не описан. Модель может применяться для чат-ассистентов, суммаризации, поиска по знаниям и переформулирования запросов. Она принимает текст и выдаёт текст. README указывает лицензию Llama 3.2 Community License — специальное соглашение с условиями использования, включая Acceptable Use Policy. Как и другие компактные языковые модели, она может уступать более крупным моделям в качестве и требует проверки безопасности при внедрении.

MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF — это набор квантованных файлов модели Llama-3.3-70B-Instruct в формате GGUF. Исходную модель разработала meta-llama, а квантованные версии подготовил MaziyarPanahi. Модель предназначена для генерации текста и работы в диалоговых сценариях с инструкциями. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файла, требованиями к памяти, скоростью работы и качеством вывода. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения с поддержкой GGUF. Модель работает с текстом; сведения о мультимодальности, поддерживаемых языках и размере контекстного окна в README не указаны. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования и совместимость с популярной экосистемой llama.cpp. К ограничениям относятся потенциальная потеря качества в более компактных вариантах квантования, высокие требования к ресурсам для 70-миллиардной модели и зависимость от совместимого программного обеспечения. Лицензия в предоставленных данных не указана.

NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.

ThomasBaruzier/Meta-Llama-3.1-8B-Instruct-GGUF — это инструкция-ориентированная языковая модель в формате GGUF, основанная на Meta Llama 3.1 и опубликованная пользователем ThomasBaruzier. Разработчик исходной модели — Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях, связанных с диалоговыми системами, ответами на вопросы и обработкой естественного языка. Из доступных данных известно, что модель содержит 8 миллиардов параметров, относится к семейству Llama 3.1 и поддерживает текстовую модальность. В карточке заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Формат GGUF ориентирован на локальный запуск и совместимую с ним инфраструктуру вывода, однако конкретный вариант квантования, требования к памяти, размер контекста и показатели качества в README не указаны. Сильными сторонами модели являются инструкционная настройка, многоязычная поддержка и относительно компактный размер по сравнению с более крупными моделями семейства. Ограничения включают отсутствие подробных сведений о квантовании, производительности и фактическом качестве на отдельных языках, а также типичные для генеративных языковых моделей риски неточных или нежелательных ответов. Модель распространяется по лицензии Llama 3.1 Community License от Meta с требованиями соблюдать Acceptable Use Policy, сохранять уведомление об авторских правах и выполнять условия атрибуции при распространении.

Unsloth/Meta-Llama-3.1-8B-Instruct-unsloth-bnb-4bit — это 4-битная версия инструкционно настроенной текстовой языковой модели Meta Llama 3.1 с 8 млрд параметров, подготовленная Unsloth для использования с Transformers и форматом bitsandbytes. Модель предназначена для диалогов, генерации и обработки текста, выполнения инструкций, суммаризации и других задач, где требуется компактная LLM с пониженным потреблением памяти. Модель использует авторегрессионную архитектуру Transformer и работает в режиме «текст на входе — текст на выходе». Ключевая особенность версии — селективная динамическая 4-битная квантизация Unsloth, направленная на снижение требований к памяти при сохранении большей точности по сравнению со стандартной 4-битной квантизацией. В карточке официально указан английский язык; дополнительные языки, размер контекста и другие характеристики для данной версии не подтверждены. Разработчик базовой модели — Meta, адаптацию и квантизацию выпустила Unsloth. Ограничения включают возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробной информации о производительности, контекстном окне и поддерживаемых сценариях за пределами текста. Модель распространяется по лицензии Llama 3.1.

QuantFactory/Meta-Llama-3-8B-Instruct-GGUF — это квантованное представление инструкционно настроенной языковой модели Meta Llama 3 с 8 млрд параметров, подготовленное QuantFactory в формате GGUF. Модель предназначена для генерации текста и взаимодействия по инструкциям, включая ответы на вопросы и другие задачи обработки естественного языка. В метаданных указаны английский язык и назначение text-generation. Формат GGUF ориентирован на локальный запуск и совместим с программами, поддерживающими этот формат, однако конкретный тип квантования, требования к памяти, максимальный размер контекста и поддерживаемые аппаратные платформы в предоставленных данных не указаны. Модель является текстовой и не заявлена как мультимодальная. Её сильные стороны — компактный размер по сравнению с более крупными моделями и возможность использования локальных средств инференса; ограничения, точные характеристики производительности и качество на отдельных языках по README не определены. Модель распространяется по лицензии Meta Llama 3 Community License. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Meta Llama 3», сохранение требуемого уведомления об атрибуции и соблюдение применимой политики допустимого использования. Для организаций с более чем 700 млн ежемесячных активных пользователей предусмотрено требование получить отдельную лицензию Meta.

EnlistedGhost/Ministral-3-8B-Reasoning-2512-GGUF — это конвертированная и квантованная версия Ministral-3-8B-Reasoning-2512-BF16, первоначально разработанной MistralAI. Модель распространяется в формате GGUF и предназначена для запуска через Ollama и llama.cpp. Модель ориентирована на диалоговые задачи, рассуждения и работу с текстом и изображениями. Она поддерживает мультимодальный сценарий image-text-to-text, включая чтение изображений, а также многоязычную работу с английским, французским, испанским, немецким, итальянским, португальским, нидерландским, китайским, японским, корейским, арабским и русским языками. Заявлен размер 8B параметров; точная длина контекста базовой модели не указана, но шаблон чата предусматривает скользящее окно примерно из 46 взаимодействий. К сильным сторонам относятся совместимость с Ollama и llama.cpp, наличие vision-проекторов для мультимодальной обработки и несколько вариантов квантования, позволяющих выбирать компромисс между качеством и требованиями к ресурсам. Ограничением является отмеченная автором проблема с шаблоном чата: при загрузке с Hugging Face он может некорректно активировать теги рассуждений. Модель выпущена под лицензией Apache-2.0.