I.14Автоматизация процессов и AI-агенты

Elio2151/Gemma-2-9B-Instruct-TechnicalAgentFineTuned-Merged_5 — дообученная чат-модель Elio2151 на архитектуре Gemma 2. В качестве основы использована unsloth/gemma-2-9b-it-bnb-4bit; модель обучали с использованием Unsloth и библиотеки TRL от Hugging Face. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, составления текстов и помощи в технических задачах. Она содержит около 9 млрд параметров, принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно 8192 токена. В репозитории указаны веса safetensors. Модель распространяется по лицензии Apache 2.0. README не описывает конкретный набор обучающих данных, результаты оценки качества или специальные ограничения применения.

gemma-2-9b-it-IMat-GGUF — это квантизированная версия текстовой instruction-tuned модели Google Gemma 2 9B IT, подготовленная legraphista в формате GGUF для использования с llama.cpp и совместимыми инструментами. Модель предназначена для генерации текста и диалоговых сценариев, включая локальные чат-приложения и задачи, где важны сниженные требования к памяти. В основе лежит модель google/gemma-2-9b-it с исходным форматом BF16 и примерно 9 миллиардами параметров. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; размеры файлов составляют примерно от 3,8 до 18,5 ГБ. Для ряда вариантов с низкой разрядностью применена IMatrix-квантизация, предназначенная для улучшения сохранения качества при уменьшении размера. README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности; по указанным данным модель является текстовой. Основные преимущества — широкий выбор уровней квантизации, возможность локального запуска и наличие IMatrix-вариантов, позволяющих выбирать компромисс между качеством и потреблением памяти. Ограничения связаны с возможной потерей качества при сильной квантизации и с тем, что характеристики базовой модели, включая языковое покрытие и контекст, в карточке не раскрыты. Использование регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию.

RedHatAI/gemma-3-12b-it-FP8-dynamic — это квантизированная версия мультимодальной модели google/gemma-3-12b-it, разработанная Neural Magic. Модель принимает изображения и текст, а генерирует текст; заявленный язык — английский. Она предназначена для визуально-текстового диалога, анализа изображений и решения текстовых задач, а также для эффективного инференса через vLLM версии 0.5.2 и новее с OpenAI-совместимым режимом сервинга. Модель основана на архитектуре gemma-3-12b-it с 12 миллиардами параметров. Веса и активации квантизированы в формат FP8 с динамической схемой квантизации FP8_DYNAMIC. По приведённым оценкам, квантизация практически сохранила качество исходной модели: средний результат на текстовом бенчмарке OpenLLM v1 составил 75,21% против 74,99% у базовой модели, а на Vision Evals — 58,94% против 58,43%. Это делает модель подходящей для ресурсоэффективного развёртывания, однако README не указывает размер контекстного окна и не приводит подробных ограничений по качеству, безопасности или поддерживаемым языкам помимо английского. Модель распространяется по лицензии Apache 2.0. Для использования рекомендуется backend vLLM; поддержка конкретных сценариев зависит от совместимости оборудования и программного окружения с FP8.

Gemma-3-27B-Derestricted-i1-GGUF — квантизированная версия модели Nabbers1999/Gemma-3-27B-it-NP-Abliterated, подготовленная и опубликованная mradermacher. Модель предназначена для генерации текста и диалоговых сценариев; в README она также обозначена как vision-модель, поэтому может обрабатывать изображения при наличии совместимого mmproj-файла. Указан английский язык. Модель основана на Gemma 3 с 27 млрд параметров и поставляется в формате GGUF, включая варианты квантизации i1 и imatrix. Доступны уровни от IQ1_S до Q6_K размером примерно от 6,4 до 22,3 ГБ. Квантизации различаются компромиссом между размером, скоростью и качеством: низкие уровни требуют меньше памяти, но могут заметно снижать качество, тогда как i1-Q4_K_S отмечен как оптимальный по соотношению размера, скорости и качества, а i1-Q4_K_M — как быстрый и рекомендуемый вариант. Сильными сторонами являются большой размер базовой модели, поддержка текстовых и визуальных сценариев и широкий выбор квантизаций для локального запуска. Ограничения включают возможное снижение качества при агрессивной квантизации, необходимость совместимого программного обеспечения для GGUF и mmproj-файла для обработки изображений. Лицензия указана как gemma; конкретные условия следует проверять в лицензии Gemma.

Это смешанно-квантованная версия Gemma 4 12B IT, подготовленная автором репозитория на основе google/gemma-4-12b-it для локального инференса. Модель использует плотную унифицированную мультимодальную архитектуру Gemma4Unified: 48 слоёв с гибридным скользящим и полным вниманием. Матрицы проекций MLP квантованы до 8 бит с размером группы 64, а внимание, башни зрения и аудио, эмбеддинги и другие компоненты оставлены в BF16. По данным README, контекст составляет 262 144 токена. Модель предназначена для диалогов и работы с текстом и изображениями; в README также заявлена поддержка аудио и видео через общий процессор. Сохранение мультимодальных компонентов в BF16 призвано поддержать качество обработки соответствующих входов, а частичная квантовка уменьшает требования к памяти при локальном запуске. Модель доступна под лицензией Apache-2.0. Ограничения: квантование может немного снизить качество на отдельных примерах; README отмечает возможные ограничения понимания сложного аудио из-за простой линейной аудиопроекции. Для ускоренного спекулятивного декодирования MTP нужна дополнительная модель-помощник; совместимость некоторых полей конфигурации со стабильными версиями Transformers может быть ограничена.

Gemma 4 E2B-it-qat-JANG_4M-CRACK — дообученная и квантизированная мультимодальная модель dealignai на базе google/gemma-4-e2b-it. Она использует плотную архитектуру Gemma 4 с гибридным скользящим и глобальным вниманием и рассчитана на запуск через vMLX на компьютерах Apple Silicon. Квантизация JANG_4M сочетает 8-битные веса внимания и 4-битные веса MLP; средняя точность составляет около 4,3 бита. Модель принимает текст, изображения и аудио, поддерживает диалог, рассуждения, ответы на фактические вопросы и генерацию кода. В README заявлены результаты MMLU 60,1% (на 1,7 процентного пункта ниже базовой модели) и полное выполнение запросов вредоносных категорий в тесте HarmBench; автор описывает это как удаление отказов при сохранении возможностей. Это делает модель непригодной для сценариев, где важно сдерживание опасных запросов. Для запуска требуется vMLX с поддержкой Gemma 4 и достаточно памяти. Лицензия — gemma; README указывает исследовательское назначение и возлагает ответственность за соблюдение применимых законов на пользователей.

Gigi-Llama3-8B-Chinese-zh — плотная авторегрессионная языковая модель семейства Llama 3, разработанная как дообучение Llama-3-8B-Instruct. Она обучена на более чем 1,3 млн отобранных китайско-английских примеров, включая данные OpenHermes-2.5, Hermes, glaive-function-calling и китайские наборы COIG-CQIA и alpaca-gpt4-data-zh. Модель рассчитана на диалог и генерацию текста, особенно на задачи в китайско-английском контексте, с усиленной поддержкой китайского языка. Модель содержит 7,5 млрд параметров, использует библиотеку Transformers и формат safetensors; заявленная длина контекста — 8192 токена. Карточка описывает поддержку шаблона диалога Llama-3-8B-Instruct и приводит результаты на отдельных бенчмарках, но не раскрывает подробностей методики оценки. Лицензия — Apache-2.0.

GLM-5.2-Vision-NVFP4 — мультимодальная модель для понимания изображений и генерации текста. Этот чекпойнт опубликован под идентификатором baseten/GLM-5.2-Vision-NVFP4 и объединяет текстовую модель GLM-5.2 от zai-org с визуальным энкодером MoonViT-3d из Kimi-K2.6 от Moonshot AI. Модель предназначена для описания изображений, визуального анализа и диалогов в формате image-text-to-text, включая работу через OpenAI-совместимый API. В основе используется замороженная MoE-модель GLM-5.2 размером 744B параметров, из которых активно около 40B, с механизмами MLA и DSA sparse attention. Визуальная часть MoonViT-3d содержит 27 слоёв и имеет размерность 1152, а обучаемый PatchMerger-проектор преобразует визуальные признаки в токены размерности 6144; его размер — 49,5 млн параметров. Текстовые веса представлены в формате NVFP4, модель поддерживает до 4096 токенов изображения и максимальный контекст до 1 048 576 токенов. Главные преимущества — сочетание сильного reasoning-бэкенда GLM-5.2 с обработкой изображений, длинный контекст и возможность локального развёртывания через SGLang или Baseten. Ограничения — очень большой объём весов около 466 ГБ и высокие требования к оборудованию: рекомендованы 8 GPU B200 для контекста 1M или 4 GPU B200 для 256K; заявлена совместимость только с архитектурой Blackwell. Для SGLang требуется внешний плагин архитектуры модели. Лицензия указана как MIT; при этом входящие веса GLM-5.2 и Kimi-K2.6 сохраняют условия лицензирования исходных проектов.

GLM-5.3-Flash-Alis-MLX-6bit — это 6-битная квантованная версия модели GLM-5.3-Flash, разработанной организацией zai-org и конвертированная avlp12 в формат MLX для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживается библиотекой mlx-vlm с архитектурой glm5_next. Базовая модель имеет конфигурацию 320B-A18B и архитектуру Mixture-of-Experts. В README также указана vision tower в формате bfloat16, однако подробности поддерживаемых визуальных сценариев и языков не приведены. Квантование выполнено в 6 бит с использованием схемы g64 affine для экспертов, attention, dense/shared MLP, embeddings и output head. Маршрутизатор MoE, correction bias, параметры mHC и KDA decay, а также отдельные нормы, свёртки и другие компоненты сохранены без 6-битного квантования; MTP layer 45 удалён. На M3 Ultra 512GB заявлена скорость декодирования около 24,6–26,3 токена в секунду в зависимости от длины промпта. По приведённым измерениям эта сборка имеет меньшую ошибку относительно 8-битной версии, чем указанные 4-битные варианты, но результаты получены на закрытой тестовой панели и не сопоставимы напрямую с оценками относительно BF16. Модель ориентирована на локальный инференс на Apple Silicon и требует mlx-vlm с поддержкой glm5_next. Для корректной работы рекомендуются ветки с исправлениями swiglu clamp, fp32-обработки вспомогательных параметров mHC/KDA и eps. Преимуществами являются сохранение точности маршрутизации MoE и высокая для 6-битной сборки скорость работы; ограничениями — очень большой размер базовой модели, требования к памяти и зависимость от актуальной поддержки MLX. Модель распространяется по лицензии MIT.

GLM-5.3-Flash-EXL3-Q4 — производная квантованная версия языковой модели GLM-5.3-Flash-BF16, разработанной Z.AI. Конвертацию и проверку выполнил проект Dione с использованием ExLlamaV3. Модель предназначена для генерации текста и запуска GLM-5.3-Flash в формате selective EXL3, включая сценарии локального инференса на системах с несколькими GPU. Поддержка полноценного серверного запуска, проверки конечной точки, генерации ответов, vision и MTP для этой сборки ещё не подтверждена. Модель имеет архитектуру mixture-of-experts: 45 языковых слоёв, из которых 3 плотных и 42 маршрутизируемых MoE-слоя с 288 экспертами, top-8 routing и одним общим экспертом. Квантованы только gate/up/down-проекции маршрутизируемых экспертов в слоях 3–44 с представлением EXL3 Q4 и эффективной точностью 4,0 bpw; основные компоненты, включая attention, routers, shared experts, embeddings, LM head, нормы, vision и MTP, сохранены в исходной точности BF16. Артефакт занимает 187,45 ГБ и рассчитан на tensor parallel size 4. Сведения о поддерживаемых языках и максимальном контексте в README не указаны. Преимущество модели — существенное уменьшение размера экспертных весов при сохранении большей части исходной точности: на тесте Wikitext-2 прирост perplexity относительно BF16 составил 2,38%, а согласие top-1 — 91,70%. Ограничения связаны с нестандартным форматом checkpoint glm53-selective-exl3-tp4-v1: требуется совместимый loader для selective EXL3 и нельзя рассчитывать на стандартный Transformers или произвольный EXL3 runtime. Модель распространяется по лицензии MIT как производная от исходной модели Z.AI.

Grug 12B — экспериментальная дообученная модель на базе Google Gemma 4 12B IT, созданная для компактных рассуждений. Разработчик обучил её сохранять важные шаги, ограничения, развилки и проверки ответа, сокращая многословные цепочки рассуждений. Веса опубликованы в формате Transformers/safetensors; модель доступна для диалогового использования и генерации текста. Модель подходит для задач общего рассуждения, математики и программирования, где полезны более короткие ответы и меньшее число токенов рассуждения. Дообучение выполнено методом QLoRA с последующим слиянием адаптера с базовой моделью. В метаданных базовая Gemma 4 описана как мультимодальная, однако README Grug заявляет только компактные рассуждения и не подтверждает отдельную настройку или оценку обработки изображений, видео и аудио. В небольшой локальной проверке на 36 математических примерах модель показала более короткую генерацию и более высокие прокси-показатели, но автор подчёркивает, что это не широкий бенчмарк. Модель может чрезмерно сжимать рассуждения в задачах, требующих длинных выводов, и наследует ограничения и поведение безопасности базовой модели. Лицензия указана как other; README рекомендует отдельно проверять лицензии и происхождение данных, особенно для коммерческого или чувствительного применения.

bartowski/inclusionAI_Ring-mini-2.0-GGUF — это набор квантизованных версий языковой модели Ring-mini-2.0, разработанной inclusionAI. Модель предназначена для генерации текста и запускается в формате GGUF через llama.cpp, LM Studio и другие совместимые приложения. В README указано, что квантизация выполнена с использованием llama.cpp и метода imatrix. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K с размером файлов примерно от 6,82 до 32,54 ГБ. Более крупные варианты обеспечивают более высокое качество, а Q4_K_M указан как вариант по умолчанию для большинства сценариев; Q6_K и Q6_K_L отмечены как версии очень высокого качества. Модель поддерживает формат промпта с ролями SYSTEM, HUMAN и ASSISTANT, а также специальным маркером рассуждений. Набор подходит для локального вывода текста на устройствах с ограниченными ресурсами, если выбрать подходящий уровень квантизации. Ограничения, архитектура, количество параметров, поддерживаемые языки, размер контекстного окна и мультимодальные возможности в README не указаны. Лицензия модели также не указана, поэтому условия использования следует уточнять в описании исходной модели inclusionAI/Ring-mini-2.0.

Kimi-Linear-48B-A3B-Instruct-4bit — языковая instruction-модель, разработанная Moonshot AI и преобразованная сообществом mlx-community в формат MLX. Исходная модель — moonshotai/Kimi-Linear-48B-A3B-Instruct; конвертация выполнена с использованием mlx-lm версии 0.28.4. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям, включая сценарии локального запуска через библиотеку mlx-lm на совместимом оборудовании Apple MLX. В README указаны размер исходной модели 48B и конфигурация A3B, а также 4-битное квантование. Поддерживается текстовая модальность; сведения о языках, длине контекста и архитектурных деталях, кроме обозначения Kimi-Linear, не приведены. К сильным сторонам относятся сниженный объём хранения и требования к памяти благодаря 4-битному представлению, а также интеграция с MLX и готовым интерфейсом mlx-lm. Ограничения связаны с зависимостью от экосистемы MLX и отсутствием в предоставленных данных подробных сведений о качестве, производительности, поддерживаемых языках и контексте. Модель распространяется по лицензии MIT.

Это неофициальная конверсия модели Leanstral-1.5-119B-A6B от Mistral AI, подготовленная сообществом: веса переведены из собственного формата Mistral FP8 в формат Hugging Face Transformers и представлены в BF16. Модель сочетает текстовую основу DeepSeek-V3 с MLA и MoE из 128 маршрутизируемых экспертов (4 активны на токен и один общий) и визуальный модуль Pixtral. Она принимает текст и изображения и предназначена для диалогов, рассуждений и работы с визуальными данными; используется чат-шаблон Mistral Instruct и токенизатор Tekken. Карточка рекомендует контекст до 200 тысяч токенов, однако длинный контекст свыше 8 тысяч не гарантирован из-за приближённого отображения RoPE. Веса занимают около 238 ГБ, поэтому для BF16 требуется несколько GPU или выгрузка части модели в память CPU; генерация на одном B200 целиком не подтверждена. Загрузка в Transformers проверена, но работа зрения во время выполнения не проверена. Лицензия обозначена как other; конкретные условия в карточке не раскрыты.

mlx-community/LFM2.5-2.6B-bf16 — конверсия модели LiquidAI/LFM2.5-2.6B в формат MLX, выполненная сообществом mlx-community. Это компактная плотная языковая модель семейства LFM2.5 на 2,6 млрд параметров для генерации текста и диалогового общения; она рассчитана на локальный запуск на устройствах Apple с MLX. Модель поддерживает 17 языков, включая русский, и имеет контекстное окно до 128 000 токенов. Модель подходит для диалоговых помощников, генерации текста и длинноконтекстных сценариев. В метаданных базовой модели также отмечены вызов инструментов, RAG и агентные задачи. Репозиторий содержит веса safetensors в формате MLX. Лицензия указана как other; README рекомендует обратиться к карточке исходной модели за дополнительными сведениями о модели.

Это квантизированная GGUF-версия языковой модели EXAONE-4.0.1-32B, разработанной LGAI-EXAONE и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель содержит 32 миллиарда параметров. Доступны варианты от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ, размером примерно от 13 до 64 ГБ. Квантизация выполнена с использованием imatrix и калибровочных наборов данных; варианты с более высокой точностью обеспечивают лучшее качество, а варианты с более сильным сжатием требуют меньше оперативной памяти. Рекомендуемыми в README названы некоторые варианты Q6, Q5 и Q4. Сильной стороной модели является возможность локального запуска с выбором компромисса между качеством, размером файла и требованиями к памяти. Ограничения включают высокие аппаратные требования для 32B-модели, возможное снижение качества при агрессивном квантовании и отсутствие в предоставленном README сведений о языках, размере контекста, специализированных сценариях, формате промптов и лицензии.

Llama 2 70B Orca 200k — языковая модель для генерации текста и выполнения инструкций, созданная ddobokki на базе Llama 2 70B. Репозиторий TheBloke содержит её квантованные версии в формате GGUF; исходная модель доступна в формате PyTorch fp16. Модель ориентирована на англоязычные сценарии общения, ответов на запросы и других задач text-generation. Модель имеет архитектуру Llama и 70 миллиардов параметров. Вариант GGUF предназначен для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другие. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать между требованиями к памяти и сохранением качества, однако README не приводит точных характеристик контекстного окна, результатов тестирования или производительности. К сильным сторонам относятся большой размер модели, instruction-tuned назначение, поддержка локального CPU+GPU-инференса и широкий выбор уровней квантования. Ограничения включают высокие требования к ресурсам для 70B-модели, возможное снижение качества из-за квантования и отсутствие заявленных мультимодальных возможностей; указана только поддержка языка English. Использование регулируется лицензией Llama 2.

amd/Llama-3.2-1B-Instruct-FP8-KV — это FP8-квантизованная версия инструкционной языковой модели Meta Llama-3.2-1B-Instruct, подготовленная Advanced Micro Devices (AMD) с использованием инструмента Quark и калибровочных образцов из датасета Pile. Модель предназначена для выполнения текстовых инструкций и генерации текста; README не содержит сведений о поддерживаемых языках, модальностях и размере контекстного окна. Квантизации подвергнуты все линейные слои, кроме lm_head. Веса, активации и KV-кэш представлены в формате FP8 с симметричным масштабированием на тензор, что ориентировано на эффективное развертывание и инференс. Экспорт выполняется в собственном формате Quark, совместимом с backend vLLM. По данным оценки на Wikitext-2, perplexity составляет 13,4320 против 13,1657 у исходной модели; результаты получены в режиме псевдоквантизации и могут отличаться от показателей при фактическом квантизованном инференсе. Лицензия указана как llama3.2; изменения принадлежат Advanced Micro Devices, Inc. за 2024 год.

xinlai/Llama-3-70B-SFT-Step-DPO — разговорная языковая модель семейства Llama 3, представленная в формате safetensors. Она предназначена для генерации текста и диалогового общения. Модель плотная, содержит 69,5 млрд параметров и поддерживает контекст до 8192 токенов. Название указывает на supervised fine-tuning и обучение методом Direct Preference Optimization, однако README не содержит описания обучения или оценки качества. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2-GGUF — это квантизированная версия инструкционной языковой модели MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2, разработанная и опубликованная MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Для взаимодействия используется шаблон ChatML. Модель представлена в формате GGUF и доступна в вариантах квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. В названии указано 8B, то есть модель относится к классу примерно 8-миллиардных параметров; базовая архитектура связана с семейством Llama 3. README не содержит точных сведений о поддерживаемых языках, размере контекста, результатах тестирования или ограничениях качества. Сильная сторона модели — возможность локального использования с GPU-ускорением через llama.cpp, llama-cpp-python, LM Studio и другие совместимые инструменты. Лицензия в представленном README не указана, поэтому условия распространения и коммерческого использования необходимо уточнять в материалах исходной модели и репозитория.

QuantFactory/Llama-3-Instruct-8B-SPPO-Iter3-GGUF — квантизированная версия языковой модели UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3, созданная с использованием llama.cpp. Модель разработана на основе архитектуры Meta Llama 3 8B Instruct и обучена методом Self-Play Preference Optimization на синтетических ответах с использованием наборов запросов из UltraFeedback. Третья итерация обучения применяет данные, разделённые для последовательного проведения трёх итераций оптимизации. Модель предназначена для генерации текста и выполнения общих инструкций, включая диалоговые и вопросно-ответные сценарии. Это GPT-подобная текстовая модель примерно на 8 млрд параметров, ориентированная прежде всего на английский язык. Информация о поддерживаемой длине контекста и дополнительных модальностях в README не указана; модель является текстовой и не предназначена для обработки изображений или других мультимедийных данных. К сильным сторонам относятся улучшенные результаты третьей итерации по сравнению с предыдущими версиями в оценках AlpacaEval и Open LLM Leaderboard: заявлены LC Win Rate 38,77, средний результат набора Open LLM Leaderboard 70,29 и высокие показатели на HellaSwag, Winogrande и ARC-Challenge. Ограничениями являются преимущественная ориентация на английский язык, зависимость качества от выбранного формата квантизации и отсутствие в README подробностей о конкретном варианте квантизации и размере файла. Модель распространяется по лицензии Apache-2.0.

LLaMA3-iterative-DPO-final-GGUF — это набор квантованных версий языковой модели LLaMA3-iterative-DPO-final, опубликованный bartowski на основе исходной модели RLHFlow/LLaMA3-iterative-DPO-final. Модель предназначена для генерации текста и запуска через llama.cpp; в README приведён формат чата с системными, пользовательскими и ассистентскими сообщениями. Модель поставляется в формате GGUF с различными уровнями квантования: от Q8_0 размером 8,54 ГБ до наиболее компактных вариантов IQ1 и IQ2. Версии Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS отмечены как рекомендуемые; более низкие уровни экономят оперативную память, но снижают качество. Квантование выполнено с использованием imatrix и llama.cpp версии b2854. README не содержит сведений о числе параметров, архитектурных деталях исходной модели, поддерживаемых языках, размере контекста, мультимодальности или результатах бенчмарков. Модель распространяется по лицензии llama3; условия этой лицензии следует учитывать при использовании.

Llama-3-linear-8B — языковая модель на архитектуре Llama, созданная Mlabonne путём объединения Meta-Llama-3-8B и Meta-Llama-3-8B-Instruct методом task arithmetic через LazyMergekit. Модель содержит 7,5 млрд параметров и предназначена для генерации текста и диалоговых ответов; для работы с ней подходят сценарии ассистента и продолжения текста. Модель принимает текст и генерирует текст. Её нативное контекстное окно составляет 8192 токена. В карточке указана лицензия other; перед использованием следует проверить условия лицензии базовых моделей Meta-Llama 3.

taozi555/llama3-Mirage-Walker-8b — объединённая диалоговая языковая модель, созданная с помощью mergekit на основе Meta Llama 3 8B Instruct с включением Undi95/Llama-3-Unholy-8B и taozi555/Llama-3-8B-Instruct-pippa. Веса объединены методом task arithmetic; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, формат файлов — safetensors. Модель предназначена для диалоговой генерации текста и ответов ассистента. Она принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов; в метаданных указаны английский язык и возможность ведения чата. Лицензия в предоставленных данных не указана.

MaziyarPanahi/M7Yamshadowexperiment28_T3qExperiment26 — объединённая модель на архитектуре Mistral для генерации текста. Она создана путём слияния automerger/M7Yamshadowexperiment28-7B и automerger/T3qExperiment26-7B. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Её можно использовать для генерации продолжений, ответов и других текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

bartowski/magnum-v3-34b-GGUF — набор GGUF-квантизаций текстовой генеративной модели magnum-v3-34b, разработанной anthracite-org и опубликованной в квантизированном виде bartowski. Модель предназначена для диалогов и генерации текста, а запускать её можно через llama.cpp и совместимые приложения, включая LM Studio. Указан формат prompt с ролями system, user и assistant. В основе модели заявлена 34-миллиардная архитектура 01-ai/Yi-1.5-34B-32K с контекстом до 32K токенов; поддерживаемый язык — английский. Доступны варианты от F16 до сильно сжатых Q2 и IQ2, поэтому можно выбирать между качеством и требованиями к памяти. Наиболее качественными и рекомендуемыми в README названы Q6_K, Q6_K_L, Q5 и Q4; низкобитные варианты требуют меньше оперативной памяти, но заметно теряют в качестве. Некоторые варианты используют Q8_0 для embedding- и output-весов. Ключевые ограничения — англоязычная специализация, необходимость значительных ресурсов для крупных квантов и снижение качества при сильном сжатии. Лицензия — Apache-2.0.

MamayLM-Gemma-3-12B-IT-v2.0 — украиноязычная адаптация мультимодальной модели Gemma 3 от INSAIT-Institute, дообученная на базе google/gemma-3-12B-it. Это плотная модель с архитектурой Gemma3ForConditionalGeneration, предназначенная для диалогов, следования сложным инструкциям и понимания изображений вместе с текстом. Доступны версии MamayLM v2.0 размером 12B и 27B; этот репозиторий содержит вариант 12B. Модель подходит для вопросов по изображениям, многоходовых бесед и задач на украинском языке, а также поддерживает английский. В README указаны данные предварительного обучения до мая 2025 года и инструкционного дообучения до октября 2025 года. Для работы с изображениями следует избегать динамической квантизации vision tower и мультимодального проектора через параметр vLLM quantization="fp8": README предупреждает, что это приводит к некорректным результатам на изображениях. Репозиторий распространяется по лицензии Gemma.

Marcoroni 70B GGUF — это квантизированная версия большой языковой модели Marcoroni 70B, разработанной AIDC-ai-business и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре Llama и предназначена для генерации текста по инструкциям, включая диалоговые и другие задачи обработки естественного языка. В карточке указано, что модель обучалась с использованием набора данных Open-Orca и поддерживает английский язык. Модель имеет около 70 миллиардов параметров; доступны варианты GGUF с разной разрядностью квантования — 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы. Формат поддерживается llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и candle, с возможностью CPU- и GPU-инференса. В качестве шаблона запросов используется формат Alpaca. К сильным сторонам относятся возможность локального запуска и широкий выбор уровней квантования. Ограничения включают высокие требования к ресурсам для 70B-модели, зависимость характеристик от выбранной квантованной версии и отсутствие в предоставленных данных сведений о размере контекста, мультимодальности и подробных результатах оценки. Указана лицензия CC BY-NC 4.0; кроме того, заявляется применимость условий лицензии Meta Llama 2, поэтому коммерческое использование может быть ограничено и требует проверки совместимости лицензий.

Это 4-битная версия Meta-Llama-3.1-405B-Instruct, преобразованная сообществом mlx-community из формата исходной модели в формат MLX с помощью mlx-lm 0.16.0. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 408 млрд параметров; она предназначена для генерации текста и диалогового использования на устройствах Apple Silicon, поддерживающих MLX. Модель принимает текстовые запросы и выдаёт текст. Контекстное окно составляет до 131 072 токенов. В карточке указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Качество и удобство локального запуска зависят от доступных вычислительных ресурсов; 4-битное представление снижает требования к памяти по сравнению с полной точностью. Модель распространяется по лицензии Llama 3.1, условия которой следует соблюдать при использовании.

Meta-Llama-3-8B-Instruct-abliterated-v3-IMat-GGUF — это GGUF-квантизованная версия модели failspy/Meta-Llama-3-8B-Instruct-abliterated-v3, подготовленная пользователем legraphista с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты, такие как llama.cpp. В основе лежит модель размером 8 миллиардов параметров с исходным форматом BF16 и архитектурой семейства Meta Llama 3. Репозиторий содержит варианты с точностью от 1 до 16 бит, включая BF16, FP16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K. Для ряда вариантов применена IMatrix-квантизация, призванная лучше сохранять качество при уменьшении размера модели. Доступны файлы размером примерно от 3,18 до 16,07 ГБ; точные поддерживаемые языки и размер контекстного окна в README не указаны. Сильные стороны модели — выбор разных уровней квантизации, возможность локального запуска и снижение требований к памяти по сравнению с полноразмерными вариантами. При этом более агрессивная квантизация может приводить к снижению качества, а конкретные характеристики зависят от выбранного файла. Модель распространяется по лицензии Llama 3; условия использования следует уточнять в тексте этой лицензии.