I.14Автоматизация процессов и AI-агенты

MaziyarPanahi/phi-4-GGUF — это набор квантизированных файлов модели microsoft/phi-4 в формате GGUF. Исходную модель разработала Microsoft, а квантизированные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска в совместимых инструментах и библиотеках, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие приложения с поддержкой GGUF. В репозитории представлены варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на эффективный инференс, в том числе с ускорением на GPU, однако конкретные архитектурные характеристики, размер модели, длина контекста, поддерживаемые языки и модальности в README не указаны. Основные преимущества — возможность локального использования и широкий выбор уровней квантизации. Ограничения связаны с потенциальной потерей качества по сравнению с исходной моделью при использовании низкой разрядности, а также с тем, что совместимость и производительность зависят от выбранного клиента и аппаратного обеспечения. Лицензия в предоставленных данных не указана.

Qwen2.5-72B-Instruct-IMat-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-72B-Instruct, разработанной командой Qwen. Квантизацию выполнил legraphista с использованием llama.cpp версии b3787 и калибровочного набора IMatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в совместимых локальных средствах инференса, таких как llama.cpp. Модель основана на версии с 72 миллиардами параметров и исходным форматом BF16. Доступны варианты от BF16 и F16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и более компактных IQ-квантизаций; размеры файлов составляют примерно от 29,81 до 145,42 ГБ. Для ряда вариантов применена IMatrix, что направлено на повышение качества при квантизации. В метаданных указан английский язык; сведения о других языках, архитектуре и размере контекста в представленном README не указаны. Сильная сторона модели — широкий выбор уровней квантизации, позволяющий подобрать компромисс между качеством, размером и требованиями к ресурсам, а также поддержка формата GGUF и IMatrix для многих компактных вариантов. Ограничения включают очень высокие требования к памяти даже для квантизированных файлов, зависимость совместимости и производительности от используемого движка и оборудования, а также возможное снижение качества при сильной квантизации. Модель распространяется по лицензии Qwen; подробные условия указаны в лицензии исходной модели.

Qwen2-57B-A14B — базовая большая языковая модель серии Qwen2, разработанной командой Qwen. Это декодерная модель на архитектуре Transformer с разреженной смесью экспертов (MoE): всего 57 млрд параметров, из которых 14 млрд активируются при одном проходе. Модель предназначена для дальнейшего обучения и оценки возможностей в генерации и понимании текста, ответах на вопросы, рассуждениях, математике, программировании и многоязычных задачах. Модель принимает текст и генерирует текст; карточка указывает контекст до 131 072 токенов и адаптивный к разным естественным языкам и кодам токенизатор. В README не советуют использовать базовую версию для прямой генерации и рекомендуют сначала провести дополнительное обучение, например SFT, RLHF или продолжение предобучения. Для загрузки архитектуры Qwen2MoE требуется Transformers версии 4.40.0 или новее. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

Qwen3-14B-MLX-4bit — это 4-битная версия языковой модели Qwen3-14B, разработанная Qwen и преобразованная сообществом lmstudio-community в формат MLX с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и запуска локальных сценариев на устройствах, совместимых с MLX, включая применение через библиотеку mlx-lm. Модель основана на Qwen/Qwen3-14B и содержит 14 миллиардов параметров. Она относится к моделям text-generation и поддерживает работу с текстовыми запросами; в README не указаны точные языки, длина контекста, дополнительные модальности или подробности архитектуры. При наличии chat template модель может использоваться в формате диалога с ролями пользователя и ассистента. Ключевые преимущества — компактное 4-битное представление, адаптация к экосистеме MLX и возможность локального запуска через стандартные инструменты mlx-lm. Ограничения связаны с потерями качества, возможными для квантизированной версии, а также с отсутствием в README подробных данных о производительности, поддерживаемых языках и требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-MLX-8bit — это 8-битная квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507, подготовленная в формате MLX для эффективной работы на устройствах с Apple Silicon. Исходную модель разработала команда Qwen, а квантизацию выполнила команда LM Studio с использованием инструмента mlx_lm. Модель предназначена для генерации текста и работы с инструкциями в сценариях, поддерживаемых исходной instruct-моделью. В README указаны общий размер исходной модели — 235B параметров — и обозначение A22B, однако дополнительные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях не приведены. Формат MLX ориентирован на локальный запуск на компьютерах Apple Silicon, а 8-битное представление снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность. Модель распространяется по лицензии Apache-2.0. README не содержит подробностей о результатах тестирования, производительности, ограничениях безопасности или качестве на отдельных языках и задачах, поэтому эти характеристики требуют дополнительной проверки.

Qwen3.5-9B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING-MAX-NEOCODE-Imatrix-GGUF — GGUF-квантизированная доработанная версия плотной модели Qwen3.5-9B, разработанная DavidAU. Модель дообучена с использованием Unsloth на наборах данных Claude-4.6-OS и дополнена матрицами DI-MATRIX на основе наборов NEO и NEO-CODE, улучшениями тензоров Unsloth и пользовательским шаблоном Jinja для стабилизации работы и снижения избыточного «обдумывания». Лицензия — Apache-2.0. Модель предназначена для широкого спектра текстовых задач, включая рассуждения, генерацию и продолжение художественных текстов, создание сюжетов и подсюжетов, ролевые сценарии, диалоги и работу с различными жанрами. Заявлена поддержка английского и китайского языков. Модель позиционируется как uncensored и heretic-вариант с существенно сниженным числом отказов; при этом для получения особенно грубого или откровенного стиля иногда требуются дополнительные указания в запросе. Контекст по умолчанию заявлен до 256K токенов. Поддержка изображений протестирована и заявлена как рабочая, но для неё требуется отдельный файл mmproj, размещённый вместе с GGUF; видеовозможности не тестировались. В README приведены результаты тестов на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где версия показывает более высокие значения, чем указанная базовая версия Qwen3.5-9B в режиме thinking, однако результаты зависят от квантизации и настроек запуска. Для работы рекомендуется использовать совместимый рантайм GGUF; автор также указывает специальные параметры сглаживания и рекомендуемые варианты квантизации, поэтому итоговое качество и поведение зависят от программного окружения.

Qwen3.6-27B-V2-abliterated-uncensored-Q4_K_M-GGUF — мультимодальная модель семейства Qwen, выпущенная Lemura Labs. Она основана на Qwen/Qwen3.6-27B и производной Jackrong/Qwopus3.6-27B-v2, дополнительно обработанной методом abliteration для снижения количества отказов. Модель предназначена для генерации текста, диалогов, рассуждений и работы с изображениями совместно с текстовыми запросами. Модель содержит около 27 млрд параметров и распространяется в формате GGUF с 4-битной квантизацией Q4_K_M и эффективной плотностью около 4,92 BPW. Размер языковой части составляет примерно 15,4 ГБ, а комплектный визуальный проектор mmproj.gguf занимает около 928 МБ и сохраняет vision tower Qwen3.6-VL. Поддерживаются английский, китайский и, согласно карточке, мультиязычные сценарии. Для запуска рекомендуется llama.cpp; ориентировочные требования составляют от 16 ГБ GPU или 24 ГБ оперативной памяти на Apple Silicon. К сильным сторонам относятся мультимодальность, совместимость со стандартными сборками llama.cpp, относительно компактный размер для модели такого класса и существенно сниженная частота отказов: 4 из 100 против 91 из 100 у исходной версии в указанном тесте. При этом Q4_K_M уступает более точным вариантам по сохранению исходных характеристик, а для обработки изображений требуется отдельный mmproj.gguf. Показатели отказов и сохранения возможностей приведены разработчиком и могут зависеть от методики оценки; абляция защитных механизмов также может повышать риски небезопасного или нежелательного использования. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-GGUF — квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen и представленной в формате GGUF организацией ggml-org. Модель предназначена для запуска через совместимые инструменты, включая llama.app; в карточке она классифицирована как image-text-to-text, что указывает на поддержку сценариев преобразования изображений и текста в текст, однако подробности о реализованных модальностях не приведены. Известно, что исходная модель связана с Qwen/Qwen3.6-35B-A3B и z-lab/Qwen3.6-35B-A3B-DFlash. Обозначение 35B-A3B указывает на заявленные размеры модели, но архитектура, фактическая схема активации параметров, контекстное окно, языки и варианты квантизации в README не описаны. Сильными сторонами являются формат GGUF и возможность локального запуска через совместимую инфраструктуру; ограничения включают отсутствие подробных характеристик, оценок качества и требований к ресурсам. Модель распространяется по лицензии Apache-2.0 и автоматически преобразована с использованием инструментария ggml-org/convert.

Это языковая модель семейства Qwen3.6, подготовленная пользователем Youssofal и упакованная для библиотеки MTPLX. Она предназначена для локальной генерации текста на компьютерах Apple Silicon, прежде всего для ускоренного инференса со speculative decoding и Multi-Token Prediction на моделях Mac с чипами M1–M5. Доступен OpenAI-совместимый локальный сервер через MTPLX. Модель имеет архитектуру Mixture-of-Experts и заявленный размер 35B с активной частью около 3B параметров (35B-A3B). Основное тело использует 4-битное квантование MLX affine, а плавающие тензоры BF16 преобразованы в FP16; упакованные квантованные тензоры сохранены без повторного квантования. Для ускорения применяются MTP-предсказания с рекомендуемой глубиной D1 и профилем sustained. README не указывает поддерживаемые языки, размер контекста и перечень модальностей, поэтому модель следует считать текстовой. Ключевая особенность варианта — совместимость с FP16-friendly путём на старых Apple Silicon, особенно M1 и M2, при сохранении целевого уровня скорости и качества исходного артефакта. Для M3, M4 и M5 MTPLX обычно выбирает обычную оптимизированную версию. По приведённому baseline скорость составляет 94,46 токена/с для авторегрессионного режима и 138,38 токена/с для режима D1, однако эти показатели являются данными исходного артефакта, а FP16-вариант должен быть к ним близок. Ограничения включают зависимость от MTPLX и Apple Silicon, а также отсутствие полноточного checkpoint: модель рассчитана на быстрое локальное использование, а не на работу в полном формате. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-oQ2e-FP16-MTP-MLX — модель семейства Qwen3.6, подготовленная Treeish в формате MLX safetensors как FP16-вариант пакета Qwen3.6-35B-A3B-oQ2e-MTP-MLX. Она предназначена прежде всего для локального запуска в Sprig на компьютерах Mac с чипами M1 и M2; для M3 и более новых рекомендуется BF16-вариант. Модель поддерживает обработку текста и изображений согласно заявленному pipeline image-text-to-text, однако подробности о визуальных возможностях в карточке не приведены. Архитектура содержит 35 млрд параметров, из которых примерно 3 млрд активны, и использует агрессивную смешанную oQ2e-квантизацию с imatrix: по умолчанию 2-битную affine-квантизацию с размером группы 64 и индивидуальными переопределениями точности от 3 до 8 бит. Остаточные плавающие тензоры имеют точность FP16. В пакет встроен один слой Multi-Token Prediction (MTP), контекстное окно составляет 262 144 токена. Размер пакета — около 13,6 ГБ; для работы Treeish использует 24 ГБ объединённой памяти и рекомендует 32 ГБ, но фактические требования зависят от длины контекста и настроек кэша. Сильными сторонами являются локальная генерация на Apple Silicon, поддержка MTP для потенциального ускорения декодирования и сохранение исходной структуры тензоров при переходе BF16 в FP16. В приведённом тесте на M4 Max скорость составила до 105,8 токена в секунду с MTP, но эти результаты относятся к одной машине и небольшому тестовому набору. Ограничения включают потери качества, возможные для низкобитной квантизации, зависимость от совместимого MLX Swift runtime и отсутствие гарантии побитового совпадения результатов MTP и базовой генерации. Модель распространяется по лицензии Apache 2.0.

amd/Qwen3.6-35B-A3B-w8a8-llmcompressor — квантизированная AMD версия модели Qwen3.6-35B-A3B, созданная с использованием LLM Compressor и формата compressed-tensors. Модель предназначена для генерации текста и поддерживает текстовый ввод и вывод; в исходной архитектуре используется Qwen3_5MoeForConditionalGeneration с разреженной MoE-структурой. Указан английский язык. README не приводит общее число параметров в явном виде, но размер исходных весов составляет 67,0 GiB, а после квантизации — 35,1 GiB. Применяется для инференса на CPU AMD EPYC под Linux через vLLM. Используется квантизация W8A8: веса представлены в INT8 с симметричным поканальным масштабированием, активации — в INT8 с динамическим поточным масштабированием. Маршрутизатор MoE, отдельные gating-модули, модули линейного внимания, визуальная башня и lm_head сохранены в BF16. Это снижает размер модели примерно на 48% и ориентировано на эффективный CPU-инференс с оптимизациями ZenDNN и ZenTorch. В предоставленной оценке на GSM8K модель получила 0,9629 против 0,9629 у исходной BF16-версии, однако результаты приведены только для одного бенчмарка. Основные ограничения — ориентация на AMD EPYC CPU, отсутствие целевой поддержки GPU и зависимость от конкретного стека: ZenDNN 6.1.0, ZenTorch 2.11.0.3, PyTorch 2.11.0, LLM Compressor 0.12.0 и vLLM 0.26.0; на других версиях корректная загрузка не гарантируется. Модель распространяется по лицензии Apache-2.0, как и исходная модель.

LibertAIDAI/Qwen3.8-27B-NVFP4-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная LibertAI для запуска в llama.cpp. Модель предназначена для генерации текста, а при подключении отдельного vision-модуля — для обработки изображений и видео. Вариант MTP использует Multi-Token Prediction для speculative decoding: отдельная черновая голова предлагает несколько следующих токенов, а основная модель проверяет их одним проходом, что может повысить скорость генерации. Основная часть весов использует NVFP4 с размером группы 16 для линейных слоёв MLP; attention, vision tower, embeddings, lm_head и MTP-блок сохранены в BF16. Доступны варианты с тензорами Q4_K_M, Q8_0 или BF16, а также отдельные файлы MTP-головы и vision-модуля. Заявлена поддержка английского языка, контекст до 262144 токенов указан в тестовой конфигурации. На RTX 5090 авторы измерили прирост скорости около 22,7% при использовании MTP и конфигурации n-max=3, p-min=0.1. Сильными сторонами являются уменьшенный размер NVFP4-весов, совместимость с llama.cpp, поддержка speculative decoding и мультимодального ввода при подключении mmproj-файла. Для работы требуется Blackwell GPU с архитектурой sm_120 и llama.cpp, собранный с CUDA 12.8 или новее; MTP-голова не работает самостоятельно. Реальный прирост скорости зависит от предсказуемости текста, а мультиязычные, кодовые и визуальные сценарии отдельно полноценно не оценивались. Модель распространяется по лицензии Apache 2.0, унаследованной от Qwen/Qwen3.8-27B.

MaziyarPanahi/Qwen3-8B-GGUF — это набор файлов модели в формате GGUF для базовой модели Qwen3-8B, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие. Известно, что модель основана на архитектуре и характеристиках Qwen3-8B, однако в README не приведены подробности о размере контекста, языках, поддерживаемых модальностях и других архитектурных параметрах. Доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на эффективный инференс, включая использование GPU-ускорения. Сильные стороны модели — разнообразие вариантов квантизации и широкая совместимость с локальными средствами запуска, включая CLI, веб-интерфейсы и OpenAI-совместимые серверы. Ограничения связаны с возможными потерями качества при низкой разрядности квантизации и зависимостью от совместимого программного обеспечения. Лицензия в README не указана.

Qwen3-Next-80B-A3B-Instruct-MLX-4bit — это 4-битно квантованная версия языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen. Квантование в формате MLX подготовлено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и работы в инструкционных сценариях, включая диалоговое взаимодействие и выполнение текстовых запросов. В README указаны размер исходной модели 80B и обозначение A3B, однако подробности архитектуры, контекстного окна, поддерживаемых языков и модальностей не приведены. Формат MLX и 4-битное квантование ориентированы на более эффективное локальное выполнение при ограниченных ресурсах по сравнению с полноразмерной версией. К сильным сторонам относятся локальный запуск на Apple Silicon и сниженные требования к памяти благодаря квантованию. Ограничения включают возможную потерю качества по сравнению с исходной моделью и отсутствие в предоставленных данных подробных сведений о производительности, языковой поддержке и безопасных сценариях применения. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-VL-32B-Instruct-FP8-dynamic — мультимодальная instruction-модель, разработанная Red Hat на основе Qwen/Qwen3-VL-32B-Instruct. Модель принимает текст и изображения, а генерирует текст; архитектура указана как Qwen3VLForConditionalGeneration. Она предназначена для диалоговых и аналитических сценариев, требующих понимания визуального содержимого, включая описание изображений и ответы на вопросы по диаграммам. Модель содержит 32 млрд параметров и использует динамическую FP8-квантизацию весов и активаций линейных операторов в трансформерных блоках языковой части. По заявлению авторов, это примерно на 50% снижает размер на диске и требования к GPU-памяти по сравнению с представлением FP16. В оценках с vLLM использовалась максимальная длина контекста 262144 токена и поддержка до 10 изображений, однако отдельные характеристики исходной модели, включая языки и полный контекст, в README не указаны. К сильным сторонам относятся мультимодальность, существенное сокращение требований к памяти и близкие к исходной модели результаты на MMLU: 77,89 против 78,03. На ChartQA заявлена точность 86,68, но эти результаты нельзя напрямую считать универсальной оценкой качества. Ограничения связаны с потерями точности и возможными особенностями FP8-квантизации, а также с тем, что квантизация применяется не ко всем компонентам модели. Для развёртывания рекомендуется vLLM с tensor parallelism; модель распространяется по лицензии Apache-2.0.

Alcoft/Qwen_Qwen3-4B-GGUF — это набор GGUF-квантизованных версий языковой модели Qwen3-4B, разработанной командой Qwen. Репозиторий подготовлен пользователем Alcoft с использованием TAO71-AI AutoQuantizer; исходная модель доступна в репозитории Qwen/Qwen3-4B. Модель предназначена для генерации текста и локального запуска в совместимых с GGUF приложениях. Доступны варианты квантизации от Q2_K до Q8_0, а также F16 и исходный BF16. Размер файлов составляет примерно от 1,55 до 7,5 ГБ. Для большинства сценариев автор рекомендует варианты Q4_K–Q8_0: Q4_K_M и Q4_K_L дают приемлемое качество при умеренном размере, Q5_K и Q6_K обеспечивают высокое и очень высокое качество, а Q8_0 приближается к качеству F16. Варианты Q2 и Q3 характеризуются низким качеством и в README не рекомендуются. В README не указаны архитектурные подробности, максимальная длина контекста, поддерживаемые языки, дополнительные модальности, конкретные сценарии применения или сравнительные результаты. Лицензия также не указана, поэтому условия использования следует уточнять по карточке исходной модели Qwen3-4B и репозиторию конвертированных файлов.

bartowski/Qwen_Qwen3.6-27B-GGUF — это набор GGUF-квантизаций языковой модели Qwen3.6-27B, разработанной Qwen и опубликованной в формате, совместимом с llama.cpp. Квантизации подготовлены bartowski с использованием imatrix и предназначены для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В метаданных указано назначение image-text-to-text, однако подробные сведения о поддержке изображений в README отсутствуют. Модель имеет 27 млрд параметров и доступна в вариантах от BF16 до низкобитных Q3, Q4, Q5, Q6, Q8 и IQ-квантизаций. Размер файлов составляет примерно от 13,5 до 54,7 ГБ; варианты с более высокой точностью обычно сохраняют лучшее качество, а низкобитные версии требуют меньше оперативной памяти. Для некоторых конфигураций заявлена поддержка MTP-слоёв через параметр draft-mtp в llama.cpp. Формат prompt использует специальные маркеры ролей system, user и assistant с секцией рассуждений think. Модель подходит для локальной генерации текста и мультимодальных сценариев, если соответствующая поддержка реализована используемым инструментом, однако языки, размер контекста, архитектурные детали исходной модели и конкретные возможности работы с изображениями в предоставленных данных не указаны. Сильные стороны — широкий выбор квантизаций, возможность запуска на различном оборудовании и заявленное высокое качество вариантов Q5–Q8; ограничения связаны с ростом потерь качества у низкобитных вариантов и значительными требованиями к памяти. Указана лицензия Apache-2.0.

Ramonda Monarch 7B — объединённая модель для генерации текста, опубликованная mayacinka. Она создана методом DARE-TIES с помощью LazyMergekit на основе bardsai/jaskier-7b-dpo-v5.6, eren23/ogno-monarch-jaskier-merge-7b, liminerity/Omningotex-7b-slerp и yleo/OgnoMonarch-7B. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и ответов на запросы; в карточке приведены результаты нескольких языковых и логических бенчмарков. Доступны веса в формате safetensors с точностью bfloat16. Лицензия в предоставленных данных не указана. Поскольку это слияние нескольких моделей, условия использования могут зависеть от лицензий исходных моделей; перед применением следует проверить их отдельно.

Fulcrum-AI/Ryze-Embed-3 — объединённая методом passthrough модель на архитектуре Qwen2, созданная с помощью mergekit на основе Alibaba-NLP/gte-Qwen2-1.5B-instruct. Веса доступны в формате safetensors; размер модели — 2,7 млрд параметров, максимальный контекст — 131 072 токена. В метаданных модель обозначена как text-generation и conversational. Базовая модель предназначена для преобразования текстов в эмбеддинги для семантического поиска, сравнения и ранжирования; карточка этой модели не уточняет, сохраняет ли объединённая версия эти возможности и как её применять. Лицензия в предоставленных данных не указана.

smartyplats-7b-v2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и vihangd/smartyplats-7b-v2 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и сообщения в диалоге. Модель принимает текст и выдаёт текст; её контекст составляет до 32 768 токенов. В карточке указаны формат safetensors и лицензия Apache-2.0. README описывает схему слияния, но не приводит отдельные результаты оценки качества или специализированные области применения.

duyntnet/Starling-LM-7B-beta-imatrix-GGUF — набор imatrix-квантизаций языковой модели Starling-LM-7B-beta, разработанной Nexusflow и опубликованной в формате GGUF. Модель предназначена для генерации текста, диалоговых сценариев и задач программирования; поддерживается английский язык. Это текстовая модель без заявленной поддержки других модальностей. Размер исходной модели — 7 млрд параметров, однако точный размер и тип каждой квантизации в README не указаны; сведения о длине контекста и базовой архитектуре отсутствуют. Модель рассчитана на одно- и многоходовые диалоги с использованием шаблона, совместимого с Openchat-3.5-0106, а также на режим программирования с отдельным шаблоном Code User/Code Assistant. Точное соблюдение шаблона важно для качества работы. Модель доступна для тестирования через LMSYS Chatbot Arena и может запускаться с использованием Transformers или совместимых инструментов для GGUF. К сильным сторонам относятся поддержка диалогов и генерации кода, а также наличие оптимизированных квантизированных вариантов для локального запуска. Ограничения включают возможную избыточную многословность в отдельных случаях и снижение качества при неправильном формате промпта; для уменьшения многословности рекомендуется temperature=0. Лицензия указана как other, без дополнительных условий в README, поэтому точные права и ограничения использования следует уточнять по источнику модели.

Steelskull_L3.3-Electra-R1-70b-GGUF — это квантизированная версия языковой модели L3.3-Electra-R1-70b, разработанной Steelskull и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 70 миллиардов параметров и поддерживает текстовый сценарий работы. В README приведён специальный шаблон запросов с системными и пользовательскими сообщениями, совместимый с форматом токенов модели. Доступны варианты квантизации Q2–Q8 и IQ, размером примерно от 27 до 75 ГБ; для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K. Квантизация выполнена с использованием imatrix и датасета, указанного автором сборки. Сильной стороной являются высокое качество крупных вариантов квантизации и возможность локального запуска без обращения к облачным сервисам. Ограничения включают значительные требования к оперативной памяти или видеопамяти, а также возможное снижение качества в компактных вариантах. Языки, размер контекста, точная архитектура, мультимодальные возможности и результаты оценки в README не указаны. Лицензия модели также не указана, поэтому условия использования следует уточнять в репозитории исходной модели.

StrangeMerges_21-7B-slerp — слитая языковая модель на архитектуре Mistral, созданная Gille с помощью LazyMergekit. Она объединяет StrangeMerges_20-7B-slerp и NeuTrixOmniBe-7B-model-remix методом SLERP; веса представлены в формате safetensors и имеют точность bfloat16. Модель предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель может использоваться для диалога, написания и продолжения текстов, а также решения задач на рассуждение. В README приведены результаты Open LLM Leaderboard, включая оценки AI2 Reasoning Challenge и HellaSwag. Метаданные не задают конкретные языки или специализированные области применения. Лицензия — Apache-2.0.

Tralalabs_Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Tralalabs/Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-FP16. Исходная модель связана с семейством Qwen3 и обучена с использованием набора данных TeichAI/claude-haiku-4.5-1700x; квантизацию выполнил bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель содержит около 4 миллиардов параметров, поддерживает текстовый ввод и вывод, а в метаданных указан английский язык. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и Q4-квантизаций; размеры файлов составляют примерно от 2,36 до 8,05 ГБ. В README приведён формат шаблона чата на основе специальных токенов Qwen. Контекстное окно, точный набор поддерживаемых языков и результаты сравнительных оценок не указаны. Основное преимущество модели — выбор вариантов квантизации, позволяющий адаптировать качество и требования к памяти, причём Q6_K и Q6_K_L отмечены как варианты очень высокого качества, а Q4_K_M — как типичный вариант для большинства сценариев. Более сильное сжатие уменьшает потребление памяти, но может снижать качество генерации. Для запуска требуется совместимое программное обеспечение с поддержкой данной архитектуры; для новых моделей иногда необходимо обновление используемого инструмента. Лицензия — Apache-2.0.

nlpguy/Westgate — слитая языковая модель на архитектуре Mistral, созданная с помощью mergekit методом SLERP из jsfs11/TurdusTrixBeagle-DARETIES-7B и senseable/garten2-7b. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации текста; заявленная длина контекста — 32 768 токенов. Модель подходит для диалогов, следования инструкциям и рассуждений, а результаты тестирования в README включают показатели на AI2 Reasoning Challenge и HellaSwag. Карточка не описывает специализацию по языку или предметной области. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Yi-1.5-9B-Chat-GGUF — квантизированная GGUF-версия чат-модели Yi-1.5-9B-Chat, разработанной 01-ai и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая запуск в локальных приложениях и сервисах на базе LlamaEdge. Модель относится к архитектуре Yi и содержит около 9 миллиардов параметров. Она работает с текстом, использует шаблон запросов ChatML и поддерживает контекст размером до 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; размеры файлов составляют примерно от 3,35 до 17,7 ГБ. В README рекомендуются варианты Q4_K_M, Q5_K_M и Q5_K_S как сбалансированные по качеству и размеру. Ключевое преимущество модели — возможность локального запуска при существенно меньших требованиях к памяти по сравнению с полноразмерной версией, особенно при использовании низко- и среднебитных вариантов. При этом сильная квантизация может заметно снижать качество генерации, а варианты Q2_K и Q3_K имеют значительные потери качества. Языки, специальные возможности и результаты сравнительных тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

32B-Qwen2.5-Kunou-v1-GGUF — это набор квантизированных моделей для генерации текста, созданный пользователем bartowski на основе Sao10K/32B-Qwen2.5-Kunou-v1. Модель предназначена для диалогов и других сценариев текстовой генерации; в README приведён шаблон промпта в формате ChatML с ролями system, user и assistant. Модель имеет размер 32B параметров и поставляется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до низкоразрядных Q2 и IQ-квантизаций объёмом примерно от 13 до 66 ГБ. Старшие варианты сохраняют более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству; для большинства сценариев рекомендуются варианты Q4_K_M, Q5 или Q6. Сведения о поддерживаемых языках, максимальном контексте и мультимодальности в README не указаны. К преимуществам относятся широкий выбор квантизаций, возможность локального запуска и использование imatrix-квантизации, направленной на сохранение качества. Ограничения зависят от выбранного варианта и доступных аппаратных ресурсов; низкоразрядные сборки имеют более низкое качество, а полноразмерная F16-версия требует значительного объёма памяти. Лицензия указана как qwen и other; в README приведена ссылка на лицензию Qwen/Qwen2.5-32B-Instruct.

Airavata-airoboros-slerp — объединённая авторами репозитория модель на базе LLaMA, созданная методом slerp с помощью mergekit из jondurbin/airoboros-7b-gpt4-1.1 и ai4bharat/Airavata. Это плотная авторегрессионная модель объёмом 6,6 млрд параметров для генерации текста; в метаданных указано окно контекста 2048 токенов. Модель подходит для диалоговой генерации, ответов на вопросы и задач, поддерживаемых исходными моделями. Карточка не приводит сравнительных оценок качества или подробных результатов тестирования. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

GigaChat3-702B-A36B-preview-GGUF — квантизированная GGUF-версия текстовой генеративной модели ai-sage/GigaChat3-702B-A36B-preview. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель относится к архитектурам MoE и предназначена для генерации и обработки текста, в частности на русском и английском языках. Её можно запускать через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В README не указаны точный объём контекста, количество параметров активной части MoE, поддерживаемые уровни квантизации, модальности кроме текста и результаты тестирования, поэтому оценить производительность и ограничения по этим параметрам нельзя. Доступна по лицензии MIT; конкретные требования к аппаратным ресурсам зависят от выбранного варианта квантизации и не приведены.

Tongyi-DeepResearch-30B-A3B-GGUF — это GGUF-квантизированная версия языковой модели Tongyi-DeepResearch-30B-A3B, разработанной Alibaba-NLP. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. В репозитории доступны варианты от BF16 до низкобитных IQ- и Q-квантизаций размером примерно от 14 до 61 ГБ. В названии модели указана конфигурация 30B-A3B, однако подробности архитектуры, модальностей, поддерживаемых языков и размера контекста в README не приведены. Некоторые варианты, включая Q6_K_L, Q6_K, Q5_K и Q4_K_M, обозначены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. Ключевое преимущество сборки — возможность локального запуска с выбором компромисса между качеством, размером файла и требованиями к памяти. Более компактные квантизации подходят для систем с ограниченными ресурсами, но могут заметнее уступать по качеству исходным весам. Формат prompt в README не указан, поэтому его следует уточнять на странице исходной модели. Лицензия в предоставленных данных не указана.