I.14Автоматизация процессов и AI-агенты

PocketDoc_Dans-PersonalityEngine-V1.2.0-24b-GGUF — квантизированная GGUF-версия модели Dans-PersonalityEngine-V1.2.0-24b, разработанной PocketDoc и подготовленной пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста общего назначения, ролевого общения, написания историй, программирования, математических и логических задач, работы с инструментами, а также обсуждения тем химии, биологии и климата. Указан английский язык. Модель содержит 24 млрд параметров в исходной версии; опубликованы варианты квантизации Q4, Q5, Q6 и Q8 с размером файлов примерно от 14,83 до 25,05 ГБ. Поддерживается запуск через llama.cpp, LM Studio и другие совместимые проекты. В README не указаны точная архитектура исходной модели, размер контекстного окна и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются широкий набор задач, ориентация на диалоги, ролевые сценарии, художественное письмо, код и рассуждения, а также наличие вариантов с разным компромиссом между качеством и требованиями к памяти. Ограничения включают зависимость характеристик от выбранной квантизации и значительные требования к дисковому пространству и памяти. Модель распространяется по лицензии Apache-2.0.

Это набор GGUF-квантизаций модели Qwen2.5-1.5B-Instruct, опубликованный пользователем duyntnet и основанный на модели Qwen от Alibaba Cloud. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, создание длинных текстов, работу со структурированными данными и JSON, программирование и математические задачи. Запуск поддерживается через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель представляет собой causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, 28 слоёв, 12 attention heads для Q и 2 для KV с GQA. Заявлена длина контекста до 32 768 токенов и генерация до 8192 токенов. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся небольшой размер, возможность локального запуска в формате GGUF, улучшенное следование инструкциям, работа с длинными текстами и структурированными ответами, а также многоязычность. Ограничения связаны с относительно небольшим масштабом в 1,5 млрд параметров и с тем, что README не содержит результатов бенчмарков или подробностей конкретных квантизаций. Лицензия указана как other, без уточнения условий использования, поэтому их следует проверять в исходной карточке и связанных материалах Qwen.

Qwen2.5-72B-0.6x-Instruct-GGUF — набор GGUF-квантизированных версий инструкционной языковой модели Qwen2.5-72B-0.6x-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp b4058 и метода imatrix. Модель предназначена для текстовой генерации и диалоговых сценариев, включая работу в LM Studio; README указывает английский язык и формат чата с системными и пользовательскими сообщениями. Доступны варианты квантизации от Q8_0 размером 77,26 ГБ до IQ1_M размером 25,49 ГБ. Версии Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендованные благодаря хорошему соотношению качества и размера, при этом более сильная квантизация уменьшает требования к памяти, но может снижать качество ответов. Q3 и Q2-варианты рассчитаны на системы с ограниченным объёмом RAM и характеризуются более низким качеством. Некоторые форматы оптимизированы для ARM и AVX, а Q4_0_8_8 требует поддержки SVE на ARM и не рекомендуется для Mac. Модель использует лицензию Qwen; ссылка на текст лицензии ведёт к лицензии исходной модели Qwen2.5-72B-Instruct. В README не указаны архитектурные детали, размер контекстного окна, полный список поддерживаемых языков, мультимодальные возможности и результаты бенчмарков, поэтому эти характеристики нельзя надёжно определить по предоставленным данным.

Это GGUF-квантизированная версия языковой модели Qwen2.5-72B-Instruct, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Исходную модель разработала команда Qwen; карточка указывает текстовую специализацию и поддержку английского языка. Модель предназначена для диалогов и генерации текста, включая запуск локально через llama.cpp или LM Studio, с использованием специального chat-шаблона Qwen. Модель имеет 72 млрд параметров, а репозиторий предлагает несколько вариантов квантизации GGUF — от IQ1_M и Q2 до Q8_0. Размеры файлов составляют примерно от 23,74 до 77,26 ГБ; варианты с более высокой точностью обычно требуют больше памяти, но лучше сохраняют качество исходной модели. Рекомендуемыми названы Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Для некоторых вариантов доступны раздельные файлы, а отдельные квантизации используют Q8_0 для embedding- и output-весов. Сильная сторона репозитория — широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с распространёнными локальными инструментами. Ограничения включают значительный объём памяти, необходимый для запуска 72-миллиардной модели, и снижение качества при сильной квантизации; конкретная длина контекста в README не указана. Модель распространяется по лицензии Qwen, обозначенной как other; дополнительные условия следует уточнять в файле лицензии исходной модели.

ThomasBaruzier/Qwen2.5-72B-Instruct-GGUF — набор GGUF-квантизаций 72-миллиардной инструкционно настроенной языковой модели Qwen2.5-72B-Instruct. Квантизации подготовлены ThomasBaruzier с использованием llama.cpp и метода imatrix, а для калибровки применён файл Bartowski. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций в локальных приложениях, совместимых с llama.cpp. Это текстовая autoregressive-модель без заявленной поддержки изображений или других модальностей. В README указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Представлено множество вариантов квантизации от IQ1_S до Q8_0 с размером файлов примерно от 21,6 до 78,5 ГБ; варианты позволяют выбирать компромисс между требованиями к памяти, скоростью и сохранением качества. В таблице README для доступных вариантов приведены значения perplexity и accuracy, причём более низкая perplexity соответствует лучшему результату. Сильной стороной набора является широкий выбор квантизаций и наличие измерений качества для их сравнения. Ограничения включают существенные требования к оперативной или видеопамяти даже у наиболее сжатых вариантов, возможную потерю качества из-за квантизации и отсутствие данных о размере контекстного окна, архитектурных деталях и производительности на конкретном оборудовании. Модель распространяется по лицензии Qwen; точные условия следует уточнять в лицензии базовой модели Qwen/Qwen2.5-72B-Instruct.

MaziyarPanahi/Qwen2-7B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2-7B-Instruct, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, где требуется инструкционно настроенная языковая модель. Модель основана на Qwen2-7B-Instruct и содержит около 7 миллиардов параметров. Доступны варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF поддерживается llama.cpp и рядом совместимых приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui и другие инструменты для локального запуска с возможным ускорением на GPU. Сильными сторонами являются широкий выбор уровней квантизации и совместимость с экосистемой GGUF для локального вывода. Ограничения включают потенциальную потерю качества в более агрессивно квантованных вариантах, а также отсутствие в README сведений о языках, размере контекста, точной архитектуре, исходных данных и результатах тестирования. Лицензия в предоставленных материалах не указана.

6block/Qwen3-30B-A3B-GGUF — это квантизированная GGUF-версия модели Qwen3-30B-A3B, разработанной командой Qwen и подготовленной пользователем 6block. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантования Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS, IQ3_M и Q2_K с размером файлов примерно от 11,26 до 32,48 ГБ, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы. Квантизация выполнена с использованием imatrix и двуязычного англо-китайского набора данных с большим количеством программного кода, поэтому младшие варианты квантования должны лучше сохранять способности к работе с китайским языком и кодом по сравнению с калибровкой только на английских данных. Заявлены английский и китайский языки; другие модальности, размер контекста и точная архитектура в README не указаны. Модель ориентирована на локальные сценарии текстовой генерации и программирования, но низкобитные варианты могут заметно уступать по качеству более крупным квантам. Распространяется по лицензии Apache-2.0.

Это версия Qwen3-4B-Instruct-2507, подготовленная сообществом mlx-community для запуска с библиотекой MLX. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 3,7 млрд параметров; в метаданных указан контекст до 262 144 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно применять для ответов на вопросы, составления и редактирования текстов, а также работы с длинными текстовыми контекстами. Карточка подтверждает формат MLX и safetensors; лицензия — Apache-2.0. README сообщает о конвертации из Qwen/Qwen3-4B-Instruct-2507 с помощью mlx-lm 0.30.2.

filvyb/Qwen3.5-9B-heretic-v2-GGUF — GGUF-квантизация декензурированной версии trohrbaugh/Qwen3.5-9B-heretic-v2, созданной на базе Qwen3.5-9B с использованием Heretic 1.2.0. Модель предназначена для локального запуска и генерации текста с уменьшенной склонностью к отказам; README сообщает о 6 отказах из 100 против 100 из 100 у исходной Qwen3.5-9B. При этом декензурирование изменяет поведение исходной модели: указанная KL-дивергенция составляет 0,0793. Это мультимодальная causal language model с vision encoder, поддерживающая работу с текстом и изображениями. Размер языковой части — около 9 млрд параметров; архитектура сочетает Gated Delta Networks, sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов; заявлена поддержка 201 языка и диалекта. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о конкретном формате GGUF-квантизации, требуемых ресурсах и подробных ограничениях качества, поэтому фактическая производительность зависит от выбранного файла и среды запуска.

Это квантованная в формат NVFP4 версия мультимодальной модели Qwen3.5-9B, подготовленная FreedomAISVR на основе Qwen/Qwen3.5-9B. Модель предназначена для диалога и генерации текста, а вместе с файлом проектора mmproj — для понимания изображений. В README заявлены гибридная архитектура Gated DeltaNet и Gated Attention, контекст до 262 144 токенов и поддержка 201 языка; в метаданных подтверждены английский, китайский и многоязычный режимы. Веса хранятся в GGUF: основной файл NVFP4 занимает 5,31 ГБ, а проектор зрения в F16 — 918 МБ. Формат оптимизирован для ускорения на видеокартах NVIDIA Blackwell; производительность и совместимость на других устройствах могут отличаться. Репозиторий распространяется по лицензии Apache-2.0.

trymirai/Qwen3.6-27B-L — квантизированная версия языковой модели Qwen3.6-27B, подготовленная Mirai Labs для эффективного локального вывода на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования большой языковой модели, включая задачи, поддерживаемые исходной Qwen3.6-27B. Точные сведения о назначении, языках и контекстном окне в этой карточке не приведены. Модель содержит 27 млрд параметров и использует посттренировочную 8-битную симметричную целочисленную квантизацию с масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms с размером блока 32. По размеру и уровню квантизации checkpoint сопоставим с Unsloth UD-Q8_K_XL в формате GGUF. Ключевые преимущества — сохранение качества при уменьшенном размере и ориентация на эффективный локальный запуск. Основное ограничение — на данный момент поддерживается только inference на Apple silicon; характеристики, оценки и ограничения исходной модели Qwen3.6-27B следует уточнять в её оригинальной карточке. Модель распространяется по лицензии Apache 2.0.

Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen/Qwen3.8-27B. Квантование выполнено разработчиком Ar4ikov с BF16-весов базовой модели с использованием llm-compressor и формата compressed-tensors/pack-quantized. Модель предназначена для генерации и понимания текста, а также работы с изображениями через image-text-to-text сценарии. Она поддерживает режимы рассуждения и обычной генерации, параметр reasoning_effort и нативный контекст до 262 144 токенов; расширение до 1 млн токенов возможно через YaRN согласно данным базовой модели. Языковой стек и полный список поддерживаемых языков в README не указаны. Модель использует схему W4A16_ASYM с asymmetric zero-point, размером группы 128 и BF16-активациями; основные линейные слои текстовой части хранятся в INT4. Эмбеддинги, lm_head, vision-башня, чувствительные компоненты Gated DeltaNet и MTP-голова оставлены в BF16, что сохраняет визуальную часть и спекулятивное декодирование. Ключевое преимущество — снижение потребления памяти и ускорение инференса в рантаймах с нативными INT4-ядрами, например vLLM или SGLang. При загрузке через transformers веса распаковываются в BF16, поэтому экономии VRAM не будет. Квант не прошёл полноценную benchmark-валидацию, проверена только связность генерации, поэтому перед промышленным использованием необходимы собственные оценки качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-Fable-mxfp8-mlx — экспериментальная объединённая модель, разработанная NightmediaAI на основе Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 от DavidAU и Qwen3.8-27B-Fable-Distill от armand0e. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, математических и STEM-задач, исследовательских сценариев, творческого письма, создания художественных историй и ролевого взаимодействия. Указана поддержка английского, китайского, японского и испанского языков. Модель содержит 27B параметров и представлена в формате mxfp8 для MLX; в карточке также упоминается вариант mxfp4. Заявлены контекстные окна до 256K и 1M токенов, однако подробности реализации не приведены. В качестве сильных сторон указаны улучшенные результаты по сравнению с базовой Qwen3.8-27B на приведённых тестах, а также высокая скорость генерации: около 180 токенов в секунду при mxfp8. Ограничения включают экспериментальный статус, отсутствие подробных инструкций по применению и неполные сведения о фактической поддержке мультимодального ввода, несмотря на тег image-text-to-text. Лицензия указана как Apache-2.0. Модель предназначена для исследовательского и общего использования, но заявленные характеристики и результаты следует проверять самостоятельно, поскольку они основаны на данных из карточки модели.

Qwen3.8-27B-GGUF-4.2BPW-16GB — это квантованная версия плотной языковой модели Qwen3.8-27B, разработанной командой Qwen. Сборка опубликована пользователем hitsfmdj и создана с использованием Omenator AI. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama или LM Studio, особенно на видеокартах с 16 ГБ VRAM. Модель поставляется в формате GGUF с importance-weighted смешанной точностью и эффективной точностью 4,189 бит на вес. Все 27 млрд параметров сохранены: параметры не удалялись и не подвергались дистилляции, а точность перераспределялась между тензорами с учётом их важности. Размер файла составляет 11,88 ГБ, заявленный базовой моделью контекст — 262 144 токена. Сборка рассчитана на полное размещение в памяти одной 16-гигабайтной GPU без выгрузки слоёв на CPU. Ключевое преимущество — возможность запускать 27B-модель на видеокартах класса 16 ГБ с сохранением VRAM для KV-кэша; на эталонной системе заявлена скорость декодирования 12,77 токена в секунду. Оценка потери качества составляет около 2,6% относительно почти без потерь, но основана только на perplexity и KL-divergence при отборе квантования и не подтверждена полноценным набором downstream-бенчмарков. Реальная скорость и доступный контекст зависят от оборудования, backend и настроек KV-кэша. Базовая модель и квантованная сборка распространяются по лицензии Apache-2.0; для базовой модели действуют соответствующие условия лицензии. Языки и специализированные возможности исходной Qwen3.8-27B в README не указаны.

Qwen3.8-27B-MLX-oQ4e-mtp — квантованная MLX-версия мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для задач генерации текста и визуального понимания, включая обработку изображений и видео, а также для локального запуска на устройствах Apple Silicon через oMLX или mlx-vlm. Модель содержит около 27 млрд параметров и занимает примерно 16 ГБ. Используется улучшенная примерно 4-битная oQ4e-квантизация с эффективной точностью около 4,9 бит на вес, размером группы 64, imatrix-калибровкой и компенсацией ошибок на основе Hessian. В состав входит vision tower для работы с изображениями и видео. Сохранён нативный MTP head с одним дополнительным скрытым слоем, что позволяет использовать Lightning-MTP для спекулятивного декодирования в oMLX. Заявлена поддержка контекстного окна до 262144 токенов при соответствующей настройке. Сильные стороны модели — сочетание мультимодальности, сниженного потребления памяти, сохранённой совместимости с MTP и высокой скорости декодирования: на M5 Max заявлены около 54 токенов в секунду и принятие черновых токенов на уровне 81%. Ограничения включают зависимость от MLX-совместимого оборудования и программного обеспечения, а также возможную потерю точности из-за квантизации; конкретные языки в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Q4_K_M-GGUF — это квантованная в формате GGUF версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем qaqab и предназначенная для запуска через llama.cpp и совместимые среды. Модель ориентирована на генерацию текста, включая диалоги, написание и анализ текстов, а также другие сценарии применения многоцелевой языковой модели. В README указаны поддержка английского и китайского языков и наличие vision-возможностей у базовой архитектуры, однако для обработки изображений требуется соответствующий vision-файл. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Файл Q4_K_M имеет размер около 16,8 ГБ и сохраняет MTP-компонент для speculative decoding; также опубликована версия без MTP. Квантование выполнено с использованием importance matrix. По измерениям perplexity на wikitext-2 показатель для Q4_K_M составляет 7,1814, но этот тест не оценивает напрямую рассуждения, программирование, мультиязычность или поведение отказов. Вариант Uncensored создан с существенным снижением склонности к отказам с помощью Heretic без дополнительного обучения и новых данных; это поведение не устранено полностью. Возможное снижение acceptance rate черновой MTP-модели может немного повлиять на ускорение speculative decoding, но не должно ухудшать качество проверяемого целевой моделью вывода. Модель распространяется по лицензии Apache-2.0.

Guile/Qwen3.8-Flash-Next-GGUF — это GGUF-квантизированная версия модели Qwen3.8-Flash-Next, разработанной командой Qwen и квантизированной bartowski с использованием llama.cpp. Модель содержит около 180 млрд параметров и предназначена для задач генерации и понимания текста, а также обработки изображений в мультимодальном режиме при наличии файла mmproj. Поддержка speculative decoding не заявлена. Доступны варианты весов от BF16 и Q8_0 до низкобитных Q2–Q5 и IQ-квантизаций. Размер файлов составляет примерно от 88 до 354 ГБ, поэтому модель рассчитана на системы с большим объёмом оперативной или видеопамяти. В README рекомендуется Q4_K_M как компромисс между качеством и размером, а Q6_K — как вариант с очень высоким качеством. Квантизации используют imatrix, что должно помогать сохранять качество при уменьшении размера, однако более низкие разрядности сопровождаются заметным снижением качества. Модель запускается через совместимые инструменты экосистемы llama.cpp и распространяется с лицензией qwen-community-1.0; указана лицензия other и ссылка на файл LICENSE. Сведения о поддерживаемых языках, размере контекстного окна и точных архитектурных особенностях в предоставленном README отсутствуют.

Qwen3.8-Flash-Next-MLX-6bit — это квантованная 6-битная сборка модели Qwen3.8-Flash-Next, преобразованная в формат MLX разработчиком PipeNetwork для запуска на Apple Silicon. Модель предназначена для генерации текста, включая программирование и другие задачи, выполняемые через text-generation pipeline. Для использования требуется runtime MLX с поддержкой удалённого кода; в репозитории поставляется собственная реализация runtime, поскольку необходимая архитектура ещё не включена в выпущенные версии mlx-lm. Исходная модель имеет 125 млрд параметров, из которых около 6 млрд активируются на токен, и использует гибридную архитектуру Gated-DeltaNet и sparse attention с разреженной Mixture-of-Experts. В составе также находится 51,2 млрд параметров хешированных n-граммовых embedding-таблиц. Размер квантованной сборки составляет 148 ГБ против 360 ГБ у исходной версии bfloat16. Основные веса квантованы в 6 бит, отдельные компоненты, включая маршрутизатор MoE и некоторые управляющие параметры, сохранены в bfloat16. Vision tower присутствует в поставке, но данный runtime работает только с текстом; 4-миллиардная multi-token-prediction head не включена. Сильной стороной сборки является существенное сокращение размера при качестве, близком к bfloat16: на тесте wikitext-2 perplexity составила 4,4767 против 4,4708 у bfloat16, причём различие статистически незначимо в указанном эксперименте. Ограничения — очень большие требования к дисковому пространству и памяти, зависимость от Apple Silicon и собственного runtime с параметром trust_remote_code, а также отсутствие поддержки vision-возможностей в текущем режиме. Модель распространяется по Qwen Community License 1.0.

Qwen3-Next-80B-A3B-Instruct-MLX-8bit — это 8-битная квантованная версия языковой модели Qwen3-Next-80B-A3B-Instruct, адаптированная для запуска на устройствах Apple Silicon. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставила команда LM Studio с использованием mlx_lm. Модель предназначена для генерации текста и работы с широким спектром задач, поддерживаемых инструкционной языковой моделью, включая диалоговые сценарии и локальное использование через совместимую программную среду. Модель содержит 80B параметров, при этом заявлена конфигурация A3B; точная архитектура, поддерживаемые языки и размер контекстного окна в README не указаны. Формат MLX и 8-битная квантизация оптимизированы для Apple Silicon, что делает модель более подходящей для локального запуска на таких устройствах по сравнению с полноразмерной версией. Ограничениями являются зависимость от совместимого окружения MLX и оборудования Apple Silicon, а также возможные типичные для генеративных моделей ошибки, неточности и нежелательный контент. Модель распространяется по лицензии Apache-2.0. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность, доступность или соответствие конкретным требованиям.

Это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B, разработанной Qwen и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Для взаимодействия используется формат промптов ChatML с ролями system, user и assistant. Модель имеет архитектуру и исходный размер Qwen3-30B-A3B; точные сведения о модальностях, языках и размере контекста в README не указаны. Доступны варианты от BF16 до различных уровней квантизации GGUF, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и более компактные форматы. Квантизация выполнена с использованием imatrix и llama.cpp b5200. Старшие варианты сохраняют высокое качество, а компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Основные ограничения связаны с компромиссом между размером файла, требованиями к памяти и качеством генерации: низкобитные варианты имеют более низкое качество и некоторые из них не рекомендуются. Для запуска требуется совместимое программное обеспечение и аппаратные ресурсы, соответствующие выбранному файлу; размер вариантов составляет примерно от 11 до 61 ГБ. Модель распространяется по лицензии Apache-2.0.

Qwen_Qwen3-Next-80B-A3B-Thinking-GGUF — набор GGUF-квантизаций базовой модели Qwen3-Next-80B-A3B-Thinking, разработанной Qwen и подготовленной bartowski. Модель предназначена для генерации текста и сценариев, требующих рассуждений; запуск возможен через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Это текстовая модель с архитектурой и языками исходной модели, а также размером контекста, в README не указанных. Доступны варианты квантизации от Q3 до Q8, объёмом примерно от 36,6 до 84,8 ГБ. Более высокие варианты обеспечивают лучшее сохранение качества, а низкие требуют меньше памяти; рекомендуемыми названы Q4_K_M, Q5_K_M, Q6_K и другие варианты соответствующего уровня. Ключевое ограничение — значительные требования к оперативной памяти и необходимость поддержки этой модели выбранным программным обеспечением. Квантизации созданы с использованием imatrix и llama.cpp. Для работы рекомендуется применять указанный в README формат prompt с маркером начала рассуждений <think>. Распространение осуществляется по лицензии Apache-2.0.

SlimOpenOrca-Mistral-7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и SlimOpenOrca-Mistral-7B от Weyaxi методом slerp. Она предназначена для генерации текста и ответов на инструкции в формате диалога. Модель построена на архитектуре Mistral с 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Веса представлены в формате Safetensors; лицензия — Apache 2.0. В карточке не приведены сведения о целевых языках и специализированных предметных областях.

QuantFactory/Sparse-Llama-3.1-8B-2of4-GGUF — квантизированная версия разреженной текстовой модели Sparse-Llama-3.1-8B-2of4, созданная QuantFactory с использованием llama.cpp. Базовая архитектура — Llama-3.1-8B; исходную разреженную модель разработала Neural Magic на основе Meta Llama 3.1 8B. Модель принимает текст и генерирует текст. Модель предназначена для задач генерации текста и общего языкового моделирования, включая понимание языка, ответы на вопросы, рассуждения и работу с текстовыми запросами. Ключевая оптимизация — разреженность 2:4: в каждой группе из четырёх весов сохраняются два, а два удаляются. Для восстановления качества после pruning использовались обучение с дистилляцией знаний на 13 млрд токенов, SparseGPT и подход SquareHead. Формат GGUF ориентирован на запуск через llama.cpp; в исходной карточке также указана возможность эффективного развертывания через vLLM. По данным OpenLLM, средняя оценка составляет 62,16 против 63,19 у плотной Llama-3.1-8B, что соответствует 98,37% восстановления точности. На Mosaic Eval Gauntlet средняя оценка равна 53,85 против 55,34, или 97,3% восстановления. Основное преимущество — снижение избыточности модели при сохранении большей части качества исходной версии; ограничениями являются возможное ухудшение результатов на отдельных задачах и отсутствие в предоставленных данных сведений о поддерживаемых языках, длине контекста, точных параметрах квантизации и требованиях к оборудованию. Лицензия указана как llama3.1.

StrangeMerges_51-7B-dare_ties — текстовая генеративная модель, созданная Gille объединением пяти моделей с помощью LazyMergekit: WizardMath-7B-V1.1, NeuralCoder-7b, Einstein-v4-7B, Matter-0.1-Slim-7B-C-DPO и StrangeMerges_42-7B-dare_ties. Это плотная модель семейства Mistral с 7,1 млрд параметров; доступна в формате safetensors и имеет контекст до 32 768 токенов. Модель предназначена для генерации текста и может быть полезна для диалогов и инструкций, математических рассуждений и задач по программированию — эти направления представлены среди объединённых моделей. В README приведены результаты Open LLM Leaderboard, включая средний балл 71,73, однако без полной таблицы и описания методики эти показатели не позволяют оценить качество на конкретных пользовательских задачах. Модель распространяется по лицензии Apache-2.0. В карточке нет сведений о целевых языках и специальных мерах безопасности; фактическое качество объединения на конкретных задачах следует проверять отдельно.

tau-instruct-0.5B — языковая модель с инструкционной настройкой, созданная на базе tau-0.5B. В карточке указано, что для дообучения использовали около 16 000 примеров, сгенерированных GPT-4. По архитектуре это плотная Qwen2-модель примерно на 463,9 млн параметров; она принимает текст и генерирует текст, поддерживает диалог и контекст до 32 768 токенов. Метаданные указывают английский язык. Модель предназначена для ответов на вопросы, продолжения и создания текста, решения математических задач, работы с кодом, рассуждений и общих знаний. Её можно использовать как основу для виртуальных помощников, учебных инструментов и исследовательских приложений. По README, настройка улучшила следование инструкциям относительно базовой модели, но качество может снижаться на сложных или неясных запросах; возможны унаследованные от базы и обучающих данных ограничения и предвзятость. Лицензия указана как other; README требует учитывать лицензию Qwen и сообщает, что права использования совпадают с правами базовой tau-0.5B.

Trinity Nano Preview — экспериментальная чат-модель семейства Trinity от Arcee AI, созданная дообучением Trinity-Nano-Base. В README она описана как разреженная MoE-модель с архитектурой AfmoeForCausalLM, 6 млрд параметров и примерно 1 млрд активных параметров; метаданные указывают 880,3 млн параметров. Поддерживает контекст до 131 072 токенов и работает с текстом на нескольких языках. Модель предназначена для диалогов и генерации текста. Разработчики описывают её как открытую по весам модель для предприятий и энтузиастов, обученную на 10 трлн токенов с дополнительным акцентом на математике и коде. README предупреждает, что в этой предварительной экспериментальной версии возможна нестабильность в отдельных сценариях. Указанная в README лицензия — OpenMDW-1.1; метаданные Hugging Face обозначают её как other.

VirtuosoSmall-InstructModelStock — объединённая языковая модель на базе Qwen2, созданная сообществом mergekit-community методом Model Stock. В слиянии использованы arcee-ai/Virtuoso-Small как базовая модель, а также Rombos-LLM-V2.6-Qwen-14b, Qwen2.5-Lumen-14B и miscii-14b-1028. Модель содержит 14 млрд параметров, работает через Transformers и предназначена для генерации текста в диалоговом формате, включая ответы на инструкции. Заявленная длина контекста — 131072 токена. Карточка указывает формат safetensors; лицензия и конкретные языки использования в предоставленных данных не приведены.

AutomatosX AX-Qwen3.8-27B-MLX-AXQ-4bit-MTP — это смешанно-точечный квантованный чекпойнт на базе Qwen/Qwen3.8-27B, предназначенный для запуска на Apple Silicon через MLX. Основная языковая часть модели квантована с применением AXQuant, а голова multi-token prediction и vision tower сохранены в формате BF16. Модель имеет 27,36 млрд логических параметров, архитектуру Qwen3_5ForConditionalGeneration и поддерживает генерацию текста, а также визуальный ввод; аудио не поддерживается. Максимальный заявленный контекст — 262 144 токена, однако практический предел зависит от объёма unified memory устройства. Модель ориентирована на локальный текстовый инференс, разработку и сценарии, где важны сниженный объём хранения и запуск на компьютерах Apple Silicon. Она совместима с MLX-LM для стандартного текстового инференса, а для использования MTP и связанных runtime-возможностей предусмотрены AX Engine, oMLX и MTPLX. Полный размер загрузки составляет около 18,20 ГБ, измеренный общий показатель — 5,2338 BPW. Заявления об ускорении MTP ограничены профилями, указанными в сертификатах, и не гарантируются для всех конфигураций; MLX-LM также может не использовать vision- и MTP-компоненты. Репозиторий содержит MLX Safetensors и не включает веса PyTorch или GGUF. Модель распространяется по лицензии Apache-2.0. Для работы требуются совместимые версии MLX-инструментов и достаточный объём памяти; качество и возможности визуального инференса зависят от выбранного runtime и его поддержки дополнительных компонентов.

AutomatosX AX-Qwen3.8-27B-MLX-AXQ-6bit-MTP — это смешанно-точный квантованный MLX-чекпойнт на базе Qwen/Qwen3.8-27B, преобразованный компанией AutomatosX непосредственно из исходной модели BF16. Модель предназначена для генерации текста и запуска на устройствах Apple Silicon через MLX-LM, а также для нативного выполнения в AX Engine и интеграции с oMLX Lightning MTP. Модель имеет плотную архитектуру Qwen3_5ForConditionalGeneration и 27,36 млрд логических параметров. Основной языковой тракт квантован с использованием AXQuant 1.6.2; заявленный класс хранения — 6 bit, измеренный общий показатель с учётом MTP составляет 6,0001 BPW. Голова multi-token prediction и vision tower сохранены в BF16. Поддерживаются текст и vision-сценарии, аудио не поддерживается. Максимальный заявленный контекст — 262 144 токена, однако практический предел зависит от объёма unified memory. Размер весов составляет около 20,84 ГБ, полный загрузочный объём — около 20,86 ГБ. Сильными сторонами являются сохранение повышенной точности для отдельных компонентов, наличие MTP и vision tower, а также оптимизация под Apple Silicon. При этом стандартный запуск через MLX-LM гарантирует только текстовый inference и может не использовать MTP, vision-компоненты и метаданные AXQuant. Заявления об ускорении MTP ограничены профилями, указанными в сертификатах, поэтому фактическую производительность следует проверять в целевой конфигурации. Репозиторий содержит MLX Safetensors и не содержит весов PyTorch или GGUF. Модель распространяется по лицензии Apache-2.0.

CataLlama-v0.1-Instruct-SFT — чат-модель на архитектуре Llama 3, разработанная Лаурентиу Петреа и дообученная методом SFT на наборе catallama/Catalan-Instruct. Это второй этап обучения CataLlama; модель получила около 445 млн новых токенов за три этапа обучения. Она предназначена прежде всего для работы с каталонским языком: извлечения сведений из документов, распознавания именованных сущностей, перевода между каталонским и английским, краткого и подробного пересказа, анализа тональности и диалогов по инструкциям. Модель имеет 7,5 млрд параметров, использует авторегрессионный трансформер и принимает текстовые запросы; длина контекста составляет 8192 токена. В карточке приведены результаты MMLU 55,28 и GSM8K 51,63, а также validation loss 0,8528 после двух эпох; автор отмечает, что модель создана для демонстрации адаптации LLM к новым языкам, а не для лидерства в бенчмарках. Лицензия — Llama 3 Community License. README содержит ограничение на использование не на английском языке, хотя модель специально дообучена для каталонского; перед применением следует учитывать условия лицензии и политики использования Llama 3.